Il castello veniva utilizzato come punto di osservazione militare dai Sanniti proprio per la sua posizione strategica. Fu costruito intorno all’anno 1000 su questo “colle pietroso” (da cui il nome) che lo proteggeva come una vera fortezza naturale.

Come già scritto il castello viene nel tempo ceduto o venduto più volte subendo diverse modifiche fino quasi a scomparire tra le case del borgo.

Oggi il castello, o ciò che ne rimane è diventato un riferimento per le scuole del paese. Al suo interno vengono avviati diversi progetti che coinvolgono i giovani del paese.

E’ stato inoltre istituito al suo interno, anche un Museo della civiltà contadina. Al suo interno oggetti e allestimenti che raccontano il paese con i suoi usi e costumi.