Alla sommità di Lagopesole si trova un castello, attribuito a Federico II e costruito probabilmente fra il 1242 ed il 1250 (sebbene altri ritengano che risalga all'epoca normanna, o ancor prima a quella saracena). Una peculiarità che contraddistingue questo castello da tutti gli altri attribuiti a Federico II di Svevia è la presenza, al suo interno, di una chiesa vera e propria (non una semplice cappella, unico esempio, appunto, tra tutti quelli risalenti a quell'epoca imperiale), in un austero stile romanico, che i restauri effettuati negli ultimi anni del XX secolo hanno portato alla luce e consegnato ai posteri nel suo originario splendore. Nell'Ottocento il castello fu rifugio dei briganti, capeggiati da Carmine "Donatelli" Crocco, che il 7 aprile 1861 lo occupò con altri 400 briganti.
