La sua costruzione iniziò nel 1470 per volere del duca Pirro del Balzo nell'ottica di un progetto di fortificazione più ampio. Da fortezza fu trasformato in dimora signorile da Carlo ed Emanuele Gesualdo, con l'aggiunta della loggia interna, dell'ala nord-ovest e dei ridotti alla base dei torrioni, e ospitò dal 1612 l'Accademia dei Rinascenti.
Le quattro torri cilindriche agli angoli sono sostenute da ridotti che costituiscono la scarpa del fossato, utilizzati come prigioni, e tutto l'edificio, a cui si accede tramite un ponte levatoio, è circondato da un profondo fossato. All'interno si apre un ampio cortile circondato da un loggiato rinascimentale. Di fronte al castello c'è invece una piazza porticata e una fontana monumentale concessa a Venosa da Carlo d'Angiò.
Al suo interno, negli ambienti ricavati nei basamenti delle torri, il castello ospita il Museo nazionale di Venosa, che conserva soprattutto le ricche testimonianze della colonia romana di Venusia.
