Il Castello risale alla prima metà del XIV secolo e fu probabilmente edificato su strutture preesistenti risalenti addirittura all'alto Medioevo. Ha subito nei secoli numerose distruzioni e rifacimenti e nel 1569 venne attribuito dal Papa Pio V , insieme all' intero feudo di Lardirago, al Collegio Ghislieri di Pavia. Negli ultimi anni il Collegio Ghislieri ha investito parte del suo cospicuo patrimonio nel restauro di questo complesso monumentale ridestinandolo a sede prestigiosa di un moderno centro congressi.