Questo castello, costruito intorno all’anno Mille come fortezza militare ebbe, durante tutto il Medioevo, una funzione di osservatorio e difesa degli abitanti di Grumello, i quali, durante le battaglie e gli scontri, potevano rifugiarsi all’interno. A causa delle gravi difficoltà economiche della comunità di Grumello, fu venduto al cardinale Guglielmo Longo, intorno al 1307.
Intorno alla seconda metà del 1300, con il decadimento dei Comuni e il sorgere delle Signorie, Grumello visse un periodo di lotte sanguinose finchè Bartolomeo Colleoni lo fece diventare uno dei suoi tanti possedimenti.Ma non ci fu mai un vero e proprio periodo di tranuillità. Alla morte del Colleoni il castello divenne possedimento dei conti Suardi.
