Il castello di Cimbergo, costruito nei secoli XII e XIII, era probabilmente un fortilizio, posto di osservazione e di controllo del territorio, postazione militare più che abitazione civile. Costruito su pianta pentagonale, ricostruito in parte e rinforzato con adeguate strutture in ferro, presenta parte dei muri perimetrali. Nonostante domini la media Valle Camonica da più di 800 anni, quel che ne rimane sono solo dei ruderi che il Comune dopo l’acquisto dell’area dai proprietari privati, negli anni 2000 ha dato inizio alle opere di salvaguardia e restauro.

La storia conosciuta del castello inizia il 2 gennaio 1158 giorno in cui il vescovo di Brescia infeudava Cimbergo ai fratelli Martinengo di Brescia. 

Nel 1288 c'è una sollevazione in valle contro Brescia, capeggiata dai potenti Federici Ghibellini che diventano i proprietari del castello. La rivolta è domata da Brescia ma ai castelli e fortilizi della valle vengono imposte pesanti tasse, a Cimbergo 200 lire imperiali.

Nel 1300 l'organizzazione politico-amministrativa della valle non era ancora ben definita. Esisteva una contea infeudata da Brescia alla famiglia della Torre, conti di Cemmo e di Cimbergo. Probabilmente i Visconti di Milano avevano organizzato, zona per zona, sotto il controllo di un loro podestà, una influenza e un predominio delle famiglie a loro fedeli e alleate. Per un certo periodo signori di Cimbergo sono gli Antonioli di Grevo, ma vengono detronizzati dai ghibellini Federici e i loro beni confiscati.". Gli ordini venivano da Milano.

Nel 1336 quei di Cimbergo dovevano al vescovo per feudo annualmente "unum fassum scandularum" (scandole) per riparare i tetti delle sue case. E fino al 1445 il vescovo si riserva le "aree" cioè i luoghi dei nidi dei falchi, degli sparvieri e degli astori usati per la caccia, che educati si vendevano nella piazza del Broletto di Brescia. Gli abitanti di Cimbergo e Paspardo guadagnavano circa tremila lire all'anno vendendo tordi e merli presi dai nidi ed allevati da loro per le uccellande. A metà del '300 era di proprietà Guelfa, nel 1363 fu demolito dai Visconti di Milano ma fu subito ricostruito dai Guelfi camuni.

Nel 1355 Bernabò Visconti di Milano provocava ribellioni dappertutto, anche in Valle Camonica, per cui ne seguiva a Bergamo l'impiccagione di 38 prigionieri di Cimbergo. Il 2 marzo 1378 il prete Martino Maggiorati di Erbanno peregrinò di castello in castello per tentare di mettere pace tra Guelfi e Ghibellini. Il 12 marzo 1378 a Cimbergo, probabilmente nel castello, tenne una riunione con i capiparte delle fazioni: Federici, Baroncino Nobili di Lozio, Pellegrini, Albrici, Ronchi di Breno, Baldovino da Braone ecc. Ma la riunione andò in fumo perchè Bomesio e Baroncino Nobili si opposero alla restituzione del forte del Dosso di Cemmo da poco conquistato e così si tornò alle solite violenze.

Infatti i Visconti, impadronitisi della Valle Camonica, con editto in data 11.III.1408 la tolsero agli Antonioli per darla a Giacomo detto Mascagno dei Federici di Angolo, reso benemerito dei nuovi Signori . Nell'inverno 1409 ci fu da parte dei ghibellini capeggiati dai Federici la famosa strage dei Nobili di Lozio. L'assalto avvenne di notte. Allagate le strade che ghiacciarono, trovarono tutta la famiglia di Baroncino Nobili in casa a Villa di Lozio e prima che potessero rifugiarsi nel castello li trucidarono tutti. Di conseguenza anche tutti i Guelfi della Valle furono privati dei loro beni.

Il 29 settembre 1412 da documento sappiamo che in Cemmo si discute una vertenza a cui presenziano Boccaccio e Bartolomeo conti di Cemmo e Cimbergo e che il 3 ottobre viene definita dal giurista Rainaldo da Fermo "vicario generale della contea di Cemmo", e il 23 gennaio 1413 Boccaccino della Torre Conte di Cemmo e di Cimbergo in nome proprio e di Bartolomeo suo fratello fa lega con Antoniolo di Iseo Cominzolino Soardi, Tonino Paratico ed altri per difendere il Duca milanese Visconti e i suoi interessi. Il Visconti nel 1415 conferma la contea di Cemmo e Cimbergo ai Della Torre. Il 15 marzo 1438 l'anno stesso in cui Venezia iniziava il suo dominio effettivo in Valle Camonica, il conferiva al sig. Bartolomeo di Cemmo la contea di Cemmo e Cimbergo con mera e mista facoltà giudiziaria e di spada, esentandolo da ogni giurisdizione intermedia di luogo e di persona e con diritto di successione per i figli maschi, legittimi. La solenne cerimonia si svolse nientemeno che nella basilica di S. Marco a Venezia, con giuramento di fedeltà sul vangelo. In seguito Venezia, subentrata a Milano nel dominio, l'11 febbraio 1441 diede al Conte Paride di Lodrone la contea di Cimbergo per le benemerenze acquistate nella lotta contro i Visconti, avendo combattuto tra la Valcamonica e il Trentino per la conquista della Valle. Nel primo decennio del 1600 iniziarono a trascurare la manutenzione e il castello andò deperendo sempre più perchè i proprietari esercitavano la loro signoria preferibilmente altrove.

Nel 1810 il castello di Cimbergo, già diroccato e semidistrutto da un violento incendio, senza nessun valore strategico e militare, passò in proprietà al comune di Cimbergo per poi essere venduto in seguito ad alcune famiglie del paese. Nel 2008 il Comune riacquista i terreni adiacenti il castello.

Il castello ha pianta pentagonale irregolare; ne rimangono solo alcuni resti: ampi tratti di muro con resti di merlature, il portale d'ingresso in granito, numerose finestre in pietra simona, due aperture a cannoniera, il vano cisterna e tracce di una cinta di mura.

Nel 2008 il Comune riacquista i terreni adiacenti il castello. Il castello ha pianta pentagonale irregolare; ne rimangono solo alcuni resti: ampi tratti di muro con resti di merlature, il portale d'ingresso in granito, numerose finestre in pietra simona, due aperture a cannoniera, il vano cisterna e tracce di una cinta di mura.