L’edificio è detto anche mausoleo di Adriano perché fu fatto costruire dall’imperatore Adriano per accogliere la sua salma e quella dei suoi successori. I lavori, iniziati nel 135, terminarono nel 139 ossia dopo la morte di Adriano. Ebbe carattere di monumento funerario fino al 211 ma nel 400 d. C. cambiò nome e fu definito Castellum. Intorno al X secolo divenne una vera e propria fortezza, poi fu utilizzato come abitazione di principi e papi e infine di prigione e di caserma.
Ricordiamo a mo’ di esempio della molteplicità di utilizzo della costruzione alcuni episodi: Gregorio VII vi rimase assediato; i Borgia vi rinchiusero le loro vittime; Giordano Bruno vi fu processato; il conte di Cagliostro vi fu imprigionato.

La struttura dell’edificio
Aveva un basamento quadrato sul quale s’innalzava una mole cilindrica che era sovrastata da un tumulo erboreo a forma di cono; in mezzo si ergeva una costruzione quadrata simile ad un’ara che sorreggeva una quadriglia di bronzo. I quattro torrioni laterali furono aggiunti nel Cinquecento.

La statua dell’Angelo  dalla quale deriva il nome il Castello risale al 1600, epoca in cui l’Angelo apparve al papa San Gregorio Magno per annunciare la fine della peste nella città.

La statua è stata sostituita più volte ( sei ) per consunzione, come l’originale che era di legno, per rottura, come avvenne alla seconda di marmo che cadde o per altri motivi. L’Angelo attuale, di bronzo, è opera di Pietro Van Verschaffelt.
Oggi il castello è sede di un museo con varie sale dove si possono ammirare splendidi affreschi di Raffaello, di Giulio Romano, del Bramante, di Lorenzo Lotto. Splendidi anche i mobili di legno presenti nella Camera del Tesoro.