Un’importante famiglia legata al Colosseo in età medievale è quella dei Frangipane, che si insediò nell’edificio antico erigendo una fortezza la cui prima testimonianza data al 1133. La fortezza occupò 11 arcate del primo e secondo ordine nel versante nord orientale, consentendo la massima visibilità della zona, dall’altura della Velia fino al Celio, ed era costituito da un torrione presso l’originale accesso orientale dell’Anfiteatro e un camminamento di ronda lungo quello meridionale, già privo delle due gallerie perimetrali più esterne, camminamento di cui ancora restano le tracce degli incassi delle travi lignee aggettanti, visibili sul coronamento dell’anello interno al primo piano del monumento.

Il Palazzo/Fortezza rientrava nel ben noto sistema difensivo delle famiglie baronali di Roma, in lotta tra loro per il controllo della città. In questo caso il controllo si estendeva dal Foro Palatino e la valle del Colosseo fino all’accesso alla residenza papale del Laterano. Nel corso del XIII secolo i Frangipane persero il controllo della fortezza a vantaggio della famiglia nobile degli Annibaldi che ne rimase proprietaria fino alla fine del XIV secolo.