Il feudo di Carbognano fu donato da papa Alessandro VI Borgia nel 1494 ad Orsino Orsini, marito di Giulia Farnese, sorella del card. Alessandro Farnese sr. che nel 1534 diventerà a sua volta papa con il nome di Paolo III. L'infeudamento avvenne ufficialmente come ricompensa per servigi militari resi da Orsino alla Chiesa, ma secondo i più nella decisione di papa Borgia ebbe una parte preponderante il fatto che Giulia ne era da anni l'amante. Dopo la morte di Orsino il castello fu ereditato dalla figlia Laura, sposa di Niccolò della Rovere, nipote di papa Giulio II. Giulia vi abitò dal 1505 praticamente fino alla sua morte, avvenuta nel 1524. Il semplice stemma in peperino riproducente il classico scudo con i sei gigli Farnese posto sulla chiave del portale d'ingresso, ad arco con cornice in bugnato, prelude all'autentica messe di stemmi e simbologie farnesiane che possiamo ammirare nelle stanze affrescate del castello.