Ludovico Ariosto che già in età giovanile frequentava gli ambienti della corte ducale estense, conobbe sicuramente gli spazi di questo palazzo. Alcuni versi del Furioso sembrano riferirsi proprio al caratteristico bugnato dell’edificio, definito “gemma”, forse osservato alla luce del tramonto:

Surgea un palazzo in mezzi alla pianura
ch’acceso esser parea di fiamma viva:
attonito riman di meraviglia;
che tutto d’una gemma è ‘l muro schietto
più che carbonchio lucida e vermiglia
(O. F. XXXIV, 51,53).

È una delle principali opere dell’architetto Biagio Rossetti (Ferrara 1447 c.-1516) autore, per Ercole I, dell'ampliamento della città secondo criteri geometrici e razionali, chiamata “Addizione Erculea”. L'operazione urbanistica cominciò intorno al 1492 e il palazzo dei Diamanti ne rappresenta uno dei fulcri. In questo edificio, oltre al rigore esecutivo e alla severità dell'impostazione, due delle caratteristiche dell'operato del Rossetti visibili anche nelle altre sue fabbriche, come per esempio la facciata di San Francesco, emerge anche l'originalità decorativa. L'uso del marmo rosato e del bugnato a spigolo vivo sono elementi decisamente nuovi nell'architettura di fine quattrocento. Fra la fine del Cinquecento e i primi decenni del Seicento, nonostante la devoluzione di Ferrara allo Stato della Chiesa del 1598 e il conseguente trasferimento della corte estense a Modena, il palazzo dei Diamanti restò un centro di commissione artistica di Cesare d'Este. Cesare era stato il committente di uno dei soffitti, con allegorie e soggetti mitologici commissionati a Annibale Carracci e a Gaspare Venturini. Sono nel corso del XVII secolo il palazzo fu ceduto alla famiglia Villa. Alcuni dei ritratti a figura intera dei Villa si trovano ancora adesso nell'atrio di accesso alla Pinacoteca, al piano nobile del palazzo.

La comune presenza alla corte di Alfonso ha fatto ipotizzare agli studiosi rapporti diretti fra Ariosto e i fratelli Dossi, a più riprese anche considerati autori di incisioni che corredarono la pubblicazione dell'Orlando furioso nel corso del Cinquecento. I Dossi furono essenzialmente artisti di corte, autori fra l'altro anche di apparati scenografici per rappresentazioni teatrali e dunque un rapporto diretto di amicizia con il letterato prediletto da Alfonso è più che probabile. Un'opera di Dosso, databile agli anni fra il 1516 e il 1518, vicini alla pubblicazione della prima edizione del Furioso e oggi alla Galleria Borghese di Roma, la Maga Alcina (o Melissa o Circe), è la testimonianza figurativa forse più tangibile del rapporto fra i due. L'evocazione della splendida figura femminile, in sontuosi abiti orientali, intenta ai suoi incantesimi, stabilisce senz'altro un parallelo di suggestioni con il mondo poetico dell'Ariosto e del suo poema.
All'interno della Pinacoteca si trova una delle opere più interessanti di Dosso Dossi, in collaborazione con il Garofalo, che da anni attira l'attenzione della critica, il Polittico Costabili, probabilmente già cominciato già nel 1513 e opera di collaborazione fra i due artisti. Le altre opere della scuola ferrarese presenti in Pinacoteca, come i capolavori di Mazzolino, Ortolano e Garofalo, pur nel loro riferimento al contesto religioso ferrarese (si tratta di opere che in gran parte provengono da chiese e cappelle della città) restituiscono l'ambiente culturale della città all'inizio del Cinquecento. L'interesse per il mondo classico e per la letteratura antica era infatti complementare, anche nella committenza diretta della corte, alla protezione accordata a conventi e confraternite e alla presenza, presso la corte stessa, delle “sante vive”, figure carismatiche di monache che venivano protette da Alfonso e da Lucrezia.

Come si è già evidenziato, è questo uno dei Palazzi più celebri dell'architettura rinascimentale, situato all'incrocio delle due arterie principali dell'Addizione Erculea e prende il nome dal caratteristico bugnato composto da 8.550 bugne marmoree a punta di diamante sulle due facciate. Costruito per conto di Sigismondo d'Este, fratello del Duca Ercole I, fu iniziato nel 1493 da Biagio Rossetti, architetto responsabile dell'Addizione. Fu completato e modificato nel secolo successivo. Indubbia è l'originalità del monumento che si inseriva nel grande cantiere dell'Addizione Erculea, messo in atto dal duca Ercole I. Questi intendeva in gran fretta procedere nei lavori per il palazzo destinato al fratello Sigismondo d'Este: tra il 1493 e il 1507 resta testimonianza di contratti per forniture di pietre, marmi, calce, messa in opera di vari lavori, sempre seguiti e controllati da Biagio Rossetti, almeno fino al 1503, anno in cui presero il suo posto nella direzione dei lavori Christoforo da Milano e Girolamo da Paxino.

Secondo gli studiosi, l'edificio aveva un'articolazione tipicamente quattrocentesca, ad “U”: all'ala principale si affiancavano ad angolo retto un'ala settentrionale ed una meridionale che al pianterreno si aprivano sul cortile d'onore, sui tre lati del quale correva una loggia colonnata. Non erano previste camere private, ma solo la grande sala di rappresentanza sopra l'ingresso. Difficile sapere esattamente quando terminarono i lavori di decorazione delle due cortine murarie rivolte verso le strade, ma il rivestimento marmoreo a punta di diamante fu sicuramente una fedele esecuzione del disegno rossettiano. In seguito, l’abbandono dei tagliapietre all’opera di costruzione durante l’inizio del Cinquecento causò importanti rallentamenti ai lavori che si prolungarono probabilmente per tutta la prima metà del secolo XVI.