Istituita intorno al 1890 per iniziativa dello storico e bibliotecario Filippo Raffaelli, la Pinacoteca venne inizialmente sistemata nell’ex Palazzo degli Studi, sede dell’attuale Biblioteca civica. Raccoglieva dipinti e oggetti d’arte provenienti dagli edifici religiosi che erano stati soppressi dopo l’Unità d’Italia insieme a quadri, reperti archeologici, monete, epigrafi e disegni acquisiti anche attraverso donazioni e lasciti testamentari. Nel corso del tempo la collezione si arricchì di ulteriori quadri, fra cui quelli provenienti dalla chiesa di San Filippo che furono trasferiti in Pinacoteca fra la metà degli anni ’50 e i primi anni ’80 del Novecento. Le pale di Rubens e Giovanni Lanfranco, il ciclo di dipinti murali di Andrea Boscoli, staccato dalla chiesa di Santa Maria Piccinina nel 1971 e un importante nucleo di opere già appartenenti alla collezione dell’architetto fermano Giovan Battista Carducci, dispersa dopo la sua morte nel 1879, tra le quali particolare importanza assume il Busto di Cristo in marmo, da alcuni attribuito a Michelangelo, esposto nella sala del Mappamondo.