Nel centro storico della città si trovano gli edifici e i monumenti di maggior prestigio e bellezza, realizzati tra Medioevo e Rinascimento sotto la signoria della famiglia dei Pio di Savoia.
Sulla Piazza dei Martiri (antico Borgo Gioioso), centro e anima della città, si affacciano il Palazzo dei Pio, la Cattedrale e il Portico Lungo, oltre al Teatro, il Palazzo Comunale e il Portico del Mercato del Grano.
La piazza, terza in Italia per dimensioni (circa 15.000 mq), richiama immediatamente gli spazi, i colori caldi, la cultura delle città della provincia emiliana. Sul lato orientale della piazza si erge il complesso del Palazzo dei Pio, oggi sede dei, chiamato comunemente Castello e composto da differenti edifici databili fra l'età medievale e il XVIII secolo.
L'antico castello, che risale al X-XI secolo e di cui non rimangono tracce, aveva pianta quadrata ed era cinto da un fossato e da fortificazioni lignee, sostituite nei secoli successivi da mura di mattoni.
La rete stradale aveva una struttura ortogonale che comprendeva nella parte centrale una strada che da nord a sud collegava le due porte della cinta muraria, mentre sulla piazza al centro del castello (attuale Piazza Re Astolfo) si affacciavano la pieve della Sagra e le dimore delle famiglie gentilizie.
Tra il 1331 e il 1525, sotto il dominio dei Pio, la città e in particolare il Castello subiscono modifiche e ampliamenti che hanno portato all'attuale assetto urbanistico del centro storico. Del 1320 è la Torre del Passerino, tipico edificio difensivo con merlature ghibelline, costruito da Rinaldo Bonaccolsi nell'ala settentrionale del complesso. Poco distante viene costruito nel 1395 da Giberto Pio la Rocca Nuova, con funzione residenziale e non solo difensiva poi inglobata nei rifacimenti cinquecenteschi.
Di natura prettamente difensiva sono invece la Rocca Vecchia - edificata su una preesistente rocca ghibellina - e l'attiguo Palazzolo di Leonello (o Corridoio, perché collega le due rocche, Vecchia e Nuova) che si affacciano sull'attuale Piazza Re Astolfo, costruiti nel Quattrocento. Nel 1450 viene aggiunto al complesso l'imponente Torrione degli Spagnoli o di Galasso, ottenuto dalla fusione di due precedenti torri e che possiede ancora oggi tracce di splendidi alfreschi.
Nel 1480 viene edificata invece l'Uccelliera, edificio rotondo originariamente con funzioni di torretta angolare, che fu trasformata da Alberto III Pio in ninfeo, con una voliera sul tetto per la sua collezione di uccelli (da cui il nome).
La definitiva trasformazione di questi edifici in dimora principesca avviene all'inizio del Cinquecento per volontà di Alberto III che ristruttura e decora il Palazzo secondo modelli rinascimentali. Il Palazzo assume allora, con le sue stanze e i suoi ricchi affreschi, l'aspetto di una vera e propria corte, al cui centro è costruito il maestoso cortile quadrato di ispirazione bramantesca, in particolare per i loggiati sovrapposti e per i particolare decorativi opera di Bartolomeo Spani.
Su Borgo Gioioso, il nuovo centro, viene edificata la facciata del Palazzo, caratterizzata da giochi di luce e ombra per la presenza di nicchie e finestre dove si trovavano alfreschi policromi di soggetto antico, chiaro riferimento alle esperienze romane classicheggianti di Baldassarre Peruzzi.
Dopo la cacciata dei Pio (1525) Carpi passa sotto il governo degli Estensi e il Palazzo, diventato sede del Governatore, inizia il suo lungo degrado e abbandono interrotto solo momentaneamente dalla costruzione della Torre dell'orologio, al centro dell'edificio, costruita su progetto di Guido Fassi fra 1625 e 1627 per portare l'orologio comunale dalla Torre della Sagra a Borgo Gioioso.
Negli ultimi anni l'originaria struttura architettonica del Palazzo, gli affreschi e le decorazioni, danneggiati dai vari usi della dimora principesca nei secoli, sono stati progressivamente recuperati alla loro bellezza e al loro antico splendore. Due straordinari cicli di affreschi di età rinascimentale sono emersi recentemente nelle stanze del Palazzo dei Pio (sec. XW-XVI).
Differenti per soggetto e per riferimenti culturali e artistici, sono entrambi molto interessanti per i rapporti che sottintendono fra la signoria carpigiana e le corti più importanti della zona padana, Ferrara e Mantova in particolare, e con l'ambiente romano del primo Cinquecento. Il ciclo di affreschi della Stanza dei Trionfi, uno degli ambienti più suggestivi dell'appartamento nobile del Palazzo, raffigura il tema dei Trionfi, immagini allegoriche di carri in trionfo secondo la tradizione dell'antica Roma, rappresentanti la Fama, il Tempo, l'Amore, la Morte, la Carità e l'Eternità. E' ipotizzabile nella scelta del soggetto un riferimento alla omonima opera poetica di Francesco Petrarca, i cui rapporti con Carpi sono documentati da un soggiorno del poeta alla metà del Trecento. L'affresco è databile a due fasi diverse della decorazione del Palazzo.
Alla seconda metà del Quattrocento sono attribuibili le scene del Trionfo del Tempo, del Trionfo dell'Amore e di un Corteo di Cavalieri, assolutamente estraneo all'iconografia classica dei Trionfi ma chiaramente legato alla vita di corte carpigiana, con evidenti riferimenti culturali e artistici alle decorazioni ferraresi di Palazzo Schifanoia.
Di un'epoca posteriore, databile ai primi anni del Cinquecento (e comunque entro il 1525), sono le scene col Trionfo della Morte e il Trionfo della Fama, attribuibili a Bernardino Loschi, pittore di corte di Alberto III Pio, formatosi in ambiente padano e legato alla pittura quattrocentesca lombarda, in particolare ad Andrea Mantegna e alle sue opere mantovane.
Ad altro contesto culturale si riferiscono invece gli interessanti affreschi emersi nel corso degli ultimi mesi nelle stanze occupate un tempo dall'Archivio Notarile. Di notevole bellezza, sia per impianto decorativo che per livello artistico, le pitture di due stanze, attribuibili all'opera di Giovanni del Sega, pittore di origine forlivese che Alberto III Pio conosce a Roma durante la sua attività di ambasciatore presso lo Stato Pontificio. La scelta dei soggetti degli affreschi, databili ai primissimi anni del Cinquecento (Giovanni del Sega arriva a Carpi nel 1506), è strettamente legata da una parte al ruolo politico del signore carpigiano dall'altra all'ambiente artistico romano dell'epoca, frequentato da personaggi quali Michelangelo, Raffaello, Antonio da Sangallo. Accanto infatti alla decorazione della Sala dei Gigli di Francia, chiara allusione all'alleanza di Alberto III con i Francesi, tipicamente cinquecentesca, anche nelle scelte iconografiche, risulta invece la decorazione della Sala delle Musiciste.
Le pitture, ricche di figure allegoriche - il Pegaso al centro della volta e le Musiciste delle lunette - e di richiami al mondo antico, come i busti dei grandi poeti latini negli ovali (riconoscibilissimo Virgilio), sono elementi tipici della cultura umanistica rinascimentale, che a Carpi arriva attraverso Aldo Manuzio e Giovanni Pico della Mirandola, precettori di Alberto III.