La prima menzione della Rocca dei Rossi è in un documento del 1417 dove compare come residenza abituale di Pietro e ciò attesta che fu Pietro Rossi a far costruire la Rocca, probabilmente negli anni immediatamente precedenti al documento (1413-1415), si sa anche che davanti alla Rocca vi era una piazza e un fossato la separava dal borgo fortificato Di fatto la posizione scelta è su di un dosso sulla riva opposta del Taro Morto rispetto al borgo fortificato, in tal modo si potevano attingere le acque per alimentare il fossato. La piazza, che di fatto coincide con l'alveo del Taro Morto, è ancor oggi esistente (Piazza Mazzini) e separa, appunto, il centro storico del paese dalla Rocca.
Lo sviluppo della Rocca e del paese prende vigore poi verso metà del XV secolo ad opera di Pier Maria II de' Rossi, figlio di Pietro che, parallelamente all'ampliamento della Rocca, procedette, come già citato, all'erezione lungo la strada romana della Collegiata dedicata all'Annunciazione di Maria Vergine definendo la seconda direttrice di sviluppo del paese (Rocca-Collegiata) perpendicolare alla strada per Cremona e identificabile con l'attuale via Roma. L'ascesa politica del condottiero avvenuta intorno alla metà del XV secolo caratterizza uno dei momenti di maggior sviluppo e lustro della borgata e del suo maniero, tuttavia con la morte di Francesco Sforza prima e Galeazzo Maria Sforza poi, un rovesciamento repentino di alleanze porta i Rossi in guerra con Ludovico il Moro che invia le truppe milanesi comandate da Sforza Secondo Sforza e da Gian Giacomo Trivulzio a cingere d'assedio a più riprese il castello di San Secondo nel 1482.
Nonostante la strenua resistenza, Pier Maria II de' Rossi è costretto da forze soverchianti a riparare al Castello di Torrechiara, dove di lì a breve morirà ; la sorte del castello (e quella dei Rossi) è invece segnata: dopo una provvisoria tregua nell'ottobre 1482 Guido de' Rossi riprende la lotta a gennaio 1483 finendo definitivamente sconfitto a giugno dello stesso anno. Il castello, ormai distrutto, cade il 21 giugno 1483 dalle truppe del Moro.
Nei due decenni successivi il paese si riprende faticosamente. La gran parte dei possedimenti rossiani fu suddivisa tra la Camera ducale, i Sanvitale, Gianfrancesco I Pallavicino e Pietro Francesco Visconti di Brignano, Conte di Saliceto, che, il 25 Maggio 1483, riceve il feudo di Corniglio con le, già castellanie di Beduzzo, Pugnetolo e di Roccaferrara, mentre, gli importanti feudi di Felino, Torrechiara e San Secondo furono eretti in Contea, nel 1483, ed investiti ad un figlio minore di Ludovico il Moro, (allora, Duca di Bari, e reggente del Ducato di Milano), Leone Sforza (nato nel 1476 e morto nel 1496), che ne divenne Conte. Alla morte di Leone Sforza, per 1 mese, i tre feudi passarono alla duchessa Beatrice d'Este, sempre per donazione del marito Ludovico.
Troilo I de' Rossi solamente nel 1499 riuscirà a rientrare in possesso dei territori sottratti nella guerra precedente, grazie alle parentele acquisite con il matrimonio con Bianca Riario e ai servigi prestati ai duchi di Milano, ritornati nel frattempo alleati, guadagnando, oltre alla restituzione degli antichi possedimenti, anche il titolo di Marchese.
Alla morte di Troilo I, i territori del feudo vennero occupati dai Rossi di Corniglio che tuttavia dovettero ritirarsi dopo essere stati sconfitti da Giovanni de Medici nella battaglia di San Secondo, restituendo così al legittimo erede Pier Maria III de' Rossi la contea. Egli fu l'ultimo grande condottiero della famiglia, combatté al servizio di Carlo V prima e Francesco I Re di Francia poi, morendo nel 1547 a seguito delle ferite riportate in battaglia. Nel frattempo iniziò a decorare la dimora di famiglia e ad ingrandirla costruendo la "gran sala" che diverrà la Sala delle Gesta Rossiane. Dei lavori di ampliamento poco si sa in quanto non vennero lasciate carte per evitare di incorrere nelle ire di papa Paolo III che avrebbe voluto addirittura far abbattere la rocca a causa della caduta in disgrazia presso la corte pontificia del fratello di Pier Maria, Giovan Girolamo, vescovo di Pavia e che quindi tanto meno avrebbe consentito ampliamenti.
Durante il XVI secolo San Secondo entrò a far parte dei territori del Ducato di Parma e Piacenza sotto la dinastia dei Farnese, Troilo II, figlio di Pier Maria, dovette accettare suo malgrado di sottomettersi ai signori di Parma dopo che l'ultimo tentativo di sottrarsi alla loro giurisdizione, operato dallo zio Giulio Cesare fu soffocato nel sangue dai sicari dei Farnese presso l'abbazia di Chiaravalle della Colomba nel 1554. Dopo la morte dello zio Troilo resistette due anni, sino al dicembre del 1556 quando Filippo II di Spagna gli intimò di sottomettere il feudo di San Secondo alla giurisdizione dei Farnese. Troilo II si consolò dedicandosi alle commissioni artistiche che decorarono e abbellirono il suo palazzo trasformato progressivamente da struttura meramente militare e difensiva a dimora di rappresentanza, godendo inoltre di buoni rapporti con la corte pontificia dopo la nomina a cardinale del fratello Ippolito avvenuta nel 1585.
Il paese si ampliò progressivamente e per volontà di Federico I Rossi e dei suoi successori si iniziò la costruzione dell'Ospedale della Misericordia. Tuttavia il rapporto con in Farnese, mai troppo cordiale, si guastò nuovamente a causa del fatto che Troilo IV combatté a favore della Spagna, ne conseguì nel 1633 la confisca del feudo successivamente riscattato dal fratellastro Scipione I nel 1653 non senza gravi esborsi finanziari che dissanguarono le casse della famiglia. I Rossi continuarono a mantenere i diritti nobiliare sino al 1802 quando Scipione II fu costretto alla fuga a causa della rivoluzione francese, morto Scipione senza eredi, il titolo di marchese passò al cugino Giovan Girolamo morto il quale nel 1817 il titolo nobiliare decadde mentre l'usufrutto della rocca passò al ciambellano di Maria Luigia, Guido de' Rossi, ultimo della sua stirpe che morì nel 1825.
Nel 1835 San Secondo venne descritto da Lorenzo Molossi nel suo "Vocabolario topografico dei ducati di Parma Piacenza e Guastalla" come prefettura di prima classe, sede di una brigata di dragoni a piedi e di una dogana intermedia per il confine con il Regno Lombardo-Veneto. Il paese constava di 250 case e 1 596 abitanti.. Il plebiscito del 1860 ratificò l'annessione di San Secondo, come di tutti i territori del Ducato di Parma, al neonato regno d'Italia avvenuta formalmente il 17 marzo 1861, a quel punto il comune, che sino ad allora si era sempre chiamato semplicemente San Secondo, chiese di cambiare denominazione in San Secondo Parmense per distinguerlo da altri paesi omonimi facenti parte dei territori del Regno d'Italia. Il 5 ottobre 1862, grazie ad un decreto del Re d'Italia Vittorio Emanuele II, il comune ottenne l'approvazione e dal quel giorno il paese ha iniziato a chiamarsi con l'attuale denominazione.
Fra la fine del XIX e l'inizio del XX si procedette alla sistemazione organica del tessuto viario del paese attraverso la costruzione della circonvallazione e l'interramento e deviazioni al di fuori del centro abitato di quei canali maleodoranti e malsani che scorrevano originariamente lungo il perimetro del primo nucleo abitativo dei quali costituivano l'originario fossato opere che terminarono nel 1923. Nel frattempo, nel 1919, il comune guidato dal sindaco Italo Bernini, padre di Ferdinando, futuro deputato della costituente, acquistò la rocca dei Rossi dalla famiglia Minghelli Vaini e vi trasferì gli uffici comunali che vi rimasero ubicati sino al 2002.
A seguito di intensissime precipitazioni che interessarono l'Alta Val Taro e che raggiunsero picchi di 280 mm in meno di 12 ore su diverse zone del crinale e sul Penna, il fiume Taro entrò in piena rovinosa raggiungendo livelli idrometrici eccezionali e spazzando via ponti e strade durante la sua corsa furiosa verso il Po. A seguito della pressione idraulica insostenibile si verificarono esondazioni dovute a straripamenti e brecce arginali anche nel comune di San Secondo; in particolare, durante la notte, oltre al superamento del colmo degli argini in alcuni punti con conseguenti allagamenti localizzati della campagna circostante, si verificò il crollo di una porzione d'argine del Canale San Carlo in prossimità del suo sbocco in Taro, in Località Mulino di Sotto, la massa d'acqua fuoriuscita dalla breccia inondò in breve tempo la campagna circostante con il risultato che all'alba tutta la zona a nord est del centro abitato era già ricoperta da una coltre limacciosa che risaliva lenta e inesorabile verso il paese lambendo l'argine destro del canale San Carlo da una parte e dilagando ovunque dall'altra.
L'avanzata delle acque finì per arrestarsi solo in strada Zoccolanti di fronte alle prime case del capoluogo che ne uscì quindi miracolosamente risparmiato.
Lo stemma del gonfalone comunale ha una storia piuttosto complessa e misteriosa legata al fatto che quando venne presentata la domanda del blasone alla prefettura non vi erano sufficienti riscontri per dimostrare il legame storico fra lo stemma e il comune di appartenenza, nonché il suo uso per almeno un secolo. Di fatto, anche se lo stemma proposto dall'amministrazione comunale nel 1881 (14 lance legate da un nastro) non venne mai approvato dalle autorità competenti, il comune mantenne l'uso delle lance nel proprio stemma senza tuttavia giungere ad una soluzione burocratica del problema. Lo status quo venne mantenuto per anni sicché nel 1927 la prefettura accusò addirittura il comune di usare un blasone senza averne il diritto. L'amministrazione comunale contestò la decisione adducendo il fatto che lo stemma adottato era contenuto nella raccolta del Blasone Parmense del Martino del 1880 dove viene citato «corona comitale, lance numero quattro a croce di Sant'Andrea e nastro che le lega.» Dall'iter burocratico che ne conseguì si ottenne nel 1943 un rigetto da parte della prefettura dello stemma comunale e la proposta della sostituzione delle lance con delle spighe d'oro. Passata la guerra e rigettata la proposta delle spighe si ottenne finalmente la concessione ufficiale con il DPR del 2 dicembre 1955 con la conferma del blasone: di azzurro, a quattro lance d'argento, poste in croce di Sant'Andrea, con le punte rivolte verso l'alto e legate da un nastro di rosso. Il gonfalone è un drappo partito di bianco azzurro che sono i colori dello stemma dei Rossi, mentre le lance rappresentano le armi della legione tebea, la milizia a cui apparteneva il Santo che ha dato il nome al paese. Del misterioso stemma a 14 lance non ci sono che tracce in alcuni mobili settecenteschi che arredano la Rocca e in un muretto di una scala secondaria.
Antica plebana dell'XI secolo sorge isolata 2 km ad ovest del centro abitato, in aperta campagna: danneggiata da un'alluvione del Taro nel XIII secolo, fu più volte ricostruita. Iniziò la sua decadenza a partire dal 1470 con la perdita della parrocchialità , in disuso subì una menomazione alla fine del settecento, quando fu accorciata di alcune arcate e fu trasformata in oratorio con annessa casa colonica. Ormai fatiscente e prossima al crollo venne salvata nel 1967 con un intervento di restauro che ripristinò la pieve nella sua configurazione originaria.
Posto lungo la strada che conduce a Fontanellato, al margine dell'allora parco della Rocca dei Rossi, l'oratorio del Serraglio fu costruito intorno al 1670, ma già dopo una decina di anni, fra il 1685 e il 1687 l'Oratorio viene ricostruito e ampliato per volontà del conte Scipione I de' Rossi. Alla sua riedificazione e decorazione vi lavorano il Bibbiena, al secolo Ferdinando Galli, che si occupò della struttura e della decorazione delle pareti e Ferdinando Ricci che si interessò della decorazione della cupola. La pianta è a croce greca con quattro absidi, due semicircolari e due poligonali, fra queste, quella rivolta ad est si apre per dar luogo ad un piccolo santuario quadrato con una cupola sormontata da un lanternino, vicino al quale si trova un piccolo campanile che porta una campana di modeste dimensioni. L'architettura propria dell'Oratorio è lineare e sobria e dona all'edificio un carattere di accentuato verticalismo. Nel fabbricato aggiunto, dietro l'area presbiterale, dove si trovano i locali di sacrestia e di una abitazione rustica.
Ubicato lungo l'asse viario principale del paese, è un edificio religioso a croce greca fatto costruire dalla Confraternita del Riscatto fra il 1717 e il 1728 su disegno dell'architetto Mai. Alla sua realizzazione lavorarono sia lo stuccatore Antonio Maria Ferraboschi, sia l'artista Giacomo Facchini che dipinse la cupola e la pala d'altare, mentre come capomastro fu nominato Bernardino di Parma. L'organo proviene dalla chiesa della Beata Vergine del Serraglio. Prende anche il nome di oratorio di San Luigi dalla statua del santo figlio del Duca di Mantova che si trova al suo interno.
La Collegiata della Beata Vergine Annunciata, posta al centro del paese, fu costruita attorno al 1450 come semplice oratorio per volere di Pier Maria II de Rossi, ma già a pochi anni dalla sua costruzione, precisamente nel 1470, venn