L'origine del nome Sarzana è difficile da stabilire, alcuni antichi storici locali nel XV secolo citavano i nomi di Serrezzana o Sergianum, di un colono della famiglia Sergia. Il nome appare per la prima volta in un diploma dell'imperatore Ottone I il 19 maggio dell'anno 963 dove veniva riconosciuto al vescovo di Luni il possesso del "Castrum Sarzanae", situato dove attualmente sorge la fortezza di Sarzanello, comunemente denominata Castracani. Tale castrum, ovvero castello fortificato, doveva avere come scopo il controllo sulle principali strade di fondovalle.

Intorno al 1000 viene citata la nascita del vero nucleo abitato di Sarzana, il cui sviluppo è da mettere in relazione con la decadenza della vicina Luni che, a causa dei continui mutamenti geografici, si andava spopolando. Il borgo di Sarzana pare fosse diviso in due nuclei, gli abitanti dei quali venivano indicati come "illi de Burgo", ovvero "quelli del borgo" e come "illi de Carcandula", "quelli che risiedevano sull'antico letto del torrente Calcandola", nei pressi dell'attuale Piazza Matteotti.

Nel 1204 il vescovo Gualtiero II trasferì la Sede Vescovile da Luni a Sarzana guadagnandosi un'indipendenza della città prima che venisse sottomessa al dominio di vari signori vicini. Alla morte del vescovo i Sarzanesi si rifiutarono di giurare fedeltà al nuovo vescovo Mazzucco, fino ad un accordo stipulato nel 1219 per ripudiarlo nuovamente cercando allenza con la città di Pisa. Il vescovo Guglielmo, seguito a Mazzucco durante un viaggio verso Roma, per partecipare al concilio lateranense, venne fatto prigioniero dai Pisani, alleati coi Sarzanesi contro il vicario imperiale Oberto Pallavicino, i quali avevano iniziato la costruzione della Fortezza Firmafede dove oggi sorge la Cittadella.

Dopo la sconfitta da una lega Lucchese-Genovese-Fiorentina, i Pisani riconsegnarono la città di Sarzana nelle mani del vescovo Guglielmo, il suo successore, Enrico da Fucecchio, comunicò i sarzanesi a scopo intimidatorio ma fu rapidamente cacciato dalla città e costretto a rifugiarsi in Lunigiana. Solo dopo l'intervento del Pontefice Bonifacio VIII i cittadini vennero costretti ad accettare il successore di Enrico, Antonio Nuvolone da Camilla. Dopo la dominazione imperiale di Arrigo VII il vescovo Gherardino Malaspina, nominò Castruccio Castracani, visconte della diocesi lunense fino alla sua morte nel 1328, dopodichè la città tornò sotto il controllo dei Pisani per passare successivamente sotto il dominio di varie signorie, concludendosi con la dominazione della Repubblica genovese (1438).