La Ferrovia Marmifera nacque a partire dall'iniziativa di una società a capitale privato formata dal cavaliere fiorentino Giuseppe Troyse-Barba, dal segretario comunale di Carrara Giuseppe Fossati e dall'ingegnere del Comune di Carrara che nel 1866 ricevettero la concessione per la costruzione. Dopo la morte di Troyse-Barba e la cessione di varie quote di capitale si arrivò nel 1874 alla fondazione della vera e propria Società Ferrovia Marmifera Privata di Carrara.
Il primo progetto esecutivo per la costruzione della ferrovia fu elaborato nel 1869 dagli ingegneri Pietro Ganzoni e Carlo Willy e portò alla realizzazione dei primi due tronchi della ferrovia (20 km in totale) che furono inaugurati il 19 agosto del 1876. Questi due tronchi collegavano il porto di Marina di Carrara alle pendici dei bacini di escavazione (il capolinea era ubicato nella zona chiamata "Piastra") e nella zona tra Carrara e Avenza (fra le stazioni di Avenza e di San Martino) si raccordavano alla preesistente ferrovia Avenza-Carrara, lunga circa 4,5 km, gestita dalle Ferrovie dell'Alta Italia.
Un successivo ampliamento verso le regioni di escavazione (cave di Gioia, Ravaccione-Polvaccio, Colonnata) fu proposto nel 1885 da parte degli ingegneri Sartorio e Leoni. I lavori iniziarono nel 1887 e il nuovo ramo venne inaugurato il 15 maggio del 1890. Con questo ampliamento la ferrovia riuscì ad accelerare notevolmente i tempi di spostamento dei marmi verso il mare e rappresentò la prima alternativa meccanizzata agli antichi metodi di movimentazione dei blocchi, che storicamente venivano trasportati con carri trainati da buoi e con la lizzatura.
La ferrovia si affermò rapidamente ottenendo quote sempre maggiori di mercato nel trasporto del marmo. Si può affermare che, a parte una breve flessione indotta dalle requisizioni di mezzi durante la Prima guerra mondiale, la Ferrovia Marmifera continuò a espandere il proprio fatturato fino alla fine degli anni venti del XX secolo, quando gli effetti della crisi economica del 1929 contrassero considerevolmente il mercato del marmo.
Come segnalato da una guida del Touring Club Italiano edizione 1916, era possibile per chi volesse visitare le cave, inoltrare una richiesta alla Società al fine che questa attaccasse al convoglio una vettura capace fino a 25 posti per consentire la visita. La visita era gratuita e veniva sollecitata dalla stessa guida la mancia a favore e beneficio dei ferrovieri.
Il massimo periodo di attività venne raggiunto nel 1923, con circa 500.000 tonnellate di marmo trasportato all'anno su 33 km totali di percorso tra linea e raccordi.
Con la Seconda guerra mondiale la linea subì pesanti danni a causa dei bombardamenti e dei sabotaggi, portando la Società Marmifera prossima al fallimento. Nel 1945 i ponti sulla tratta Avenza-Carrara subirono un bombardamento e questo causò l'interruzione della linea. In seguito i ponti furono ricostruiti.
Nel dopoguerra i tracciati principali vennero ricostruiti, ma la concorrenza sempre più forte costituita dal trasporto su gomma decretò l'obsolescenza dell'intero sistema ferroviario, che venne definitivamente chiuso e smantellato a partire dal 15 maggio 1964.
