La perfetta realizzazione lineare del complesso romanico, nell'alternanza di linee rosa e nere, contrasta ancora di più con il degrado dell'imponente eremo che, seppure così inclinato - c'è chi sostiene abbia una pendenza record superando la Torre Pisana - e crollato in gran parte su se stesso, continua a dominare con dignità il pianoro alberato e soleggiato su cui poggia fin dal XII secolo.

L'eremo, che ha dato uno dei nomi alla valle, si affaccia a sud sulla gola attraversata dal Fosso del Conventaccio, attualmente l'unica fonte sonora che irrompe nel suggestivo silenzio che circonda l'eremo e il bosco.

Passeggiando attorno e al suo interno si apprezza la fortuna di poterlo ammirare ancora in piedi con il suo scheletro. Sì, oggi manca il tetto, che copriva semplicemente l'unica navata con volta a botte e con un'architettura capriata di travi di legno, l'ingresso non è più costituito da una porta ma da una breccia che si allarga a "V" dal basso ai bordi superiori; delle suppellettili, dei crocifissi, dei candelabri non c'è più traccia.
Tuttavia, per dare nuova vita all'eremo, piccole piante di ogni genere e alberelli da cui sono caduti dei mattoni si innalzano tra le fessure , o nelle nicchie interne, o sopra i capitelli dei pilastri che un tempo sorreggevano l'arco della navata, o alla base delle monofore, le cui radici si insinuano lentamente tra un blocco e l'altro, spezzando il ritmo delle simmetrie che devono essere stati così accurati.

La scelta delle pietre, e quindi dei colori, è di squisita armonia, per nulla casuale o puramente estetica. Infatti, come accade per la maggior parte dei complessi sacri, i marmi o altre pietre provengono da quanto offrivano le risorse locali. Anzi, si potrebbe forse dire che il complesso venne edificato lungo il Basso Merse non solo per l'abbondante presenza di acqua e legname, ma anche per la ricchezza di marmo nero di Vallerano, tanto da dare origine alle cave di serpentinite gestite dai Agostiniani dell 'eremo.

Questo marmo, molto ricercato, non solo confrontato nell'eremo di Montespecchio alternato al locale calcare rosa, ma fu utilizzato anche per la costruzione del Duomo di Siena. Trovandosi infatti nel comune di Murlo, all'interno di quella che oggi è la Riserva Naturale del Basso Merse, si trova a pochi chilometri da Siena, dove la campagna toscana ha conservato una fitta rete di pievi di origine medievale, certamente in relazione al importante arteria di collegamento che attraversava quel territorio, la Via Francigena.

Anche l'eremo di Montespecchio è di origine medievale. Per l'esattezza, grazie ai documenti è possibile accertare che fu fondata nel 1190 a seguito di una donazione. Altre attestazioni testimoniano i trasporti generati per il commercio del marmo nero da parte dell'eremo stesso, prevalentemente per mezzo di animali da soma, poiché probabilmente le strade non consentivano l'utilizzo di mezzi migliori.
Dopo circa quattrocento anni di fiorente attività, intorno al 1686, l'eremo è in rovina ed era già indicato con il toponimo di "Conventaccio".

Come i frati, alcune parti della struttura furono progressivamente trasferite nella chiesa vicina di Santa Cecilia in Crevole. Ciò trova certamente ragione in parte nella politica di Innocenzo X della metà del XVII secolo sulla soppressione dei conventi d'Italia; si sostiene inoltre che sia stata la stanchezza dei monaci di vivere in quel luogo solitario e orrendo a portare all'abbandono dell'eremo.

Altre storie invece si sono pubblicate all'allontanamento dei frati dall'eremo a causa della loro condotta morale disdicevole, forse incoraggiato proprio dalle caratteristiche geografiche di quella valle, così solitaria e nascosta, quasi dimenticata nei boschi.