Tornato a Firenze non oltre il 24 aprile 1500, Leonardo subentrò a Filippino Lippi nell’incarico di eseguire la pala per l’altare maggiore della Santissima Annunziata e per questo accettò l’ospitalità dei frati prendendo alloggio nel convento, insieme ai suoi collaboratori.
Scrive Vasari nel 1550 che «Ritornò a Fiorenza, dove trovò che i frati de' Servi avevano allogato a Filippino l'opere della tavola dello altar maggiore della Nunziata; per il che fu detto da Lionardo che volentieri avrebbe fatto una simil cosa. Onde Filippino inteso ciò, come gentil persona ch'egli era, se ne tolse giù; et i frati perché Lionardo la dipignesse, se lo tolsero in casa, facendo le spese a lui et a tutta la sua famiglia. E così li tenne in pratica lungo tempo, né mai cominciò nulla. In questo mezzo fece un cartone dentrovi una Nostra Donna et una Santa Anna, con un Cristo, la quale non pure fece maravigliare tutti gli artefici, ma finita ch'ella fu, nella stanza durarono duoi giorni di andare a vederla gli uomini e le donne, i giovani et i vecchi, come si va a le feste solenni, per vedere le maraviglie di Lionardo, che fecero stupire tutto quel popolo. Perché si vedeva nel viso di quella Nostra Donna tutto quello che di semplice e di bello può con semplicità e bellezza dare grazia a una madre di Cristo; volendo mostrare quella modestia e quella umiltà che in una vergine contentissima di allegrezza del vedere la bellezza del suo figliuolo, che con tenerezza sosteneva in grembo; e mentre che ella con onestissima guardatura a basso scorgeva un santo Giovanni piccol fanciullo che si andava trastullando con un pecorino, non senza un ghigno d'una Santa Anna che, colma di letizia, vedeva la sua progenie terrena esser divenuta celeste».
Fra’ Pietro da Novellara, in una lettera a Isabella d’Este del 3 aprile 1501, confermava che Leonardo stava lavorando al cartone della Sant’Anna: l'ubicazione di quest'ultimo, che non corrisponde a quello conservato nella National Gallery di Londra, è tuttora sconosciuta.
Recentemente sono state individuate nella sede dell’Istituto Geografico Militare, al confine con i locali ancora appartenenti al convento, le stanze dove Leonardo avrebbe potuto alloggiare a lungo e probabilmente lavorare alle "meraviglie" del cartone. Si tratta, nonostante i rimaneggiamenti, di ambienti riconducibili all’opera di un architetto come Michelozzo, appartenente all’ambito brunelleschiano. Non sono invece sostenibili le proposte di attribuire a Leonardo alcuni affreschi tuttora presenti in questi ambienti.
La chiesa della Santissima Annunziata era stata ristrutturata dopo il 1440 da Michelozzo, ma fu probabilmente Leon Battista Alberti a disegnarne la tribuna. Il portico è opera di Antonio da Sangallo, mentre nel Chiostrino dei Voti, oltre alla Natività di Alessio Baldovinetti con un paesaggio che sicuramente richiamò l’attenzione di Leonardo, si trovano gli affreschi dei protagonisti del Manierismo successivo a Leonardo come Pontormo, Rosso Fiorentino e Andrea del Sarto.