Het verhaal speelt zich af in het midden van het jaar 1643. De schrijver is in het bezit gekomen van brieven van de lichtschuwe Italiaanse edelman Roberto de La Grive.

Roberto de La Grive wordt tijdens een reis door de Grote Oceaan overboord geslagen van de Amarilli, waarop hij als spion voor kardinaal Mazarin meevoer. Hij slaagt er in zich drijvende te houden op een plank, en spoelt na enkele dagen aan tegen een aangemeerd schip (Daphne) in de buurt van een eiland. Het schip lijkt op het eerste gezicht verlaten te zijn, alhoewel er verse voorraden voedsel aanwezig blijken te zijn, evenals grote hoeveelheden dieren en veel uurwerken.

De Daphne ligt aangemeerd in het zicht van een exotisch eiland met vreemde fauna en flora. Het schip blijkt recentelijk verlaten te zijn door zijn bemanning. Hij krijgt aanwijzingen waaruit blijkt dat er toch nog een 'indringer' op het schip aanwezig is. Enkele dagen later vindt hij de indringer, die een jezuïet genaamd Caspar Wanderdrossel blijkt te zijn. Caspar had namelijk een beet opgelopen, die veel leek op een pestbuil. Daarop waren de matrozen naar het eiland getrokken, waar ze vermoedelijk door kannibalen zijn opgegeten.

De pater vertelt hem dat tussen het Eiland en de Daphne de datumgrens ligt, zodat ze als ze in die richting kijken, eigenlijk gisteren zien. Dit is meteen een verklaring voor de titel van het boek.

Caspar komt echter om wanneer hij in een zelfgemaakt duikpak probeert het Eiland te bereiken. Dan valt Roberto terug in zijn droomwereld. Hij besluit een Roman te schrijven, over zijn halfbroer Ferrante in de vorm van brieven aan een gefantaseerde Dame. Als kind had hij Ferrante en de Dame verzonnen als een soort van alter ego's. Ondertussen blijft hij plannen maken om het Eiland te bereiken. De dagboeken eindigen nadat hij de vogels heeft bevrijd, de klokken overboord heeft geworpen, en een poging doet om het eiland te bereiken. Omdat hij niet kan zwemmen en de stroming te sterk is, wordt hij om het eiland gevoerd, drijvend op zijn vlot.