Van Oostrom is de zoon van neerlandicus en historisch taalkundige Jules Philip van Oostrom. Hij deed in 1971 eindexamen aan het Stedelijk Gymnasium Leiden. Tien jaar later, in 1981, promoveerde hij aan de Universiteit Utrecht bij W.P. Gerritsen op het proefschrift Lantsloot vander Haghedochte, waarvoor hij bekroond werd door het Prins Bernhardfonds.

Van 1982 tot 2002 was hij hoogleraar Nederlandse letterkunde tot de Romantiek aan de Universiteit Leiden. Het zwaartepunt lag bij hem op de middeleeuwse literatuur, nadat zijn voorgangster Sonja Witstein zich in de renaissanceliteratuur had gespecialiseerd. In 1999 was hij gasthoogleraar aan Harvard. Sinds 2002 is hij als universiteitshoogleraar verbonden aan de Universiteit Utrecht. Van 2005 tot 2008 was hij president van de Koninklijke Nederlandse Akademie van Wetenschappen (KNAW).

In de door de Nederlandse Taalunie gefinancierde reeks Geschiedenis van de Nederlandse literatuur, schreef hij Stemmen op schrift waarin hij de Oudnederlandse en Middelnederlandse literatuur tot 1300 bespreekt en Wereld in woorden waarin hij de periode 1300-1400 behandelt.

Als voorzitter van de Commissie Ontwikkeling Nederlandse Canon presenteerde Van Oostrom in oktober 2006 de canon van Nederland.

Hij ontving eredoctoraten van de Katholieke Universiteit Brussel (1995), de Universiteit Antwerpen (2008) en de Open Universiteit (2014).