De Jong werd geboren in Nieuw-Vossemeer, een dorp in het westelijk deel van Noord-Brabant. Het gezin had 13 kinderen. De Jongs vader was landarbeider, en ging op zoek naar meer welvaart als arbeider in Rotterdam. Veel van De Jongs jeugdherinneringen zijn verwerkt in de romancyclus Merijntje Gijzens jeugd en jonge jaren.
Tijdens de mobilisatie in de Eerste Wereldoorlog werd De Jong opgeroepen voor dienst. Vanuit zijn gevoel voor onrecht publiceerde hij in zijn Notities van een landstormman kritische stukken over de situatie in het Nederlandse leger. Als gevolg daarvan werd De Jong van de officiersopleiding verwijderd. Later zou hij deze ervaringen verwerken in zijn roman Frank van Wezels roemruchte jaren.
A.M. de Jong schreef de teksten voor de strip Bulletje en Boonestaak, waarvoor hij in 1922 de in Nederland wonende Belg George van Raemdonck aantrok voor het maken van de tekeningen. Deze strip wordt tegenwoordig als een klassieker beschouwd, zowel wegens de gedurfde tekeningen als de controversiële onderwerpen van De Jong.
In augustus 1930 begon De Jong als medewerker bij de VARA, waar hij tot na het uitbreken van de Tweede Wereldoorlog verantwoordelijk zou zijn voor de wekelijkse boekenrubriek. Vanaf de jaren twintig was hij daarnaast literatuurcriticus voor het dagblad Het Volk.
In 1942 werd De Jong wegens zijn socialistische sympathieën door de Duitsers gearresteerd, maar al snel weer vrijgelaten wegens zijn slechte gezondheid. Als represaille voor de moord op een aantal NSB'ers werd De Jong in 1943 vermoord door Nederlandse SS'ers, een van de zogenaamde Silbertanne-acties.
In 1974 werd in zijn geboorteplaats Nieuw-Vossemeer het A.M. de Jong-museum geopend.
In 2001 kwam er een biografie uit, geschreven door de neef van A.M. de Jong, Mels de Jong.