- begon hij les te nemen bij Marten Brouwer (accordeon, algemene muziekleer, harmonieleer en solfège). Deze lessen werden van doorslaggevende betekenis voor zijn verdere ontwikkeling. Weldra gaf hij zelf ook les en leidde accordeonorkesten. Na Brouwers overlijden in 1963 werd hij dirigent van het "Schoolorkest van Brouwer's Muziekschool" en doopte het om tot "Brouwer's Akkordeonorkest".

Van een studie natuurkunde aan de Rijksuniversiteit Groningen schakelde hij over naar een conservatoriumopleiding accordeon zodra dat mogelijk was. Na afsluiting daarvan (met als hoofdvakleraren Philip van Loon en Wilt Boonstra) studeerde hij Theorie der Muziek bij Wim Brandse aan het conservatorium te Zwolle. Vanaf 1965 was hij docent ensemblespel en van 1969 tot 1990 docent hoofdvak accordeon, later ook muziektheorie en hoofdvak Theorie der Muziek, aan de Muziek Pedagogische Akademie Leeuwarden. Na de gedwongen opheffing van dat instituut werd hij aangesteld als docent Theorie der Muziek, later ook accordeon, aan het conservatorium te Groningen. Als docent tweede fase accordeon heeft hij eveneens een aantal jaren gewerkt aan het Koninklijk Conservatorium te Den Haag.

Daarnaast is hij lid van het accordeonkwartet "Variabile", componeert en arrangeert, schrijft artikelen in accordeonbladen en was actief bij diverse nationale en internationale accordeonmanifestaties. Hij organiseerde vanaf 1971 tweejaarlijkse studiedagen accordeon aan de M.P.A. Leeuwarden met als gastdocent Mogens Ellegaard en na diens overlijden met Friedrich Lips aan het Groninger Conservatorium. Zijn accordeonstudenten nam hij mee op studiereizen naar Italië, Rusland, Frankrijk, Denemarken en Zweden. Zijn specialiteiten binnen het vak accordeon zijn: methodiek en historie. Hij gaf diverse lezingen en schreef artikelen hierover in binnen- en buitenland. Vanaf de oprichting was hij bestuurslid van de International Accordion Society (die helaas ter ziele ging na de dood van

Mogens Ellegaard in 1995).

Johan de With heeft als componist enkele tientallen werken op zijn naam staan, waaronder composities voor koor, voor houtblazers, voor blokfluiten en voor orgel, en uiteraard ook een aantal waarin het accordeon, binnen diverse bezettingen, een belangrijke rol speelt. In 1997 ontving hij de "Prijs Nederlandse accordeonmuziek" van het "Centrum Nederlandse Muziek", in 2004 de "Muzyk Maskelyn Priis" van Omrop Fryslân, en in het voorjaar van 2005 werd hij benoemd tot Ridder in de Orde van Oranje-Nassau voor zijn werk op het terrein van accordeon en onderwijs.