Sohlberg wordt geboren als achtste in een gezin van elf kinderen. Hij koestert al vroeg ambities om kunstenaar te worden, maar zijn vader wil dat hij een ambacht gaat leren. In 1889 weet een vriend van de familie, die Haralds tekentalent onderkende, zijn vader echter te overtuigen om het toch eens in die richting te proberen. Harald gaat naar de tekenschool in Valdres en kiest uiteindelijk definitief voor het schilderschap. Al snel raakt hij verzeild in vooraanstaande kunstenaarskringen en ontmoet onder andere Sven Jørgensen, Eilif Peterssen en Erik Werenskiold. In 1896 studeert hij een jaar aan de Kunstacademie van Weimar.

Als kunstschilder wordt Sohlberg meestal gerekend tot de neoromantiek, met modernistische invloeden. Hij werkt veel in de bergen van Rondane en in de stad Røros. Het vangen van atmosfeer en licht is een belangrijk aspect van zijn werk, net als bij veel andere Scandinavische kunstschilders van zijn generatie. Vaak probeert hij ook symbolische bedoelingen uit te drukken. Exemplarisch hiervoor is zijn schilderij Zomernacht (1899), dat verband houdt met zijn aanstaande huwelijk: de tafel is gedekt voor twee, met een hoed en handschoenen van een vrouw. Het mooie landschap is een metafoor voor de belofte die het leven voor het paar inhoudt.

Sohlbergs latere werk richt zich meer op de schrale, bergachtige regio van Midden-Noorwegen. In die periode worden zijn landschappen ook mystieker. Meest bekende voorbeeld uit die tijd is Winternacht (1913-1914), dat hij in diverse varianten schildert.

Sohlberg overlijdt in 1935 aan kanker, 65 jaar oud. Werk van hem is te bezichtigen in alle belangrijke musea van Noorwegen, onder andere in het Vigelandmuseet te Oslo.