Après avoir appartenu plusieurs années à cette unité de reconnaissance, il est admis à la formation de pilote du bombardier en piqué Junkers Ju 87 Stuka en mai 1940. Il effectue son premier vol de combat le 23 juin 1941, lors de l'invasion allemande de l'Union soviétique.
L'unité de Rudel devait soutenir les troupes terrestres avec leurs Stukas en détruisant les chars, les pièces d'artillerie, les bunkers et les défenses ennemis et en contribuant à paralyser les infrastructures ennemies en bombardant les ponts, les lignes ferroviaires, les ports, les aérodromes et les usines. Au total, il effectua plus de 3 500 sorties de combat, un record mondial, et détruisit près de 2 000 cibles (un record également).
En avril 1942, son Stuka reçoit un nouvel armement : deux canons antichar de 37 mm montés sous les ailes. C'est avec ces armes qu'il écrivit l'histoire en mai 1942 en attaquant à lui seul un convoi de chars et en détruisant pas moins de dix-huit chars en cinq minutes seulement. Pour cette action, Rudel reçut la Croix de Fer, une prestigieuse médaille allemande.
En septembre de la même année, il s'est rendu au port de Mourmansk et a largué une bombe de 1 000 kg dans le dépôt de munitions du cuirassé russe Marat. Une explosion ultérieure a détruit la tourelle A et endommagé le navire de manière irréparable. Plus tard, avec d'autres Stukas, il réussit à couler le cuirassé Révolution d'Octobre. Pour ces actions, Rudel a été récompensé par des feuilles de chêne et sa croix de fer.