Dôté d'une puissance de frappe incroyable, cette force de la nature semait la terreur dans les défenses adverses sur son côté gauche. Il ne chaussait pourtant que du 35 ! Malgré cet 'handicap', il pouvait faire mouche dès 30-40 mètres.
Sélectionné à 24 reprises en équipe du Luxembourg, il termina deuxième meilleur buteur du Championnat de France en 1946/1947 avec trente buts, à trois longueurs du Rémois Pierre Sinibaldi. La saison suivante, il porta son total à vingt-sept buts. Super canonnier du FC Metz, Gusti Kemp a disparu tragiquement le 13 avril 1948 dans un accident de voiture.