Hans-Joachim Gehrke studierte Geschichte und klassische Philologie an der Universität Göttingen und promovierte dort im Jahr 1973. Sein Forschungsschwerpunkt umfasste die Geschichte und Archäologie des antiken Griechenlands von der Frühzeit bis zum Hellenismus.
Gehrkes Habilitation erfolgte 1986 zu „Stasis“, den Bürgerkriegen in den Stadtstaaten des antiken Griechenlands vom 06.bis zum 4 Jh. V. Chr.
In den 1980er Jahren war er Ordinarius an der FU Berlin und ging dann nach Freiburg, wo er bis 2008 den Lehrstuhl für Alte Geschichte innehatte. Von 2008 bis 2011 war er Präsident des Deutschen Archäologischen Instituts (DAI) mit Sitz in Berlin, zugleich Honorarprofessor für Alte Geschichte und Klassische Philologie an der FU und für Alte Geschichte an der Humboldt-Universität.
2010 wurde Ihm das Bundesverdienstkreuz verliehen.