Auch im Klubfußball feierte Hans Krankl zahlreiche Erfolge. Seine Karriere startete Krankl beim KSV Straßenbahn Wien. 1970 spielte er eine Saison beim SK Rapid. Nach einem Wechsel für eine Saison zum Wiener AC, kehrte er 1972 wieder zu Rapid zurück. Beim SK Rapid wurde er zwischen 1971 und 1978 dreimal österreichischer Torschützenkönig und einmal österreichischer Cupsieger. Von seinem Stammverein SK Rapid schaffte Krankl auch 1978 den Sprung zum FC Barcelona, nachdem er mit dem Goldenen Schuh als bester Torschütze der europäischen Ligen ausgezeichnet wurde und bei der Fußballweltmeisterschaft 1978 mit starken Auftritten glänzte.

In seiner ersten Saison für die Katalanen wurde Krankl spanischer Torschützenkönig mit 29 Meisterschaftstoren. In dieser Saison konnte er mit Barça auch den Europapokal der Pokalsieger gewinnen. Von den spanischen Fans erhielt er seinen Spitznamen Goleador. Krankl spielte bei Barcelona bis 1981 und wechselte vom katalanischen Verein nach einem Streit mit Trainer Carlos Rife zurück zu Rapid Wien.

In den Folgejahren konnte Hans Krankl mit Rapid die meisten seiner nationalen Erfolge in Österreich feiern. 1982 und 1983 feierte er mit Rapid den Gewinn der österreichischen Meisterschaft, 1983–1985 wurde er dreimal in Folge Cupsieger und erreichte 1985 mit den Grün-Weißen sensationell das Finale des Europapokals der Pokalsieger, in dem die Wiener allerdings trotz eines Tores von Krankl mit 1:3 gegen den FC Everton unterlagen.

In den letzten Jahren seiner Karriere spielte Krankl für zwei Saisonen beim Wiener Sport-Club, 1988 für kurze Zeit beim Kremser SC und ließ schlussendlich seine aktive Fußballerkarriere 1988 beim SV Austria Salzburg ausklingen.