Alla University of Pittsburgh, sotto la direzione dell'allenatore Jock Sutherland, Goldberg guidò i Pittsburgh Panthers a due campionati nazionali consecutivi nel 1936 e 1937[1]. Terminò terzo nelle votazioni dell'Heisman Trophy nel 1937 e secondo nel 1938. Fu premiato unanimemente come All-American sia nel 1937 che nel 1938, prima come halfback e poi come fullback. Le sue 1.957 yard corse rimasero un record di Pitt finché non furono superate nel 1974 da Tony Dorsett.
Goldberg fu scelto come 12º assoluto dai Chicago Cardinals nel Draft NFL 1939[2], giocandovi fino al 1943, quando dovette arruolarsi nella Marina per la Seconda guerra mondiale. Tornò a giocarvi dal 1946 al 1948. Vinse il campionato NFL nel 1947 e la division l'anno successivo. Nel 1942 fu inserito nel Second-team All-Pro.
^(EN) Pro Football Draft History: 1939, Pro Football Hall of Fame. URL consultato il 22 luglio 2013 (archiviato dall'url originale il 13 ottobre 2013).