Sweet Pea, como se le conocía, fue campeón del mundo en cuatro categorías (peso ligero, welter, super welter y peso medio) y ganador del oro olímpico en Los Ángeles 1984 en peso ligero.
Considerado como un maestro defensivo, se retiró en 2001 tras 17 años de carrera en la que obtuvo un récord profesional de 40 triunfos, 17 de ellos por KO, cuatro derrotas y un empate.
Entre 1993 y 1997 fue nombrado el mejor boxeador del mundo libra por libra
El púgil, incluido en el Salón Internacional de la Fama del Boxeo en 2006, protagonizó dos históricas rivalidades con Julio César Chávez, con el que disputó un combate nulo en 1993, y con Óscar de la Hoya, con quien cayó derrotado en 1997.
En España es especialmente recordado por ser el primer boxeador capaz de derrotar a Poli Díaz, en una pelea que tuvo lugar el 27 de julio de 1991 en Norfolk (Reino Unido), la ciudad donde nació Whitaker hace 55 años.
