La lutte a duré à peine 125 secondes avant Liston arrêté Patterson, un match revanche 10 mois plus tard, n'a duré que 4 secondes de plus avec Patterson descendre trois fois et incapable de regagner le titre pour une troisième règne.
Patterson serait alors enchaîner une série de 5 victoires (avec des adversaires notables Eddie Machen et George Chuvalo) avant un autre combat de championnat du monde avec l'homme qui avait pris le titre de Liston.
Muhamed Ali (qui était 21-0) a battu l'ancien champion deux fois, en dépit d'être convaincante sur les points Ali a réussi à fermer le spectacle avec un arrêt au 12e round, une autre perte dans un combat de championnat pour Patterson.He reviendrait de cette perte avec 3 KO (dont une victoire de 4e ronde sur Henry Cooper) avant d'affronter Jerry Quarry dans un combat qui aboutirait à un tirage au sort de la majorité.
Un match revanche avec Quarry a été battu 4 mois plus tard avec la carrière de prendre une décision serrée (la décision majoritaire de la victoire) dans le cadre du tournoi de 8 homme pour le titre vacant WBA (dépouillé de Ali quand il a omis de se présenter pour le projet de la guerre du Vietnam). Bien que Patterson ferait face à Jimmy Ellis (le vainqueur) dans son combat suivant pour une autre chance de remporter le titre. Ellis serait battu Patterson sur la distance de 15 tour dans ce qui serait l'un des derniers grands combats de sa career.
After la perte Patterson a fait une série de victoires de 9 combats, mais la plupart étaient contre des adversaires de qualité relativement plus faibles avec seulement un seul opposant notoire (Oscar Bonavena qui était lui-même passé de son mieux, a perdu aux points). Dans le combat final de la carrière de Patterson il avait un match revanche avec Muhammed Ali qui l'arrêter à nouveau, cette fois en raison de coupures autour des yeux en 7e round.A fiche finale de 55 (de 40ko) -8-1 était juste une des choses Floyd a quitté la boxe avec plus de sa carrière de 20 ans.
Il a réclamé les dossiers d'être le cha