Die sportliche Karriere von Carlo Pedersoli, wie Spencer mit bürgerlichem Namen hieß, beschränkte sich nicht nur auf das Schwimmen. Vor seinem Durchbruch als Schauspieler war er nämlich auch Mitglied der italienischen Wasserball-Nationalmannschaft.
Als Schwimmer nahm er zweimal an Olympischen Spielen (1952, 1956) teil und eroberte bei seiner zweiten Teilnahme in Melbourne Platz elf über 100 Meter Freistil. 1957 beendete er mit nur 27 Jahren seine Schwimmkarriere.