Kelly verbrachte acht seiner 14 NHL-Saisonen bei den Ottawa Senators. In der sechsjährigen Pause ging er für die Boston Bruins auf das Eis, mit denen er 2011 den Stanley Cup gewinnen konnte. Nach einem Sommer, in dem er keinen neuen Vertrag erhalten hatte, kam er beim AHL-Team der Senators unter.