Klemensas Rimšelis gimė 1958 m. rugpjūčio 4 d. Kaune inžinieriaus ir mokytojos šeimoje.
1976 m. baigė Kauno S. Nėries vidurinę mokyklą.
Tais pačiais metais įstojo į Kauno politechnikos instituto (dabar – Kauno technologijos universitetas) Mechanikos fakultetą, kurį 1982 m. baigė ir įgijo tiksliosios mechanikos inžinieriaus specialybę.
1982–1984 m. – Kauno elektromechanikos gamyklos „Elektra“ automatinių linijų baro inžinierius technologas.
1984–1990 m. – Kauno politechnikos instituto mokslinio tiriamojo centro „Vibrotechnika“ mokslinis bendradarbis.
1984 m. įstojo į Kauno politechnikos instituto aspirantūrą.
11 išradimų (iš jų 3 patentuoti Vakarų Europos valstybėse ir pasaulinėje išradimų parodoje „Expo-85“ apdovanoti aukso medaliu) bendraautoris.
1990–1992 m., 1995–1997 m. ir 2000 m. kovo–lapkričio mėnesiais – Kauno miesto savivaldybės tarybos narys.
1990–1992 m. – Kauno miesto savivaldybės tarybos prezidiumo sekretorius, 1992–1995 m. – Kauno miesto savivaldybės tarybos pirmininko pavaduotojas, 1995–1997 m. – Kauno miesto savivaldybės valdybos narys, Miesto plėtros komiteto pirmininkas.
1993 m. stažavosi JAV, 1994 m. – Olandijoje vietos savivaldos klausimais, 1997 m. – JAV demokratinio valdymo klausimais.
1994–1996 m. – Vyriausybės sudarytų įstatymų rengimo darbo grupių narys, Valstybės valdymo reformos darbo grupės prie Lietuvos Respublikos Prezidento narys.
1994–1997 m. – Lietuvos Respublikos savivaldybių delegacijos vadovas Europos vietinių ir regioninių valdžios institucijų kongrese Europos Taryboje bei šio kongreso nuolatinio komiteto bei darbo grupių narys.
1997–2000 m. – akcinės bendrovės „Urmas“ direktoriaus pavaduotojas.
2000–2004 m. – Lietuvos Respublikos Seimo narys.
2000 m. spalio 26 d. – 2001 m. liepos 12 d. – Seimo Valstybės valdymo ir savivaldybių komiteto pirmininkas, vėliau komiteto pirmininko pavaduotojas.
2004–2010 m. – Lietuvos liberalų ir centro sąjungos atsakingasis sekretorius.
2010–2014 m. – Kūno kultūros ir sporto departamento prie Lietuvos Respublikos Vyriausybės generalinis direktorius.
1988–1989 m. – Lietuvos Persitvarkymo Sąjūdžio Kauno iniciatyvinės grupės, vėliau Tarybos narys, Sąjūdžio steigiamojo suvažiavimo delegatas.
Lietuvos tautinio olimpinio komiteto atkuriamojo suvažiavimo delegatas (1988-12-11).
1993 m. suteiktas Cedar Fall‘s miesto Ajovos (JAV) garbės piliečio vardas.
Nuo 2019 m. gegužės 28 d. – Lietuvos mokslo tarybos valdybos narys.
Apdovanotas:
Lietuvos Respublikos Prezidentės dekretu Lietuvos pirmininkavimo Europos Sąjungos Tarybai sidabro ženklu;
Lietuvos Respublikos vidaus reikalų ministro įsakymu Garbės kryžiumi už nuopelnus vidaus reikalų sistemai;
Lietuvos tautinio olimpinio komiteto Auksiniais olimpiniais žiedais už nuopelnus olimpiniam judėjimui.
Žmona Jolanta, sūnūs Kasparas ir Adomas.