Celso Kipper nasceu em Lajeado, no Rio Grande do Sul, no dia 25 de fevereiro de 1964.

Trabalhou como servidor da Justiça Federal, em Porto Alegre, entre 1985 e 1987. Formou-se em Ciências Jurídicas e Sociais pela Pontifícia Universidade Católica do Rio Grande do Sul, em janeiro de 1987. No mesmo ano, passou a exercer a advocacia em Novo Hamburgo e a lecionar na Universidade do Vale do Rio dos Sinos (Unisinos), em São Leopoldo.

Ingressou na magistratura em agosto de 1991, como juiz federal substituto, ficando lotado em Porto Alegre. Em outubro do ano seguinte foi promovido a juiz federal titular. Em dezembro de 1994, transferiu-se para Florianópolis, SC. Foi diretor do Foro da Seção Judiciária de Santa Catarina em dois períodos, do início de 1996 ao início de 1997 e de janeiro de 2000 a julho de 2001. Em 14 de janeiro de 2002, quando foram instalados os juizados especiais federais (JEFs) no país, ele assumiu como presidente da Turma Recursal dos JEFs em SC, cargo que desempenhou até janeiro de 2004.

Promovido ao cargo de desembargador federal, Celso Kipper tomou posse no TRF da 4ª Região em 29 de março de 2004, ocupando vaga decorrente da aposentadoria da desembargadora federal Virgínia Amaral da Cunha Scheibe. No biênio 2013-2015 foi vice-corregedor regional da Justiça Federal da 4 Região, sendo eleito corregedor regional no biênio 2015-2017.