Celso Kipper nasceu no dia 25 de fevereiro de 1964, no município gaúcho de Lajeado.

Após prestar concurso público, foi nomeado pelo Ato nº 78/85-CJF (DOU, Seção 2, 17/04/1985) e começou sua carreira como servidor público da Justiça Federal de Primeira Instância, em Porto Alegre. Em 06 de janeiro de 1997 colou grau no curso de Ciências Jurídicas e Sociais pela Pontifícia Universidade Católica do Rio Grande do Sul, motivo pelo qual exonerou-se do antigo cargo. Passou então a exercer a advocacia, em Novo Hamburgo, e a lecionar na Universidade do Vale do Rio dos Sinos, em São Leopoldo. Também prestou assessoria jurídica para os sindicatos dos Trabalhadores da Indústria de Calçados, da Construção Civil e do Mobiliário, dos Bancários e dos Metalúrgicos, em Novo Hamburgo, e para a Secretaria da Fazenda do Município de Porto Alegre.

Ingressou na magistratura em 16 de agosto de 1991, após ser aprovado no primeiro concurso público para o cargo de juiz federal substituto promovido pelo TRF da 4ª Região. Nomeado pelo Ato nº 201, de 29 de julho de 1991 (DOU, Seção 2, de 1º/08/1991) foi lotado na 3ª Vara Federal da Seção Judiciária do Rio Grande do Sul, em Porto Alegre. No dia 22 de outubro do ano seguinte, mediante o Ato nº 180, de 05 de outubro de 1992 (DOU, Seção 2, de 08/10/1992) foi promovido a juiz federal, pelo critério de merecimento, permanecendo na mesma lotação.

Em agosto de 1994, removido para a Seção Judiciária de Santa Catarina em vaga decorrente da aposentadoria do juiz federal José Eduardo Nogueira Mello, Celso Kipper passou a jurisdicionar na 5ª Vara Federal de Florianópolis. Depois de cinco anos foi removido para a 1ª Vara Federal da mesma Subseção Judiciária. Foi também diretor do Foro da seccional catarinense durante os exercícios de 1996 e de 2000, sendo a última designação prorrogada até julho do ano posterior. Em janeiro de 2002, por ocasião da instalação dos Juizados Especiais Federais, no país, assumiu a presidência da Turma Recursal da Seção Judiciária do Estado de Santa Catarina, para mandato de dois anos (Ato nº 3, de 03/01/2002 - DJU, Seção 2, 08/01/2002).

Atuou algumas vezes como juiz convocado até ser promovido ao cargo de desembargador do Tribunal Regional Federal da 4ª Região, mediante decreto presidencial de 12 de março de 2004, publicado no Diário Oficial da União, Seção 2, do dia 15 de março subsequente. Celso Kipper ocupou vaga decorrente da aposentadoria da desembargadora federal Virgínia Amaral da Cunha Scheibe (DOU, Seção 2, de 14/05/2002).

Em sessão Plenária de 09 de abril de 2015, foi eleito Corregedor Regional da Justiça Federal da ª Região. Foi empossado no dia 19 de junho seguinte, para mandato de dois anos. Em junho de 2017 passou a compor a Turma Regional Suplementar catarinense do Tribunal Regional Federal da 4ª Região, competente para julgamento dos processos originários e dos recursos em matéria previdenciária e de assistência social do estado de Santa Catarina.