Padre Kazimir nasce a Kovno (oggi Kaunas in Lituania). Frequenta la facoltà teologica in Belgio e nel 1887 viene ordinato sacerdote. Dopo aver esercitato il ministero in varie parrocchie, dal 1915 è cappellano militare in un ospedale militare per i feriti. Dal 1910 al 1918 è insegnante di religione a Pietroburgo. In seguito è vicario e quindi parroco alla chiesa di S. Caterina a Pietroburgo. Il 10 marzo 1931 è mandato al confino in Siberia a Irkutsk senza specificare il tempo. Il 26 settembre 1933 viene scambiato con un prigioniero sovietico e può ritornare in Lituania.