Jan urodził się w Toskanii. Był synem Konstansa. Stolicę Piotrową objął 13 sierpniu 523 r. po swoim poprzedniku, Hormizdasie. Wprowadził do kalendarza liczenie lat od narodzin Pana Jezusa, według obliczeń Dionizego Małego, mnicha syryjskiego.
W związku z dekretem cesarza Justyniana, nakazującym arianom zwrot wszystkich kościołów katolikom, król Ostrogotów, Teodoryk, przymusił papieża, aby udał się do Konstantynopola w celu złagodzenia zarządzenia. Jan I został przyjęty na dworze cesarskim z honorami. Dokonał koronacji cesarza. Po powrocie do stolicy Ostrogotów Rawenny Jan I przedłożył utrzymanie edyktu cesarskiego. Nieoczekiwanie został przez króla siłą uwięziony. 18 maja 526 r. został pozbawiony życia. Dla zatuszowania zbrodni Teodoryk zezwolił na uroczysty pogrzeb z udziałem licznego duchowieństwa i wiernych. Według relacji ówczesnego biskupa Rawenny, Maksyma, w czasie pogrzebu miał zostać uwolniony od szatana pewien opętany.
Cztery lata później jego ciało przeniesiono do Rzymu w 530 r. i pochowano w przedsionku bazyliki św. Piotra z napisem: Biskup Pana, Ofiara Chrystusa.