Leon pochodził z Sycylii. Wybrano go po śmierci św. Agatona. Konsekrowano go, gdy legaci papiescy wrócili z soboru konstantynopolitańskiego. Według Liber Pontificalis miał dar wymowy, dobrze znał Pismo święte, języki łaciński i grecki oraz był współczujący dla ubogich. Jesienią 682 r. rozpisał listy w sprawie uznania soborowych uchwał przeciwko monoteletyzmowi. Chętnie się przy tym powoływał na działalność swego poprzednika, Agatona. Załagodził też trwający od dłuższego czasu spór z biskupami Rawenny, a w samym Rzymie zadbał o kilka kościołów (m.in. św. Bibiany na Eskwilinie).
Zmarł po dziesięciomiesięcznym pontyfikacie, w dniu 3 lipca 683 r. Został pochowany w bazylice św. Piotra. Przez pomyłkę z datą translacji relikwii Leona Wielkiego znalazł się w Martyrologium Rzymskim pod dniem 28 czerwca.