Tarsycjusz miał być akolitą Kościoła rzymskiego. Nie znamy bliżej daty jego śmierci. Przypuszcza się, że poniósł śmierć męczeńską za panowania cesarza Decjusza (249-251). Trwało wówczas jedno z najkrwawszych prześladowań. Chrześcijanie chętnie ginęli za Chrystusa, ale ich największym pragnieniem było, by mogli na drogę do wieczności posilić się chlebem Eucharystii. Zanoszono im więc potajemnie do więzień Komunię świętą. Gorliwością w obsługiwaniu świętych męczenników w więzieniach wyróżniał się Tarsycjusz.
Pewnego dnia, kiedy jak zwykle niósł na sercu Wiatyk do więzienia, napotkał swoich rówieśników, bawiących się na jednym z licznych placów rzymskich. Pogańscy chłopcy zaczęli wołać na Tarsycjusza, aby się do nich przyłączył. On zaczął uciekać przed nimi. Zaczęli go gonić. Kiedy zaś spostrzegli, że coś przyciska do piersi, chcieli zobaczyć, co niesie i siłą mu to wydrzeć. Bohaterski chłopiec bronił swojego skarbu. Wówczas zgraja przewróciła go na ziemię, zaczęła go kopać i bić, rzucać kamieniami. Dopiero przypadkowo przechodzący żołnierz, także chrześcijanin, miał chłopca uwolnić i rozgonić bandę. Zaniósł Tarsycjusza do domu, gdzie ten niebawem zmarł. Najświętszy Sakrament odniósł ze czcią do kapłana katolickiego.
Ciało Tarsycjusza zostało pogrzebane na cmentarzu św. Kaliksta obok szczątków papieża św. Stefana I, który w kilka lat po nim poniósł śmierć męczeńską (+ 257). Papież św. Damazy I (+ 384) męczeństwo Tarsycjusza opisał wierszem. W 1675 roku relikwie Świętego przeniesiono z Rzymu do Neapolu, gdzie spoczywają w bazylice św. Dominika w osobnej kaplicy. Trumienka z częścią relikwii św. Tarsycjusza jest także w salezjańskim kolegium w Rzymie przy Via Appia Antica.