Józef Maria Rubio Peralta urodził się w 1864 r. w wiosce Dalías koło Almerii (Hiszpania). Pochodził z chłopskiej rodziny. Był najstarszym z dwunastki dzieci Francisca i Mercedes. Jego dziadek ze strony matki powiedział kiedyś o nim: "Ja umrę, lecz ten, kto będzie żył, zobaczy, że to dziecko zostanie wielkim człowiekiem i wiele uczyni dla Boga". Józef naukę początkowo pobierał w szkole w rodzinnej wiosce, a po lekcjach chętnie czytał żywoty świętych. Gdy miał dziesięć lat, jego wujek kanonik zabrał go do szkoły średniej w stolicy. Szybko jednak zorientowawszy się, że chłopiec ma powołanie do kapłaństwa, przeniósł go do seminarium diecezjalnego w Almerii.
W 1879 r. Józef Maria przeniósł się do seminarium w Grenadzie. Studiował tam filozofię, teologię i prawo kanoniczne. Kanonik Joaquin Torres zwrócił uwagę na zdolnego studenta i wyjeżdżając do Madrytu w 1887 r. zabrał go ze sobą i zapisał do tamtejszego seminarium diecezjalnego. Już 24 września tego samego roku Józef Maria otrzymał święcenia kapłańskie. W pierwszej parafii Chinchón, do której został posłany 1 listopada 1887 r. jako wikariusz, w ciągu zaledwie dziewięciu miesięcy zyskał sobie opinię świętego. Zawsze przed świtem udawał się do kościoła na modlitwę. Chętnie też uczył katechizmu dzieci. Wszyscy podziwiali jego surowy i pełen wyrzeczeń tryb życia; cechowało go miłosierdzie wobec chorych i biednych, dzielił się z innymi tym, co posiadał.
W tym czasie kontynuował studia w Toledo. W 1888 r. uzyskał licencjat z teologii, a w 1897 r. - z prawa kanonicznego.
24 września 1889 r. mianowano go administratorem parafii Estremera w Madrycie. Został też profesorem łaciny, filozofii i teologii pastoralnej w madryckim seminarium oraz notariuszem diecezjalnym. Jednocześnie przez trzynaście lat był kapelanem bernardynek. Uchodził za znakomitego spowiednika. Jakby mało było mu tych wszystkich funkcji, uczył religii ubogie dzieci w szkołach niedzielnych, opiekował się kloszardami, a także prowadził rekolekcje. Często spędzał noce na modlitwie. Ci, którzy widzieli go odprawiającego Mszę św., mówili, że "sprawia wrażenie, jakby z kimś rozmawiał". W tym czasie był kapłanem diecezjalnym, ale jak sam mówił - "jezuitą z zamiłowania". Dlatego 11 października 1906 r. wstąpił do nowicjatu jezuitów w Grenadzie. Pierwsze śluby zakonne złożył dwa lata później, a przez następny rok przebywając w Grenadzie pogłębiał wykształcenie teologiczne. W tym czasie głosił misje ludowe i rekolekcje. Potem przeniósł się do Sewilli, kierował tam wieloma grupami: Sodalicją Mariańską Młodzieży, Wynagradzającą Wspólnotą Żołnierzy, Apostolstwem Modlitwy, Konferencjami św. Wincentego a Paulo, a także szkołą wieczorową dla robotników. Nie stronił też od posługi w konfesjonale, a dla członków Nocnej Adoracji wygłaszał chętnie płomienne kazania. Zanim w Madrycie 2 lutego 1917 r. złożył wieczyste śluby zakonne, przebywał jeszcze w Manresie w pobliżu Barcelony. Po ślubach wieczystych Madryt stał się jego domem; Józef mieszkał przy calle de la Flor.
Dewiza ojca Rubio brzmiała: "Czynić to, czego Bóg pragnie, i pragnąć tego, co Bóg czyni", a sposób postępowania z ludźmi charakteryzuje żartobliwe powiedzenie św. Franciszka Salezego, które o. Rubio uczynił także swoim: "Więcej much złapać można dzięki kropli miodu niż za pomocą beczki octu". Pewnie dlatego ludzie garnęli się do niego. Jego charakterystyczna postać w sutannie, z lekko pochyloną głową, była wszystkim znana, tak jak i jego dobroć. Ponieważ żył zgodnie z tym, co głosił, a jego kazania były wolne od retoryki, wierni chętnie go słuchali. Organizował i głosił liczne misje ludowe w małych miejscowościach wokół Madrytu. Spotkały go jednak nieprzyjemności, gdy próbował założyć stowarzyszenie "uczniów św. Jana". Został wtedy poddany kontroli policyjnej, gdyż zarzucano mu tworzenie nowego zgromadzenia zakonnego. Z tego powodu przełożeni jezuitów zabronili mu tej działalności. Pogodził się z tą decyzją, mówiąc: "Nie pragnę niczego innego, jak tylko pełnić najświętszą wolę Bożą".
Józef Maria pełnił swą posługę duszpasterską w najuboższych dzielnicach Madrytu, w szczególności w La Ventilla, wśród robotników. Zachęcał również do utworzenia "tajnej ligi" osób żyjących w świecie i dążących do doskonałości; propagował tym samym formę konsekracji, która potem przerodziła się w instytuty świeckie. Wychował wielu chrześcijan, z których niektórzy ponieśli potem śmierć męczeńską w czasie prześladowań religijnych w Hiszpanii.
Był charyzmatycznym kaznodzieją, znakomitym kierownikiem duchowym i spowiednikiem. Aby się u niego wyspowiadać, czekano w wielogodzinnych kolejkach. Przy tym nikogo nie wyróżniał, traktował jednakowo arystokratów i biedaków. Był mistykiem, miał dar prorokowania i bilokacji. Zdarzało się, że był o tej samej porze w konfesjonale i z wizytą u chorego. Ponadto słyszał na odległość wołanie o pomoc, a nawet prośbę umierającej matki, by wyspowiadać jej niewierzącego syna. Pewnego dnia w okresie karnawału grupa dowcipnisiów wezwała go do domu publicznego, ażeby udzielił choremu sakramentu ostatniego namaszczenia. Jeden z nich leżał w łóżku i udawał umierającego. Pozostali, rozbawieni, chcieli sfotografować tę scenę. Oniemieli jednak ze zdziwienia, gdy po przyjściu o. Rubio okazało się, że "chory" naprawdę nie żyje. Wydarzenie to wywarło tak wielkie wrażenie, że dwie osoby z owej grupy wkrótce wstąpiły do zakonu.
Józef Maria wiedział, czym są okresy Bożej oschłości i tymi słowami zachęcał do trwania przy Panu w tym trudnym czasie: "Wystarczy samo milczenie. Chociażbyś odczuwał, że twoje serce jest nie wiem jak puste i oschłe, a nawet gdyby cię z tego powodu ogarniały pokusy i niepokój się zakradał, niczego się nie lękaj i trwaj w swojej własnej adoracji, bo to wystarczy i trzeba to uznać za wspaniały czyn w oczach Bożych".
Pod koniec kwietnia 1929 r. przełożeni, ze względu na osłabienie spowodowane nadmiarem pracy i chorobą, przenieśli go do nowicjatu w Aranjuez, aby wypoczął. Po trzech dniach pobytu powiedział: "Panie, jeśli chcesz mnie zabrać teraz, jestem gotowy". 2 maja 1929 r. pożegnał się z bliskimi, siedząc w fotelu, powiedział: "Teraz odchodzę" i zmarł na atak serca. W całym Madrycie mówiono: "Umarł święty!" Tysiące osób wzięło udział w jego pogrzebie. Jego doczesne szczątki zostały złożone na cmentarzu należącym do domu nowicjatu. W 1953 r. przeniesiono je do nowego Domu Profesów w Madrycie. Beatyfikacji Józefa Marii Rubio dokonał św. Jan Paweł II 6 października 1985 r. w Rzymie, a kanonizował go 4 maja 2003 r. w Madrycie.