Biskup Josip Mrzljak rođen je 19. siječnja 1944. godine u Vukovaru, u obitelji Vladimira i Barice rođene Šimecki, koji su prije živjeli u rodnom im Krašiću. U Vukovar su se doselili jer je državni službenik Vladimir Mrzljak dobio namještenje.
Za "vukovarske kristalne noći" 12. travnja 1945.
Josipov otac je nestao. Tog dana nestalo je 92 Vukovaraca, a sutradan je likvidirano još 98 osoba. Vjerojatno je, ali nije dokazano da su ga komunisti tada ubili. Josipova se majka s njim i kćeri odmah vratila u Krašić.
Osmogodišnje školovanje završio je Josip Mrzljak u Krašiću u vrijeme kada je tu bio zatočen zagrebački nadbiskup i kardinal, blaženi Alojzije Stepinac. Godine 1959. otišao je u Nadbiskupsko dječačko sjemenište na Šalati u Zagrebu. Maturirao je 1963. Studij teologije završio je na Katoličkom bogoslovnom fakultetu u Zagrebu, a za svećenika ga je 16. studenoga 1969. zaredio nadbiskup Franjo Kuharić.
Mladomisnik Mrzljak pastoralno je pomagao u nekoliko župa, a zatim je bio kapelan u koprivničkoj župi sv. Nikole.
Osam je godina bio župnikom u Ozlju, Nekoliko godina upravljao je iz Ozlja i župom Vrhovac. Godine 1980. imenovan je župnikom u Sesvetskom Kraljevcu. Tu je ostao čak 18 godina. U ljeto 1998. nadbiskup Josip Bozanić imenovao ga je biskupskim vikarom za svećenike i ravnateljem pastoralnih ureda Nadbiskupskoga duhovnog stola.
Potom je postao kanonikom Prvostolnoga kaptola zagrebačkog. U toj ga je službi zateklo i imenovanje za pomoćnog biskupa zagrebačkog. Zaređen je za biskupa 6. veljače 1999. u zagrebačkoj katedrali.
Prvi varaždinski biskup Marko Culej preminuo 19. kolovoza 2006. U Vatikanu je 20. ožujka 2007.objavljeno da je papa Benedikt XVI. Njegovim nasljednikom, drugim biskupom varaždinskim od njezina osnutka desetljeće prije, imenovao Josipa Mrzljaka.
Ustoličen je u varaždinskoj katedrali Uznesenja Blažene Djevice Marije 31. ožujka. U službu ga je uveo zagrebački nadbiskup i metropolit kardinal Josip Bozanić. Biskupsko mu je geslo: Činiti dobro.
U Hrvatskoj biskupskoj konferenciji obnašao je službu predsjednika Vijeća HBK za kler, a danas je predsjednik Hrvatskog Caritasa, predsjednik Biskupske komisije HBK za Hrvatski Caritas i član Biskupske komisije HBK za odnose s državom.