Rođen je 22. rujna 1940. u mjestu Režanci, župa Sentvinčenat, u Istri. Nakon osnovne škole odlazi u sjemenište u Pazinu gdje završava klasičnu gimnaziju. Teologiju studira najprije na Visokoj teološkoj školi u Pazinu a potom od 1961. do 1964. na Katoličkom bogoslovnom fakultetu u Zagrebu gdje je i magistrirao. Za svećenika je zaređen u Pazinu 25. srpnja 1964.
Službovao je u mnogim župama. Od 1964. do 1965. bio je župni vikar u Poreču i Novoj Vasi Porečkoj, poslije župni vikar u Rovinju, onda tri godine prefekt sjemeništa u Pazinu. Ponovo je u Rovinju bio najprije pastoralni suradnik od 1970.-1980., a potom župnik od 1981. do imenovanja za biskupa.
Ivan Pavao II. imenovao ga je porečkim i pulskim biskupom 18.11.1997. Posvećen je za biskupa i ustoličen u Poreču 10.1.1998.
Glavni zareditelj bio je Josip Bozanić, s kojim je poslije bio u sukobu zbog župa Dajla. Bozanić je, naime, bio u vatikanskom povjerenstvu koje je presudilo da se ta župa treba vratiti talijanskim benediktincima. Biskup Milovan, kao i većina hrvatskih biskupa u početku, usprotivila se toj odluci. Milovan je pisao dramatična pisma Bozaniću u nadi da će ga podržati, ali nije dobio pozitivnog odgovora. Istarski političari su govorili kako je to revizija Osimskih sporazuma. Zbog ozbiljnosti cijele situacije mons. Milovan zatražio je i zaštitu države, kasnije je to pitanje završilo i na sudu.
Na kraju je većina biskupa ipak morala popustiti pred uvjeravanjima iz Vatikana. Biskup Milovan to nije htio učiniti. Odbio je potpisati sporazum o predaji tog biskupskog posjeda. Zato mu je papa Benedikt XVI. 6. srpnja 2011. oduzeo zakonsku ovlast i dao je španjolskom biskupu da potpiše sporni sporazum koji je otvorena prijetnja za pokretanje ovrhe nad Porečkom biskupijom. Osim toga biskup Milovan dobio je pomoćnika, koadjutora koji je preuzeo upravljanje biskupijom. Na taj način je defacto godinu dana bio bez ovlasti, da bi potom nakon što je Papa prihvatio njegovu ostavku, otišao u mirovinu.
„ Ne mogu govoriti o konkretnim razlozima ali pretpostavljam da se u javnosti zna o čemu je riječ“, kazao je porečko-pulski biskup Ivan Milovan nakon što je papa Benedikt XVI. 14. lipnja 2012. prihvatio njegovu ostavku.
Bio je to kraj aktivne službe biskupa koji se sukobio s Vatikanom zbog župe Dajla, biskupskog posjeda kod Novigrada koju nije, unatoč opetovanim traženjima tajnika Svete Stolice kardinala Tarcisia Bertonea, htio predati talijanskim benediktincima.
Na pitanje što će dalje raditi, rekao je kako će poput svih biskupa koji su u mirovini i dalje biti na raspolaganju svojoj zajednici.
Ovaj slučaj je sramota prvenstveno Katoličku Crkvu u RH u cijelosti,a isto i za vlast u RH koja u ovom slučaju nije zaštitila interes i tertorijalni integritet RH;a samo ponašanje pape gangstersko a vlati u RH su dokazale da su banana država a zemljište je prodano(od mafije talijanske9 za golf igralište, a Biskup Milovan je praktički završio u izolaciji,neka vrsta kućnog pritvrora. I onda se vatikan pita zašto Kina ne priznaje Vatikan kao vrhovnog poglavara katolika u Kini; ne treba biti previše pametan da bih se zaključilo da su kinezi u pravu.A sramota je i katoličkoj Crkvi u RH.