Rođen je 17. svibnja 1945. u Novom selu kod Našica. Otac mu je bio kovač. Diplomirao je ekonomiju. U siječnju 1970. počeo je raditi u tadašnjoj Službi državne sigurnosti u Osijeku, tajnoj policiji u vrijeme komunizma.
U Zagreb je premješten u rujnu 1979. kada je postao načelnik II. Odjela koji se bavio hrvatskom emigracijom. Pomoćnikom ministra unutarnjih poslova tadašnje SRH imenovan je 1986., postavši tako šefom hrvatske Udbe. Dan nakon pobjede HDZ-a na prvim višestranačkim izborima, 23. travnja 1990. postao je podsekretar za državnu sigurnost.
Nakon demokratskih promjena stavio se na raspolaganje novoj hrvatskoj vlasti. Nastavio je raditi u MUP-u. Sam je tvrdio kako je 1991. otvarao „kanale“ na granici pri uvozu oružja. Tako je izjavio kako je na zahtjev ministra unutarnjih poslova Josipa Boljkovca, iako su granicu nadzirali savezna policija i Kontraobavještajna službe bivše JNA, u roku od tri dana osigurao prijelaz dva tridesettonska tegljača s kalašnjikovima koji su dopremljeni u Zagreb. Kasnije su se te isporuke nastavile.
1991. imenovan je pomoćnikom ministra obrane. Dobio je zadatak formirati obavještajnu službu Ministarstva obrane (SIS). Njegov prelazak na tu dužnost zatražio je tadašnji ministar iseljeništva Gojko Šušak. „Osobno sam molio Josipa Manolića da ga zaposli na nekom mjestu gdje nije toliko izložen ljudima koji su stizali iz emigracije i iseljeništva“, objasnio je Šušak 1993. Perkovićev premještaj naglasivši kako je riječ o „profesionalcu“ a „ako je Perković zločinac – ne spominjem ga kao konkretnu osobu nego kao ilustraciju jednog načela – onda je najveća kazna ostaviti ga da sam sa sobom živi“.
Na toj dužnosti je ostao do potkraj 1992. kada je na televiziji prikazan dokumentarni film o Bruni Bušiću u kojemu je prozvan zbog povezanosti s njegovim ubojstvom. Smijenjen je. Kasnije će negirati svoju upletenost u to ubojstvo. Rekao je da je iz Osijeka premješten u Zagreb punu godinu dana nakon Bušićeve likvidacije. „U vrijeme ubojstva Brune Bušića radio sam u Osijeku kao običan inspektor operativac (...) a nikada nisam bio inspektor u centrali Državne sigurnosti u Zagrebu“, rekao je reagirajući tako na tvrdnje iz tog filma.
Tvrdio je kako su tih godina na njega pokušana dva atentata. Jedan su 1991. pokušali pripadnici KOS-a a drugi put 1994. nepoznati napadači su podmetnuli eksplozivnu napravu pod njegov automobil.
Žica koja je trebala aktivirati eksploziv, pukla je.
Ministar Šušak rehabilitirao ga je i postavio za svog savjetnika u Ministarstvu obrane. 1996. je postao savjetnik u Hrvatskoj izvještajnoj agenciji (HIS-u). Bio je i predavač na Obavještajnoj akademiji.
1997. je za po nalogu ravnatelja HIS-a napravio djelomičnu rekonstrukciju djelatnika Udbe, čiji su se dijelovi u nekoliko verzija kasnije pojavili u javnosti. 1998. je jednom novinaru, nakon što ga je pozvao na sastanak, prijetio pištoljem zato što o njemu „sustavno negativno piše“. Nedugo potom otišao je u mirovinu.
Njegov sin Saša je od 1994. radio u Sedmoj upravi Ministarstva vanjskih poslova i kasnije u HIS-u. 2005. je postao savjetnik za sigurnost predsjednika Mesića a potom i predsjednika Josipovića.
Njemački sud je 2009. raspisao tjeralicu za Josipom Perkovićem zbog sumnje da je sudjelovao u ubojstvu hrvatskog političkog emigranta Stjepana Đurekovića ubijenog 1983. godine u Wolfratshausenu.
Raspisana je i nagrada za informacije o njemu od 12 tisuća eura. Hrvatske vlasti nisu reagirale na te zahtjeve za izručenjem. Nakon pristupa Hrvatske Europskoj uniji 1. srpnja 2013. na snagu je stupio europski uhidbeni nalog kojim se nalaže izručenje osoba optuženih u drugim zemljama.
Hrvatska vlada je donijela zakon kojim je vremenski ograničila valjanost tog naloga na razdoblje od 2002. godine, čime je onemogućeno izručenje Perkovića. Povjerenica Europske komisije za pravosuđe Viviane Reding optužila je Vladu da takvim ograničenjima „štiti komunističke ubojice hrvatskih disidenata“.
Hrvatskoj je iz Bruxellesa zaprijećeno i ekonomskim sankcijama.
Perković se ne pojavljuje u javnosti, osim na suđenjima. Bio je svjedok optužbe u procesu protiv Tomislava Merčepa. Na suđenju zbog ratnog zločina prema srpskim zarobljenicima u Kerestincu, bivši major JNA optužio ga je da ga je osobno tukao tijekom ispitivanja.
S prvim danom 2014. stupile su na snagu zakonske odredbe po kojima se europski uhidbeni nalog primjenjuje i za djela počinjena prije kolovoza 2002., pa je priveden i Perković. Vijeće Vrhovnog suda 21. je siječnja donijelo pravomoćnu odluku o izručenju Perkovića Njemačkoj, potvrdivši odluku vijeća Županijskog suda u Zagrebu kojim je predsjedao sudac Ivan Turudić.
HDZov kadar!