Rođen je 11. studenog 1927. u mjestu Stari Gradac kod Virovitice. Njegovi roditelji, otac Mato i majka Jela rođena Barčanec, bili su zemljoradnici. Sijali su kukuruz i pšenicu, imali vinograd i povremeno sadili lubenice. Bili su pristaše HSS-a.
Tijekom osnovne škole i u prvim razredima gimnazije pjevao je u školskom zboru i u crkvi uz orgulje. Otišao je 1942. u partizane. Počeo je kao običan borac. Iz rata je izišao kao poručnik JNA. Bio je u Majevičkom partizanskom odredu.
Poslije rata je bio na visokim vojnim dužnostima. 1957. je završio Visoku vojnu akademiju a potom i Ratnu školu JNA. Zapovjednik garnizona u Nevesinju bio je 1958. Potom je bio zapovjednik 7. banijske divizije u Sisku, zapovjednik garnizona i Artiljerijskog školskog centra u Zadru.
Bio je zapovjednik Gardijske divizije, načelnik štaba 1. armije, načelnik štaba pogreba Josipa Broza Tita. Od rujna 1982. do rujna 1985. je načelnik Teritorijalne obrane SR Hrvatske. Zapovjednik 5. vojne oblasti JNA sa sjedištem u Zagrebu bio je od rujna 1985. do rujna 1989. kada ga je naslijedio Konrad Kolšek.
Nakon demokratskih promjena 1990. bio je drugi po redu ministar obrane u hrvatskoj vladi. Na tu dužnost je stupio 24. kolovoza 1990. Kako je JNA bila nezakonito oduzela oružje iz skladišta hrvatske Teritorijalne obrane, Špegelj ga je počeo kupovati na „crnom tržištu“.
U siječnju 1991. Televizija Beograd je emitirala snimku Špegeljevih razgovora s prikrivenim agentima KOS-a (kontraobavještajne službe bivše JNA). U njemu je bilo kompromitirajućih materijala za njega osobno i novu hrvatsku vlast. Špegelj je tada film proglasio krivotvorinom, ali je to kasnije opovrgnuo.
U lipnju te godine imenovan je za zapovjednika Zbora narodne garde. Na dužnosti ministra obrane bio je do 2. srpnja 1991. Dao je ostavku nakon što Franjo Tuđman nije prihvatio njegov plan ulaska Hrvatske u rat u vrijeme napada JNA na Sloveniju krajem lipnja te godine.
Zagovarao je opći napad na vojarne JNA, što je Tuđman odbio. Na sjednici VONS-a (Vijeća obrane i nacionalne sigurnosti) za taj plan su glasovali Špegelj i Stjepan Mesić, a svi ostali su bili protiv. Admiral Davor Domazet Lošo kasnije je ustvrdio da je taj plan bio zamka za Hrvatsku.
Nakon odlaska s ministarske dužnosti, u kolovozu te godine napustio je i mjesto zapovjednika ZNG-a. Tada odlazi iz Hrvatske, najprije u Sloveniju, a potom u Austriju. U Zagreb se vraća nakon skoro dva mjeseca. Tuđman ga 22. rujna 1991. imenuje Glavnim inspektorom Hrvatske vojske.
U rujnu je počela i bitka za vojarne. Tuđman je 12. rujna 1991., na prijedlog generala iz Glavnog stožera HV-a na čijem je čelu tada bio Anton Tus, odobrio napad za zauzimanje vojarni kako bi se uzelo oružje od JNA. No, slijedećeg je dana zabranio napade „da se ne provocira JNA“.
Kasnije je odobrio napad na vojarnu u Varaždinu, ali uz uvjet da nema razaranja i žrtava. Tada su osim varaždinske, zauzete vojarne u Bjelovaru i Pločama s velikim količinama oružja. Međutim, Tuđman je zabranio napade na vojarne JNA u Zagrebu, Rijeci i Istri.
Špegelj je bio protiv sporazuma o mirnom odlasku JNA iz Hrvatsku u studenom 1991. Glavni inspektor HV-a bio je do 31. prosinca 1992. kada je otišao u mirovinu u činu stožernog generala. 2001. je objavio memoarsku knjigu „Sjećanja vojnika“ u kojoj je dao i svoje viđenje događaja s početka Domovinskog rata.
U povodu 20. obljetnice osnutka Oružanih snaga, predsjednik Ivo Josipović odlikovao ga je u svibnju 2011. Veleredom kraljice Jelene s lentom i Danicom. S obitelji živi u Zagrebu.