Proveo je deset godina u komunističkim zatvorima. Iako se nikakvom politikom nije bavio i ništa nije radio ni govorio protiv ondašnje države, četiri je puta bio optužen i osuđen na ukupno deset godina i tri mjeseca zatvora. Prošao je divizijski zatvor u Leskovcu, Vojno istražni zatvor u Ništu, KPD Niš, KPD Zenica, Centrali zatvor Sarajevo, Okružni zatvor Travnik i KPD Foču. Na prvu robiju poslan je zbog obrane kardinala Stepinca, drugi, treći i četvrti put zatvaran je zbog svećeničkih aktivnosti, rada s djecom i mladeži te spominjanja imena Hrvat.
Rođen je 1931. godine u Goraždu, na rijeci Drini, u BiH. Bio je sedmo dijete u dobrostojećoj obitelji. Kao student teologije, odlazi na služenje vojnog roka, na kraju kojeg je osuđen na četiri godine. Po izlasku iz zatvora, završava studij i za svećenika je zaređen 1959. Rankovićev je režim 1962. pomilovao dio robijaša, no ne i njega. Djelovao je u župama Kaknju i Korićanima na Vlašiću.
Nakon što je protjeran iz BiH, odlazi na Kosovo u župu Janjevo. Tamo je osnovao zbor „Bijeli anđeli“, s kojima je bio poznat u cijeloj državi. Snimio je i izdao 20-tak gramofonskih ploča sa stotinjak skladbi pod nazivom „Duhovne hrvatske pučke pjesme“. Nakon nove zatvorske kazne, djeluje u Maglaju gdje je osnovao svetište sv. Leopolda Mandića. Snimio je Bibliju na kasetama, prvo zvučno izdanje Biblije na hrvatskom jeziku. Zbog bolesti je umirovljen 1983.
Od tada se posebice bavio pitanjem demografske obnove Hrvatske. Uređivao je i izdavao mjesečnik Narod, glasilo za demografski obnovu i duhovni preporod. Osnovao je udruge 'Hrvatski populacijski pokret' i 'Jedno dijete više'.
Prema njegovim podacima, u Hrvatskoj ima 46 posto obitelji s jednim i 41 posto s dvoje djece, zbog čega stanovništvo izumire. Samo 10 posto obitelji ima troje djece, a s njima se, kako je izjavio, niti izumire niti napreduje, nego stoji na mjestu. „Jedine pozitivne obitelji su one s 4 i više djece, a takvih obitelji koje osiguravaju opstojnost naroda za barem 100 godina, imamo samo 2 posto“, rekao je Baković.
Na knjizi „Hrvatski martirologij XX. Stoljeća“ radio je 17. Godina. Na 1100 stranica piše o 664 svećenika, mučenika Crkve u Hrvata za vrijeme Drugog svjetskog rata i poraća. Objavio je, među ostalim, i knjige „Drinske mučenice“ , „Hrvatska demografska čitanka te autobiografiju „Dječak s Drine“. Proslavio je 50 godina svećeništva zlatnom misom 12. srpnja 2009. godine.
Njegov životni put odredio je slučaj njegova župnika. Ivan Čondrić, katedralni župnik u Sarajevu, bio je krajem 1945. osuđen na smrt strijeljanjem jer je držao đačku misu. Nakon te presude dječak Baković je plakao, a župnik mu je poručio: „Anto ne plači, nego me zamijeni“. Tako se i dogodilo.
Preminuo je 26. siječnja 2017 u u KB Zagreb.
