Kao dječak bježao je kroz prozor na treninge, a na zalasku karijere prodavao je automobile
Babić ima i brata svećenika, Ivicu, koji je župnik u Vrbanju na otoku Hvaru. Uz braću, i ostali članovi njihove obitelji jako su religiozni, otac Ante, majka Neda i sestra Vera Palinić. Don Ivica je nedavno izjavio kako zna da njegov brat Željko „svakog dana izmoli krunicu“ te da je „stotinu puta išao pješice Gospi u Međugorje“.