Oko izbora Ive Andrića za izvanrednog opunomoćenog ministra i izvanrednog poslanika Kraljevskog poslanstva u Berlinu nije, začudo, bilo nikakvih otpora i kadrovskih podmetanja. Njemačka strana prihvatila je njegov izbor bez ikakve rezerve. Ministar Viktor von Heeren, šef njemačkoga veleposlanstva u Beogradu, šalje telegrame na više adresa, uključujući i ministra vanjskih poslova von Ribbentropa i državnog sekretara Ernsta von Weizsäckera, u kojem zagovara da se Andrićevo imenovanje odmah prihvati.
Opisuje ga sljedećim riječima: „On tečno govori njemački, ima oko 45 godina, neoženjen je, Hrvat je iz Bosne, pisac po zanimanju i uvijek je bio smatran jednim od politički najsposobnijih rukovodilaca u diplomatskoj službi Jugoslavije. Za vrijeme svog dugog djelovanja u Ministarstvu vanjskih poslova Andrić je uvijek održavao vrlo prisne odnose s poslanstvom Njemačke i u svim pregovorima pokazivao je temeljito razumijevanje zahtjeva i interesa njemačke politike. Svrha njegovog upućivanja u Berlin je da se pokaže koliko se velika važnost pridaje mjestu predstavnika u Berlinu i kako postoji snažna želja da se naglasi kontinuitet sadašnje politike prema Njemačkoj. Andrić je dobio odlikovanje Grosskreuz nakon posjete gosp. Neuratha Beogradu.“
Predaja vjerodajnica Hitleru
Dekretom od 28. ožujka 1939. Andrić je stupio na svoju najodgovorniju diplomatsku dužnost. Agencijsko priopćenje o njegovu imenovanju donijeli su dnevnici Politika i Vreme: „U ime Nj. V. Kralja , ukazom kraljevskih namesnika, na predlog ministra inostranih poslova, premešten je dr. Ivo Andrić, pomoćnik ministra inostranih poslova druge položajne grupe drugog stepena za opunomoćenog ministra i izvanrednog poslanika druge položajne grupe drugog stepena Kraljevskog poslanstva u Berlinu.“ Andrić je stigao u Berlin 10. travnja i nastanio se u rezidenciji jugoslavenskog poslanstva u ulici Grossadmiral Prinz Heinrich. Odmah je poslao telegram u Beograd da je preuzeo dužnost.
Već idućega dana javlja se Zdenki Marković riječima: „Tek sam stigao u ovu lijepu varoš koja svojom severnjačkom svežinom podseća na davnašnji Uskrs, kad sam prvi put video Krakow.“ Odjeven u tamnoplavi frak izvezen zlatnim šarama, ogrnut pelerinom, s trorogim šeširom ukrašenim bijelim nojevim perjem na glavi, Andrić 19. travnja u nazočnosti ministra vanjskih poslova Joachima von Ribbentropa predaje vjerodajnice njemačkom kancelaru Adolfu Hitleru.
Nakon službenog ceremonijala održan je i prijem na kojem je Hitler bio domaćin. Kancelar je s Andrićem kurtoazno razgovarao o unapređenju njemačko-jugoslavenskih veza u znanosti i kulturi. Andrić je nakon prijema održao konferenciju za tisak, a sutradan je poslao obavijest u Beograd o prvom sastanku s najvišim njemačkim dužnosnicima. Dan nakon predaje vjerodajnica Andrić je već sjedio u počasnoj loži na velikoj paradi priređenoj u čast Hitlerova rođendana. Svoje diplomatske vještine morao je dokazati vrlo brzo: već 25. travnja Berlin je posjetio jugoslavenski ministar vanjskih poslova Cincar-Marković, a 31. svibnja u osmodnevni službeni posjet Reichu krenuo je vlakom i knez namjesnik Pavle u pratnji supruge Olge. U Berlin je stigao 1. lipnja, gdje su ga na kolodvoru dočekali Hitler, Göring, i Ribbentrop. Na ulice je izišlo stotine tisuća građana, trgovine nisu radile, grad je nadlijetalo 300 zrakoplova.
Andrić je svoj pojačani diplomatski angažman u tim danima komentirao riječima: „Taj doček kneževskog para u Berlinu spadao je u obavezni diplomatski protokol, a ja sam kao poslanik njih morao predstaviti ondašnjim glavešinama Velikog Rajha.I, nešto kasnije, opet po službenoj dužnosti Hitleru, Geringu i Ribentropu predstavio sam članove jugoslavenskog poslanstva. Inače, Nemci su bili majstori za parade i tokom kneževe posete u Berlinu nisu radile škole pa se sećam da ih je dočekalo na desetine hiljada učenika.“
Nakon potpisivanja sovjetsko-njemačkog pakta o nenapadanju (23. kolovoza), Andrić je uložio puno energije u uspostavljanju čvršćih ekonomskih i političkih veza između Jugoslavije i Njemačke, a odigrao je i važnu ulogu u potpisivanju ugovora o njemačkoj isporuci oružja Jugoslaviji. Nakon njemačkoga napada na Poljsku 1. rujna 1939. angažirao se u akciji spašavanja grupe jugoslavenskih diplomata iz Varšave. Spomenimo kao biografski kuriozitet i činjenicu da se inače skromni i samozatajni Andrić za svoj 47. rođendan (10. listopada) počastio neobičnim poklonom: kupio je skupocjeni (5624 Reichmaraka!) sivo-plavi dvosjed Mercedes.
Za vrijeme boravka u Berlinu Andrić se sprijateljio s Carlom Schmittom, istaknutim pravnikom, filozofom države i prava, ali i vatrenim nacistom, koji će se njihovih susreta prisjetiti u knjizi „Ex captivitute salus“ (1945.-1947.). No posebnu važnost ima Andrićevo prijateljstvo s jugoslavenskim atašeom za tisak Nenadom Jovanovićem i njegovom suprugom Milicom (r. Babić). Često je boravio u njihovu domu, a prijateljstvo se nastavilo i nakon povratka u Beograd. Godinu dana nakon smrti Nenada Jovanovića Andrić će se oženiti Milicom Babić (1958.). Andrić se svojih berlinskih dana sjećao s nelagodom.
Nakon rata je napisao (3. XI. 1946.): „Nemci i Nemačka! To je najveća muka moga života, slom koji može značiti u čovekovoj sudbini ili prekretnicu ili smrt. To je problem od kojeg će bolovati Evropa još sto i pedeset godina. Pa ni tada mu ne vidim rešenja.“ Nikada više njegova noga nije stupila na njemačko tlo. Početkom ožujka 1941. knez Pavle tajno je posjetio Adolfa Hitlera u Berchtesgadenu. Prilikom susreta Hitler je iznio ultimativni zahtjev da Jugoslavija pristupi Trojnom paktu. Iako iskusan i pouzdan diplomat, Andrić nije bio uključen u pregovore, vjerojatno zbog nepovjerenja koje je prema njemu osjećao ministar Cincar-Marković. Na sastanku Jugoslavenskog krunskog vijeća 17. ožujka podržano je pristupanje Jugoslavije Trojnom paktu.
Andrić se nije slagao pristupanjem svoje zemlje silama Osovine pa je 20. ožujka uputio Cincar-Markoviću pismo u kojem je tražio da ga se oslobodi dužnosti u Berlinu: „Uvek ću smatrati za čast tu odluku Nj. V. Kneza (da ga postavi na mjesto kraljevskog poslanika u Berlinu, op. K. N.) i ostati zahvalan Vama na poverenju, ali danas mi u prvom redu službeni, a zatim i lični mnogobrojni i imperativni razlozi nalažu da budem ove dužnosti oslobođen i što pre povučen sa sadašnjeg položaja“ (Juričić, 1989: 200-201). Na svoje pismo nije dobio odgovor. Par dana kasnije, 25. ožujka, Andrić je kao član sedmočlane jugoslavenske delegacije, predvođene predsjednikom vlade Dragišom Cvetkovićem, u palači Belvedere u Beču prisustvovao potpisivanju protokola o pristupanju Jugoslavije Trojnom paktu.
U ime sila Osovine protokol su potpisali njemački i talijanski ministri vanjskih poslova von Ribbentrop i Ciano te japanski veleposlanik u Berlinu Oshima. Nakon ceremonije potpisivanja Hitler je priredio svečani ručak za nove partnere u vojnom savezu; ručku je bio nazočan i Andrić. Idućega dana vratio se u Berlin, baš na dan kad je u Beogradu izveden državni udar u kojem je knez Pavle svrgnut i prognan iz zemlje, dok su njegove ovlasti prenesene na sedamnaestogodišnjeg kralja Petra II. Na čelo pučističke vlade došao je general Dušan Simović. Nakon puča u Beogradu i protunjemačkih demonstracija Hitler je dao naredbu o pripremi agresije na Jugoslaviju: Za datum napada utvrđen je 6. travnja, kada je i bombardiran Beograd. Nakon njemačkog napada na Jugoslaviju i prekida diplomatskih veza, Andrić je obaviješten da je prisutnost diplomatskog osoblja u jugoslavenskom poslanstvu nepoželjna. Dobili su 24 sata da se spakiraju i rasprodaju imovinu.
Andrić 7. travnja napušta Berlin i odlazi s jugoslavenskim diplomatskim predstavnicima iz Njemačke i drugih europskih zemalja i članovima njihovih obitelji u Konstanz. Kontingent je brojio više od 200 osoba. Sredinom travnja svi su prebačeni u hotel Bad Schachen pored Lindaua na Bodenskom jezeru. Pod njemačkom stražom Andrić se s interniranim diplomatima i članovima njihovih obitelji vratio u Beograd 1. lipnja. Većina diplomata uhićena je već na željezničkoj stanici i odvezena autobusom do njemačke misije. Desetak povratnika, uglavnom generalnih konzula, bilo je zatvoreno u štabu Gestapa više od mjesec dana, a zatim su vraćeni u Njemačku radi daljnjih ispitivanja. Neki od njih završili su u koncentracijskim logorima, a generalni konzul Šumenković uputio je iz Dachaua pismo supruzi u Beograd u kojem je napisao: „Za sva naša stradanja kriv je Andrić.“
Odbio preseljenje u Zagreb
Andrića je u Beogradu kratko vrijeme ispitivao Gestapo, ali je odmah pušten na slobodu. Zbog njegova hrvatskog podrijetla, u Gestapu su mu predložili da se preseli u Zagreb, ali Andrić je taj prijedlog odbio. Za vrijeme rata živi posve povučeno kao podstanar u dvije unajmljene sobe kod odvjetnika Brane Milenkovića, intenzivno piše, ali ništa ne objavljuje. U rujnu 1942. uputio je pismo Svetislavu Stefanoviću, predsjedniku Komesarske uprave koja je upravljala Srpskom književnom zadrugom, u kojem odbija da se njegove novele uvrste u Antologiju srpske savremene pripovetke u izdanju Srpske književne zadruge.
Odbijanje obrazlaže ovim riječima: „Danas mi to nije moguće jer u sadašnjim izuzetnim prilikama ne želim i ne mogu da učestvujem ni u kakvim publikacijama, ni sa novim ni sa ranije već objavljenim svojim radovima.“ Na taj se način jasno distancirao od kolaboracionističke vlasti što će mu nakon rata biti honorirano. Živi u potpunoj samoći, piše romane, ali u stalnom strahu da će mu agenti pokucati na vrata i odvesti ga u tamnicu. Nakon teških borbi u jutro 20. listopada 1944. združene snage NOVJ i Crvene armije oslobodile su Beograd. Andrićev život ulazi u novo razdoblje. U njega se s razlogom uvukao novi strah. Bio je diplomat, rojalist, drugi čovjek Milana Stojadinovića, sudionik pri potpisivanju Trojnog pakta, veleposlanik u Hitlerovoj Njemačkoj. Kako će na sve to gledati nova boljševička vlast?