Imao je brojne ljubavnice i afere, a zbog načina na koji je opisivao žene feministice su ga žestoko napadale
Charles se mučio kao mladić s teškim oblikom akni. Liječnici su mu rekli da je to najgori slučaj bubuljica koji su vidjeli. Bolno liječenje izdržao je bez problema jer je bio “navikao na bol”. Imao je i disleksiju. Pohađao je dvije godine studij novinarstva na City Collegeu u Los Angelesu, a ono što bi napisao morao je skrivati od roditelja. No otac je jednog dana pronašao papire i pobjesnio bacivši i njih i pisaći stroj kroz prozor. Kad se Charles vratio kući, pokupio je svoje stvari i napustio dom. Zauvijek. Preselio se u New York s ambicijom da postane pisac. U srpnju 1944. uhitili su ga agenti FBI-a koji su ga držali pod nadzorom jer je rođen u Njemačkoj i zbog sumnji vezanih za izbjegavanje vojne službe. U zatvoru je bio sedamnaest dana.
