A Vanity Fair című amerikai magazin szerint a híres írónak 1966-ban született egy Down-kóros fia Inge Morath fotográfussal kötött házasságából. A Kallódó emberek című film forgatásán ismerkedett meg az asszonnyal, amikor még a film főszereplője, Marilyn Monroe volt a felesége.
Morath-tól először egy lánya született, Rebecca, aki ma elismert filmes, majd Daniel, akit Miller már négy nappal születése után - az anya tiltakozása ellenére - árvaházba adott és teljesen kizárt életéből.
Az önimádó, hideg, gőgös Miller a nyilvánosság előtt eltitkolta fia létezését, mert nem tudta beilleszteni híres intellektuális életébe. Emlékirataiban, a Timebendsben sem tett említést róla.
Csak 89 évesen, halála előtt pár héttel döntött úgy, hogy megemlékezik róla végrendeletében. Vagyonát négy egyenlő részben osztotta szét négy gyermeke között (még egy fia és egy lánya született Mary Slatteryvel kötött házasságából).
Daniel, akinek sikerült részt vennie a Paralimpiai Játékokon olyan kategóriákban, mint a sí és a kerékpározás, különböző intézetekben nevelkedett, és 1995-ig nem is találkozott apjával. Ekkor Miller egy közszereplése során, amikor az író védelmébe vett egy gyilkossággal vádolt szellemi fogyatékost, felment hozzá a pódiumra és megölelte.
"Daniel most már része a családnak" - mondta a lapnak Rebecca Miller.