皮瑞利的父母都是來自義大利的移民，幾乎看不懂任何英文。爸爸是工廠的半技術勞工，賺著美國大蕭條時期的薪資，手上有點錢就跑到地方上龍蛇雜處的酒吧買醉，他「脾氣暴躁」，會「隨手拿起任何東西痛打」皮瑞利的幾個哥哥，讓孩子「尖叫」著跑出地下室，「渾身是血……但他不為所動」。皮瑞利指出自己很小時，哥哥幾乎週週挨打，不過他和妹妹逃過一劫。

皮瑞利3歲時，母親罹患躁鬱症，無力管教孩子，孩子也不再聽話。此外，皮瑞利的父母見面就吵架，不時分居，他13歲時雙親便不再來往，皮瑞利跟著父親一起生活。依據研究人員當時的觀察，父親不在乎皮瑞利逃學。

數十年間，〈成人發展研究〉一共派出五位探訪員拜訪皮瑞利的家。1941年時，第一位探訪員抵達他位於廉價公寓五樓的居所，對家徒四壁的程度感到吃驚。它位於波士頓西區（West End）「最貧窮的街區之一」，沒有中央供暖系統。〈成人發展研究〉的探訪員形容皮瑞利住的地方「完全稱不上舒適，而且相當簡陋，看得出……沒人在意那個家的樣子」。童年時期的皮瑞利，看起來與1998年那個性格外向、皮膚曬成健康古銅色的企業大亨十分不同。多年後，皮瑞利將帶第五位〈成人發展研究〉探訪員參觀他富麗堂皇的高級公寓。〈成人發展研究〉的精神科醫生形容13歲的皮瑞利：

害羞、纖細敏感、害怕父母不認可自己……外表十分溫順，想給人留下好印象。皮瑞利努力當好孩子，永遠有點緊張，社交上顯然侷促不安。整體而言講話語帶保留，很難從他口中聽見真正想法。他不是好動的孩子，從不參加任何外向的體育活動，但有許多靜態的嗜好，例如集郵與組裝船隻模型。我們的印象是他相當敏感，具備審美鑒賞力。

此外，精神科醫師還觀察到皮瑞利「情緒穩定……體貼家人感受……完美示範在不良環境成長的孩子，如何靠頭腦與個性生存下來。」

每學年結束時，皮瑞利學校的學生會穿上特殊服飾慶祝升上一個年級，不過他是由校方幫忙提供的，因為父母負擔不起，一家人有時連三餐都成問題。長大後的皮瑞利不懂父親為什麼不努力改善自身狀況：「我幾乎認為他不想讓自己變好。為什麼他不肯？」皮瑞利也無法理解，為什麼母親年輕時便移民美國，卻沒學會講英文。多年後，比皮瑞利年長很多的姊姊安娜（Anna）告訴他，其實從他出生一直到7、8歲都是由她照顧。皮瑞利家八個孩子不同於許多機能不全家庭的孩子，他們緊緊團結在一起、互相照顧，這點改變了皮瑞利的人生。他是畢業於商職學校的優秀學生，17歲加入空軍，19歲與退伍前夕在勞軍舞會上認識的妻子結婚。皮瑞利很喜歡太太的娘家，那個家和他自己家不同：「他們家永遠充滿歡笑……沒有什麼解決不了的問題。」