Джеффри Лайонел Дамер родился 21 мая 1960 года в семье Джойс и Лайонела Дамер, которые, по общему мнению, были членами обычной, хорошо устроенной семьи, живущей в пригороде Милуоки, штат Висконсин, Уэст-Эллис. Оба родителя были коренными жителями штата, и, хотя семья Дамеров была небольшой, несколько ее поколений жили в районе Милуоки. Поэтому поблизости всегда находились родственники, которые помогали присматривать за маленьким Джеффом, когда родители отлучались по делам.
В ранние годы Джеффри оба его родителя часто отсутствовали.
Лайонел работал над получением ученой степени по химии в Маркеттском университете. Когда его не было на занятиях или в лаборатории, он читал книги, готовился к экзаменам и писал свою диссертацию. Рабочие дела подолгу держали его вдали от Джойс и Джеффа. Хотя его жена не раз говорила, что постоянная занятость мужа становится проблемой, Лайонел же в свою очередь обещал ей, что, как только он закончит школу, все наладится. Он планировал найти хорошо оплачиваемую работу в университете или частной фирме, и тогда они втроем заживут жизнью нормальной американской семьи. Позже, после ареста Джеффри за убийство, Лайонел признался, что пренебрегал воспитанием сына в годы его становления. Это стало большим сожалением для отца.
Пока Лайонел отсутствовал из-за учебы, Джойс также отсутствовала, только иначе.
После рождения ребенка Джойс осталась дома, чтобы заботиться о нем, однако по многим признакам можно было сделать вывод, что новоиспеченная мать испытывала трудности в налаживании связи со своим малышом. Хотя позже она отрицала это, Лайонел утверждал, что у Джойс была тяжелая беременность и она, возможно, страдала от послеродовой депрессии.
Были ранние признаки того, что жизнь Джеффри под родительским крылом была далека от идеала, но позже серийный убийца отверг предположения о том, что жизнь с семьей способствовала его склонности к убийству.