Спенсеры были одной из самых знатных аристократических фамилий Англии. В их роду числились дети двух королей, герцог и святой. Брачные связи титулованных предков приблизили Диану к правящей династии: она была одиннадцатой кузиной наследника британского трона, Чарльза, принца Уэльского. Она даже состояла в дальнем родстве с первым президентом Соединенных Штатов, Джорджем Вашингтоном. (Кроме того, дед Дианы в свое время женился на американке Фрэнсис Уорк, и благодаря этому Диана приходилась седьмой кузиной Хэмфри Богарту и Рудольфу Валентине)
Королевское будущее девочки было предопределено семейными связями и местоположением ее родного дома. Парк-хаус, где родилась Диана, являлся собственностью королевы и был предоставлен Морису Фермою, деду Дианы по материнской линии, королем Георгом V в 1931 году. Дом находился на территории усадьбы Сандрингем в Норфолке, частной резиденции Виндзорской династии, примерно в полумиле от Сандрингемского замка, где часто бывали члены королевской семьи, и от королевской церкви.
Диана была связана с королевской семьей по обеим линиям. Дед Дианы, лорд Фермой, был другом двух королей. Он частенько охотился с Георгом V и Георгом VI. Ее отец был конюшим (весьма привилегированная должность, занимать которую могут только видные военные) королевы Елизаветы II и часто принимал участие в охотах в замке Балморал, резиденции английских королей в Шотландии. Бабушка по отцовской линии, Синтия Спенсер (урожденная леди Синтия Хэмилтон), и двоюродная бабушка, леди Делия Пил, были близкими подругами и фрейлинами королевы-матери. Такое же положение занимала и бабушка по материнской линии, леди Рут Фермой. Еще одна двоюродная бабушка Спенсер, леди Лавиния Уайт, умершая в 1966 году, с самого детства дружила с королевой Елизаветой. Из окон верхних этажей королевской резиденции в Сандрингеме можно было увидеть Парк-хаус. В этом смысле Диана для Чарльза была настоящей «девушкой с соседнего двора».
Фамильное поместье Спенсеров Олторп находилось в Нортгемптоншире, но в детстве Диана там почти не бывала. Ее суровый дед, седьмой граф Джек Спенсер, и его наследник, отец Дианы Джонни (в момент рождения девочки он был виконтом Олторпом), не горели желанием общаться с ребенком. Диана выросла в Северном Норфолке, в уединенном уголке одного из самых сельских и девственных регионов Англии, в краю зеленых холмов под бескрайним небом. А вот Сандрингем, территории которого окружали дом Спенсеров, представлял собой сосновый лес, растущий на песчаной почве. Совсем рядом, за песчаными дюнами и поросшими тростником болотами, на берег накатывали серые волны Северного моря. Северный Норфолк – это край больших поместий и аристократических семейств. Эти люди ведут замкнутую жизнь, в которую весьма неохотно впускают посторонних. Родители Дианы, Фрэнсис и Джонни Олторп, чувствовали себя в такой обстановке как рыба в воде.