Государыня с первых лет жизни сына думала о том окружении, в котором он должен пребывать. Архивные документы сохранили поименное упоминание о тех, с кем проводил детские годы Великий князь. Это были в основном дети старых русских семейств, созвучные по ценностным предпочтениям друг другу. Первыми детьми, с которыми играл трехлетний Великий князь, были девочки – Ольга и Вера Перовские, дочери генерал-адъютанта графа Бориса Алексеевича Перовского, воспитателя Великих князей Александра и Владимира Александровичей; две дочери Анастасии Николаевны Мальцовой, лучшего друга императрицы Марии Александровны; княжны Мария и Анастасия Гагарины, дочери вице-президента Академии художеств князя Григория Григорьевича Гагарина; дочь начальника военно-учебных заведений Николая Васильевича Исакова Мария (впоследствии жена князя С. И. Васильчикова); княжна Александра Павловна Вяземская, внучка поэта; Е. К. Рихтер, дочь бывшего посланника России в Брюсселе; княжна Е. Д. Оболенская, внучатая племянница Протасовой, гофмейстерины Ее Величества.
Вскоре к обществу девочек присоединились мальчики, их братья – князья Андрей и Александр Гагарины, князья Алексей и Николай Оболенские, четыре брата Бобринские, с которыми Сергей Александрович и Павел Александрович познакомились в Ницце в 1864–1865 г.г. и один из трех сыновей А. Н. Мальцовой, Николай Сергеевич, с которым Сергей Александрович сблизился в более поздний период своего отрочества.
Все это общество по воскресным и праздничным дням приглашалось к обеду и потом резвилось в Зимнем дворце. По будням к Сергею Александровичу приглашали только одного умного и доброго ребенка Сашу Гагарина, которого маленький Великий князь особенно полюбил. Но зимой 1866 г. мальчик заболел и внезапно умер. В течение всей жизни Сергей Александрович хранил портрет этого мальчика. Ко всем детям Великий князь относился дружелюбно и пользовался любовью детского общества, но дружен ни с кем не был, кроме рано умершего Саши Гагарина.
Пронесенная Великим князем через всю жизнь память о рано ушедшем друге, притягательность этого образа сообщает дополнительный импульс к раздумьям об особой значимости культурной среды, в которую ребенок погружен с детства. Это еще раз убеждает в продуманности и глубине педагогических усилий матери Великого князя, императрицы Марии Александровны, которая уделяла пристальное внимание тому, каков круг родственников, взращивавших друзей ее сына. В этом отношении судьба щедро одарила Сашу Гагарина. Ведь его отец был человеком редкой одаренности, культуры и глубины исповедания христианской веры. Князь Григорий Григорьевич Гагарин, отец Саши, происходил из древнего княжеского рода. С 1880 г. обладал высоким статусом, будучи обер-гофмейстером. Сын дипломата, посла России в Риме, а затем в Мюнхене он до 13 лет жил с родителями в Париже и Риме, а затем учился в коллегии Толомеи в Сиене; работал в Министерстве иностранных дел, в Российской миссии в Константинополе и т. д. С 1869 г. Г. Г. Гагарин – вице-президент Императорской академии художеств. Он один из наиболее талантливых художников-любителей России. В юные годы был близок с A. C. Пушкиным, иллюстрировал его произведения, хорошо знал М. Ю. Лермонтова. Г. Г. Гагарину принадлежит заслуга создания музея древнехристианского искусства. В течение ряда лет Григорий Григорьевич занимался важнейшим делом на земле – росписями церквей. Он состоял почетным членом Императорской академии художеств, действительным членом Общества поощрения художников, действительным и почетным членом Императорского Русского археологического общества. Как истинный русский патриот и гражданин своего отечества, похоронен в своем имении – в с. Сучки Корчевского уезда Тверской губернии