Зимой 1899 года все дети в семье переболели коклюшем, а весной по предписанию врачей для укрепления здоровья их отправили в Швейцарию. Олег получил очень большое впечатление от этого путешествия. Он увидел альпийские горы с царствующим над ними, покрытым льдом Монбланом (что означает Белая гора), очень красивые озера, старинные крепости. Домой возвращались окрепшие, повеселевшие. Отдохнули после путешествия в Павловске, а осенью в Петербурге, в родном Мраморном дворце, приступили к учебным занятиям. В этом же году преподаватель русского языка для старших князей профессор Николай Карлович Кульман, филолог и историк русской литературы, начал свои «четверги» – литературные чтения. Допускались на них и младшие дети. Здесь в течение одного только 1900 года было прочитано вслух множество произведений русской классики, в частности «Записки охотника» Тургенева, «Детские годы Багрова-внука» Аксакова, сочинения Пушкина, Гоголя, Чехова, Короленко и других писателей. Чтения происходили в комнатах старшей сестры Олега – Татьяны. Дети собирались, рассаживались вокруг большого стола и радостно объявляли: «Мы слушаем! Мы слушаем!» В камине потрескивали дрова, было тепло, уютно. Профессор Кульман читал мастерски, дети слушали очень внимательно, часто не сдерживались и выражали свой восторг восклицаниями. Маленький Князь Олег казался всех серьезнее: слушал не шевелясь… Он как бы узнавал в прочитанном свой родной русский мир.
Константин Константинович, любивший русскую природу и воспевавший ее в стихах, давно желал повезти своих детей не в Павловск, не в Крым, где у него также было поместье, а в простую русскую деревню. И вот нашел он сдававшуюся внаем усадьбу в селе Нижние Прыски, находившемся близ Оптиной пустыни. Великий Князь побывал в 1887 году в этой обители и беседовал в скиту со старцем Амвросием, а в дальнейшем переписывался с ним и другими старцами. Ему хотелось, чтобы и дети его могли побывать в Оптиной пустыни – в монастыре и в скиту, помолиться на службах, посмотреть на монастырский быт. В мае 1901 года Великий Князь привез в Прыски всю семью. Дом был большой, удобный, с большим парком, неподалеку от него находились церковь Преображения Господня, лес, река Жиздра, крестьянские избы. Отсюда хорошо виден монастырь с белой стройной колокольней… Позади него стеной стоит вековой сосновый бор.