Когда умер отец, молодой князь находился во Франции. Вернувшись на Родину и вступив во владение наследством, он вновь отправился путешествовать, на сей раз уговорив доктора Брагина составить ему компанию. Друзья отправились на Восток, сначала, совсем ненадолго, в Индию, а потом в Китай и Японию, где провели в общей сложности семь лет, большей частью изучая боевые и любовные искусства и этнические традиции этих стран. Здесь Понуров написал три первых романа и начал свой масштабный magnum opus «Огонь Мудрости».
В Японии у него случился страстный роман с юной гейшей, которую он встретил на пиршестве в гостях у знатного даймё, где та развлекала гостей. Красавица Харука с первого взгляда смертельно влюбилась в могучего рослого широкоглазого иноземца, влюбилась всем своим существом, бесповоротно, отчаянно, жгуче и безысходно. Девушка была готова ради него на всё, украсть, убить, умереть самой, отправиться на край света – и отправилась, поехав с Любимым на его дальнюю экзотическую Родину – хоть князь и напрямую сказал, что её не любит, вряд ли полюбит и в любом случае никогда не женится.
В 1851 году Яромир Александрович вернулся в Россию и поселился в родовом имении, где стал жить практически безвыездно. Почти сразу же по приезде он женился, предуведомив родителей невесты и саму Аглаю Аркадьевну, что верен он ей быть не сможет и жить они будут раздельно.
Тестя такое условие весьма удивило, но принимая во внимание положение и богатство жениха он думал недолго и согласился. Юная же Глаша влюбилась в пригожего молодого князя с первого взгляда (Понуров вообще оказывал на прекрасный пол чарующее впечатление), и подобно японке (они, à propos, были почти ровесницами) была готова на всё. Яромир Александрович поселил жену в Плетнёвке, богатом поместье с маленькой, но уютной и comfortable усадебкой, в семи верстах езды от родового гнезда, и навещал супругу по нескольку раз в месяц; через год у них родился первый сын.
Князь возвёл на берегу реки просторное длинное строение в восточном стиле, с двумя флигелями, в одном из которых поселил Харуку, а другой отдал в распоряжение Брагину. Здание это, которое сам Понуров полушутливо называл «храмом любви», стало, если говорить без обиняков, гаремом. Каждую осень он, вместе с доктором Брагиным и Харукой проводил смотр своих крепостных девочек и отбирал самых красивых и здоровых (особое внимание уделялось состоянию зубов и кожи). Избранницам предстояло провести несколько лет под наблюдением и руководством бывшей гейши, обучавшей девиц теории искусства любви и умению общаться с мужчиной. Кроме того, с ними занималась гувернантка – основной акцент делался на гуманитарные науки (потом князь от услуг гувернантки отказался, посчитав это совершенно ненужным излишеством). Родители более не могли общаться со своей дочкой, но получали от хозяина изрядный куш и неизменно оставались довольны. Девы содержались в строгой изоляции и виделись только с барином, доктором, японкой и гувернанткой – для остальных происходящее там оставалось полной тайной. Князь начинал посещать избранницу по достижении совершеннолетия.