Раннее детство Жени Шварца прошло в переездах, связанных со службой отца. Кроме того, каждые летние каникулы Шварцы вместе отправлялись либо в Рязань, где жили родители Марии Федоровны, либо в Екатеринодар, к родителям Льва Борисовича, поскольку привязанность к своим семьям сильна была у обоих родителей. «Я страстно любил вагоны, паровозы, пароходы, всё, что связано с путешествиями, – пишет Шварц. – Едва я входил в поезд и садился за столик у окна, едва начинали стучать колеса, как я испытывал восторг. <…> Помню огромные залы, буфетные залы, где ждали мы пересадки. Тоненькие макароны, которые почему-то считал свойственными только вокзалам и которые иногда с соответствующей мясной подливкой и теперь напоминают мне детское ощущение дороги, праздника».
* * *
Родители Льва Борисовича из практических соображений тоже приняли крещение. Отец семейства Берка Шварц, в крещении Борис Лукич, трезво оценил возможности, которые давал его семье переход из иудаизма в православие – открытые двери в российские университеты для его детей, избавление от «черты оседлости» и дорогу к предпринимательству. Борис Лукич имел мастерскую художественной мебели с соответствующим магазином в Варшаве. С одним или двумя помощниками он изготавливал мебель из красного дерева, бука, дуба и березы – по своему вкусу или на заказ. Жили в достатке, хотя и без роскоши. В середине 60-х годов XIX века он перевез семью из Варшавы сначала в Керчь, а позже – в Екатеринодар. Все его дети получили высшее образование. Старший сын Исаак, окончив естественный и медицинский факультеты Императорского университета в Москве, стал врачом-ларингологом. Отец Жени Лев стал хирургом после окончания Казанского университета, Григорий (до крещения Самсон) – известным в провинции актером. Младший сын Александр стал адвокатом, окончив юридический факультет. Федора получила юридическое образование во Франции и стала прекрасным специалистом. Розалия и Мария стали профессиональными музыкантами, причем первая училась в Берлине, а вторая – в Вене, поскольку в России в то время женщины не могли получить высшее образование. Жена Бориса Лукича Хая-Бейла, в крещении Бальбина Григорьевна, также была неплохо образована по тем временам.
Все дети Бориса Лукича были очень музыкальны. Музыкальное образование в семье считалось нормой. Частные уроки музыки у проверенных преподавателей были организованы в семье для каждого из детей. Исаак прекрасно играл на фортепиано и аккомпанировал приезжим знаменитостям даже в пожилом возрасте. Лев Борисович пел, обладая приятным баритоном, и высокопрофессионально играл на скрипке. Одно время ему даже прочили карьеру певца, но он решил стать врачом, продолжая играть на скрипке даже тогда, когда из-за инфекции, внесенной при операции, ему пришлось удалить фалангу указательного пальца правой руки.