Мать Елена Юльевна (в девичестве Берман, 1872—1942), родом также из Курляндии, из Риги, выросла в еврейской семье, в которой говорили на немецком и русском языках. Обладая выдающимися музыкальными способностями, она обучалась игре на фортепиано в Московской консерватории. То, что Елена Юльевна не сделала профессиональную карьеру, к которой была предрасположена, объясняется, однако, не ее происхождением, а тем, что во время учебы она вышла замуж и диплом так и не получила. «Все свое детство я вспоминаю под музыку, – рассказывала Лили. – Не было вечера, когда я без нее заснула. Мама, прекрасная музыкантша, играла каждую свободную минуту. В гостиной у нас стояло два рояля, на которых играли в восемь рук, и долгие периоды времени почти ежедневно устраивались квартеты». Елена Юльевна обожала Вагнера и часто ездила на фестиваль в Байрейт. Среди прочих любимых композиторов были Шуман, Чайковский и Дебюсси.
Музыкальные способности передались и дочери. «Когда мне не было еще и года, меня считали музыкальным вундеркиндом», – вспоминает Лили1. С шести лет мать начала давать ей уроки, в результате чего дочь возненавидела музыку – такая реакция девочки была следствием чувства самостоятельности, весьма развитого для ее возраста: она не выносила никакого внешнего принуждения. Даже профессиональному педагогу не удалось изменить ее настрой. В конце концов Лили призналась, что проблема была не в учителе, а в инструменте, – и потребовала, чтобы ей разрешили играть на скрипке. Занимаясь как одержимая, она достигла значительных успехов благодаря преподавателю Григорию Крейну – и несмотря на сопротивление отца («Сегодня скрипка, завтра барабан!»). Но едва Юрий Александрович в виде жеста примирения подарил ей на день рожденья скрипичный футляр, пыл погас, а скрипка ей «зверски надоела». Здесь просматривается другая характерная для Лили черта: она легко вдохновлялась и так же легко теряла интерес, ей все «надоедало». Она постоянно нуждалась в новых стимулах.
В октябре 1896 года, когда Лили было пять, родилась сестра Эльза. С детства сестры говорили по-французски, по-немецки и играли на рояле. Обе были очаровательны.
«Как-то ранней весной я шла с дочерями по Тверскому бульвару, – вспоминала Елена Юльевна. – А нам навстречу ехал господин в роскошной шубе. Он остановил извозчика и воскликнул: «Боже, какие прелестные создания! Я бы хотел видеть вас вместе с ними на моем спектакле. Приходите завтра к Большому театру и скажите, что вас пригласил Шаляпин. Мы воспользовались приглашением, и для нас были оставлены места в ложе. Вот такая была удивительная встреча