Очевидно, что при несомненной талантливости и незаурядности обоих родителей Евгения Львовича атмосфера в семье была далеко не благополучной, что отчасти объяснялось значительным различием в характерах его родителей и особенно сложным устройством психики его отца. Лев Борисович в этот период страдал сильнейшими приступами мигрени. Часто он шел в кабинет, зажмурившись, побелев, и повторял жене и сыну: «Опять флажки, флажки» – так называл он мелькания в левом глазу. Евгений Львович вспоминал, что, как и вся семья Шварцев, его отец был очень нервен, но вместе с тем прост, прост по-мужски, как сильный человек. Так же сильно и просто он сердился, а его близкие обижались, надолго запоминая его проступки перед семьей. Его любили больные, товарищи по работе, о вспыльчивости его рассказывали в городе целые легенды, причем рассказывали добродушно, смеясь. Мария Федоровна, при всей любви к мужу в этот период, оставалась неуступчивой, самолюбивой и замкнутой, из-за чего сильнее обижалась и подолгу не шла на примирение. А Женя испытывал в присутствии отца, которого понял и оценил лишь десятки лет спустя, только ужас и растерянность, особенно когда тот был хоть сколько-нибудь раздражен – а это случалось слишком часто.
«К сожалению, – вспоминал о том периоде Евгений Львович, – у нас начинала образовываться семья, которая не помогала, а мешала жить. И теперь, когда я вспоминаю первые месяцы майкопской нашей жизни, то жалею и отца, и мать. Вот он ходит взад и вперед по большой зале родичевского дома[8], играет на скрипке. Бородатая его голова упрямо упирается в инструмент, рука с искалеченным пальцем легко держит смычок. Я слушаю, слушаю, и мне не нравится его музыка. Я не хочу, чтобы он перестал, мне не скучно слушать скрипку, но это его, папина, музыка, и она враждебна мне, как всё, что исходит от него. А отец всё бродит и бродит по залу, как по клетке, и играет. Чаще всего играл он presto Крейцеровой сонаты».
Мария Федоровна всё чаще плакала, укладывая Женю, и сам он тоже начинал плакать вслед за мамой. Она уже не смеялась, не шалила с подругами, стала резче отзываться о людях. Причем, сказав плохое о человеке, часто добавляла: «Я всё это ему выскажу». Женя не любил эти слова мамы и боялся их последствий, поскольку Мария Федоровна и в самом деле высказывала людям всё, что о них думала. В результате ее отношения с окружающими, как правило, становились хуже.