У Карла Тарковского, деда Арсения, был земельный надел под городом, а у отца, Александра Карловича, уже ничего не было. Женились деды и прадеды рода Тарковских на русских, украинках, румынках – все генеалогическое дерево проследить уже невозможно. Деды и прадеды все были с гонором – хоть и без титула, а все-таки потомственные дворяне, записанные в шестую книгу русских дворянских родов.
В 1916 году к Тарковским понаехали нотариусы и адвокаты, они хотели, чтобы Александр Карлович вступил во владение какой-то частью майората в Северном Азербайджане, переставшего к тому времени быть майоратом. Александр Карлович отказался наотрез – революционные убеждения не позволяли ему иметь крупную собственность. Впрочем, хотя сословными предрассудками он пренебрегал, но своим происхождением от царского рода все-таки гордился. «Мы, – говорил он детям в шутку, – наследственные шейхи».
Мать поэта Мария Даниловна Рачковская была родом из Молдавии, из городка Бельцы. Отец ее служил директором почтамта в Дубоссарах и имел чин надворного советника. Почтамтом громко называлась комнатенка с двумя работниками. Мария Даниловна знала молдавский, французский, немножко польский и немецкий языки. Она много болела и много лечилась. Ездила для этого и за границу. Как-то из Карлсбада она привезла книжку, где рассказывалось о некоем Мальцеве – это был Александр Карлович. Там описывалось, как он был арестован, сидел в тюрьмах и как сказал следователю на допросе, что да, он имеет честь принадлежать к партии «Народная воля». У Александра Карловича в крови была страсть к высоким фразам, даже если это грозило ему неприятностями.
Александр Карлович Тарковский, отец Арсения и дед Андрея, родился в 1861-м, в год отмены в России крепостного права. Когда мальчику было 10 лет, его родители в один день умерли от холеры. В юности Александр увлекался народовольческими идеями и был арестован по делу о покушении на харьковского генерал-губернатора. Под стражу Александр Карлович был взят со студенческой скамьи (он учился на юридическом факультете Харьковского университета).
По приговору суда два года Александр Карлович пробыл в одиночном заключении и еще пять лет – в общем тюремном, после чего был сослан на 10 лет в селение Тунку (Туруханский край, 300 верст от Якутска).