Первый ребенок Ильи Петровича от второго брака – Николай, в будущем горный инженер, родился в 1838 году (1838–1911). В дальнейшем дети рождались через каждые полтора-два года: в 1840 году – Петр, будущий композитор, в 1842 году – дочь Александра (1842–1891), в замужестве Давыдова, в 1843 году Ипполит (1843–1927), в будущем генерал-майор от адмиралтейства, член правления Русского общества пароходства и торговли. Через 7 лет в 1850 году, когда Илье Петровичу было 55 лет, родились близнецы – Модест (1850–1916) и Анатолий (1850–1915). Двойня была разнояйцовой, и потому они не имели сходства ни внешнего, ни по характеру, но всю жизнь был дружны между собой.
Семья Чайковских жила в небольшом уютном городке Воткинске Вятской губернии. В воспитании детей большой строгости не было, но излишние шалости не допускались: мать была педантичной, любила порядок и аккуратность. Они с раннего детства находились на попечении нянюшек и гувернанток, а позже – учителей. Илья Петрович детей очень любил и даже баловал, задаривал их игрушками и сладостями, но развлекательными играми с ними мог заниматься только в свободное от работы время.
В 1844 году, когда Петру (в семье его называли Пьер) исполнилось 4 года, в доме появилась молодая гувернантка – 22-летняя Фанни Дюрбах (1822–1895). Она была любимицей в семье Чайковских, в которой ее приняли, как родную дочь. Она оказалась коммуникабельной, быстро освоилась с обстановкой и почти с первых дней пребывания приступила к своим обязанностям. Помимо гувернантки с детьми занимались и учителя.
Для детей в состав учебных предметов, помимо грамматики, арифметики, истории и географии, входили уроки танцев, музыки, немецкого и французского языков. Итальянский и английский языки Петр начал изучать уже в зрелом возрасте самостоятельно. Детей с раннего детства приучали относиться к любому делу ответственно и добросовестно. Позже Фанни Дюрбах писала: «Госпожа Чайковская была щепетильнее меня во всем, что касалось деликатности и совести… Она требовала от своих детей абсолютной прямоты». По описаниям Фанни, дети в свободные часы выходили на балкон второго этажа и любовались открывавшейся перед ними панорамой. С балкона был виден пруд, на котором «качались челны рыбаков», и дети слушали их грустные песни».