Семья Роберта была многодетной: у него родилась два сына и четыре дочери. Мать великого ученого, Сусанна Дарвин, в девичестве носила фамилию Веджвуд. Ее отец, Джосайя Веджвуд, был потомственным гончаром. Он не только посвятил себя семейному делу, но и совершил в нем целый ряд важных открытий, в основном связанных с использованием новых материалов. Веджвудам принадлежал знаменитый и по сей день керамический завод. Семейства Дарвин и Веджвуд на протяжении нескольких поколений были связаны между собой матримониальными отношениями. Впоследствии и сам Чарлз Дарвин женился на своей кузине Эмме Веджвуд.
Чарлз Дарвин родился 12 февраля 1809 года в небольшом английском городке Шрусбери. Сам он писал, что его воспоминания не проникают в глубины раннего детства и первое отчетливое воспоминание относится к четырехлетнему возрасту, когда семья ездила на морское побережье. Также Чарлз очень смутно помнит свою мать, которая умерла летом 1817 года.
Незадолго до смерти матери мальчик пошел в подготовительную школу Шрусбери. До того он учился дома – его образованием занималась старшая сестра Каролина, но занятия эти едва ли принесли какую-то пользу невнимательному и непослушному ребенку, каким был Дарвин. В школе дела пошли не лучше: ученый вспоминает о себе как о заурядном сорванце, который овладевал знаниями с грехом пополам. Значительно больше его привлекало воровство фруктов в соседских садах, а также коллекционирование: он собирал раковины, печати, монеты, минералы, старался выяснить названия всех встречающихся растений. Как пишет сам Дарвин, еще до начала учебы в школе у него «отчетливо развился вкус к естественной истории и особенно к собиранию коллекций», но это никак не отражалось на его оценках. Родня Чарлза его увлечений не понимала и не разделяла, и как-то отец в минуту раздражения сказал своему непутевому отпрыску: «Ты ни о чем не думаешь, кроме охоты, собак и ловли крыс; ты опозоришь себя и всю нашу семью!»
Дарвин отзывался очень тепло о своем старшем брате – Эразме. Он высоко оценивал его способности и жизненные интересы. Эразм много читал и хорошо разбирался в литературе, увлекался искусством, занимался химией и интересовался другими естественными науками. До конца своих дней Дарвин сохранил и самое теплое отношение к своим сестрам.