Отец поэта, Ян Эрбен, был сапожником и садовником; мать, Анна, была дочерью учителя. По материнской линии достались Карлу любовь и тяга к учению. Он окончил гимназию в Градце Кралове, после этого изучал философию, а потом право. Во время учения его другом и собеседником стал Карел Гинка Мах, завязал Эрбен дружбу с Франтишком Палацким, а позже и с Боженой Немцовой, познакомился с известными зарубежными собирателями фольклора и много времени проводил в архивах. До 1843 года работал судебным чиновником, потом ассистентом в Национальном музее, а в 1851 году получил место архивариуса города Праги, позднее был назначен руководителем канцелярских учреждений города Праги. Был дважды женат. Первая жена Барбора (Бетинка) Мечирова умерла в 1857 году, после ее смерти он женился на Софии Мастной. От первого брака у Эрбена было три дочери; сыновья его умирали в младенческом возрасте.
Умер Эрбен 21 ноября 1870 года в возрасте 59 лет. Наследие, оставленное им чешскому народу, огромно. Удивительно, как много удалось ему собрать, переработать за его не особо долгую жизнь.
Эрбен собирал и сочинял сказки, песни, баллады, считалки, наговоры, писал статьи для научного словаря Ригера, издавал старочешские труды (например, избранные труды Яна Гуса), переводил свод гражданских законов и уголовный кодекс, принял участие в составлении гимназических учебников, был редактором «Пражских новостей», много путешествовал – в Вену, Загреб, в Москву. В связи со своей исследовательской работой был членом многих известных обществ, например членом Чешской королевской академии наук, членом археологического общества в Москве, членом совета Харьковского университета, корреспондентом Императорского геологического института в Вене; получил множество наград и отличий: например, черногорский князь Николай Первый провозгласил его рыцарем третьей степени. Сборник баллад Эрбена «Китице» («Букет») был торжественно помещен в личную императорскую библиотеку.
Уже в 40-х годах начал Эрбен издавать сказки в «Чешской пчеле» (одной из первых была сказка «Как хорошо, что есть смерть на свете»). Он был сторонником мифологического происхождения сказок. Письменный вариант сказок К. Эрбен реконструировал из двух или более записанных по устным преданиям вариантов (как, например, «Златовласка», «Три золотых волоса деда Всеведа» и др.). Он интересовался деятельностью братьев Гримм, был хорошо знаком с немецкой мифологией Якоба Гримма. По Эрбену, в сказках отражается вечное противостояние зимы и весны, тьмы и света, смерти и жизни, что символизирует мертвая (ледяная) и живая (текучая) вода.