Первоначальные посевные площади зерновых и овощей оказались недостаточны, поэтому, по предложению ван Рибека, в 1657 году компания освободила часть колонистов от службы. Им предложили заняться непосредственно земледелием, а в помощь с острова Ява была прислана первая партия рабов‑малайцев (по некоторым соображениям компания запретила обращать в рабство готтентотов, хотя многие из них со временем становились слугами и наемными работниками у поселенцев). Чуть позднее сюда начали ввозить невольников‑африканцев из Анголы и Гвинеи, а также с Мадагаскара.
В 1673 году в колонии было 53 черных раба. Первое время они жили здесь относительно сносно. Была даже открыта школа для невольников. Для того чтобы содействовать обращению последних в христианство (первый пастор Нидерландской реформатской церкви появился на мысе Доброй Надежды в 1665 году, и до 1778 года она была единственной легальной церковью в колонии), Рибек приказал выдавать им по стаканчику бренди и по две понюшки табака после каждой проповеди. Однако многие колонисты, укорененные в господствовавших тогда религиозных и расовых предрассудках, вообще считали, что «церковь не предназначена для негров, так же как и для грубых животных, которые вместе с ними делят тяжелый труд».
Впрочем, так думали отнюдь не все поселенцы. В 1664 году в правительственном здании Капстада была официально отпразднована свадьба одного из первых колонистов с африканкой, которая после крещения была наречена Евой. И хотя в 1685 году вышел закон, запрещавший смешанные браки, крайняя малочисленность женщин среди колонистов часто приводила к внебрачным связям между голландцами и их невольницами. Еще до этого, в 1671 году, представитель Ост-Индской компании докладывал, что две трети детей, рожденных рабынями, имели отцов европейского происхождения. В результате этого и появилась особая категория населения Южной Африки, которую стали называть цветными (в современной ЮАР они составляют вторую по численности группу населения и насчитывают около 4,5 млн человек).
Через короткое время на каждого колониста уже приходилось не менее 10 гектаров земли и некоторое число рабов. Благоприятный климат способствовал процветанию хозяйства. Впрочем, поначалу поселенцы роптали на различные ограничения, налагаемые Ост-Индской компанией, на размер сельскохозяйственного производства и сокращение возможностей торговли. Жалобы касались того, что цены на их продукты, установленные властями, слишком низки в сравнении с затраченным трудом.