Вскоре братья получили право именоваться поставщиками двора Ее Величества королевы Виктории. Но в конце 1850-х годов торговля пришла в упадок. В 1860 году Бенджамин ушел из компании, еще через год решил отойти от дел Джон. Компанию он передал своим сыновьям – Джорджу и Ричарду (им исполнился 21 год и 25 лет). Второе поколение братьев превратило лавку Кэдбери, в которой работали 15 местных жителей, в одно из крупнейших шоколадных производств Англии.
Однако вначале дела шли так плохо, что Кэдбери всерьез намеревались сменить профессию. Ричард думал уйти в землемеры, а Джордж – отправиться на чайные плантации в Индию. Но в 1866 году ситуация резко изменилась. Братья купили изобретение голландца Вата Хутона – специальный пресс, позволяющий выжимать из молотого какао до двух третей масла. Теперь за те же деньги можно было выпускать больше твердого шоколада. Через два года на прилавках появились первые наборы шоколадных конфет Cadbury. Коробки украшали сентиментальные картинки работы Ричарда Кэдбери (он рисовал детей и цветы, натурой служили собственные чада и собственный сад). Шкатулка же, отделанная бархатом и имевшая зеркальные вставки, считалась изысканным подарком. И полезным. После того как конфеты съедались, в нее можно было складывать безделушки и пуговицы.
В 1879 году пришлось искать новое место для фабрики – в очередной раз расширять бизнес. Братья Кэдбери решили разместить производство буквально в чистом поле. Следовательно, требовалось построить и поселок для рабочих. Но главной причиной рождения этого проекта было желание показать, что такое правильно организованное предприятие.
У Джорджа Кэдбери на этот счет имелся ряд соображений. Он был уверен, что городская жизнь противоестественна и неминуемо развращает работников, поэтому фабрика должна быть расположена в живописном загородном месте: «В городской обстановке невозможно вырастить морально, физически и духовно здоровую нацию. Единственный эффективный путь – вытащить людей из городов и дать каждому свой сад, чтобы он мог соприкасаться с природой и таким образом больше узнавать о Боге, создавшем природу».
Кроме приятного пейзажа и общения с природой, рабочие должны иметь достойные условия жизни: «Откуда у рабочего возьмутся идеалы, если он живет в трущобах, а единственное место его отдыха – публичный дом?» Наконец, рабочие и работодатели должны жить бок о бок, поскольку это соответствует замыслу Творца, для которого все люди равны (известно, что в свое время квакеры немало натерпелись, категорически отказываясь снимать шляпы перед аристократами).