Освобожденная от потенциального юридического бремени, фирма M. Goldman & Sachs росла и развивалась. В 1885 г. Голдман предложил вступить в дело своему сыну Генри и зятю Людвигу Дрейфусу, и в результате компания была переименована в Goldman, Sachs & Co. (Она также была известна как Goldman, Sachs & Dreyfus.) Партнеры поселились неподалеку друг от друга на Манхэттене, в Верхнем Вест-сайде. Маркус Голдман оставил свой дом на Медисон-авеню и переехал на 70-ю Западную улицу. Сэм Сакс купил особняк рядом. Гарри, брат Сэма, купил таунхаус на 74-й Западной улице, а Генри, сын Маркуса, приобрел «внушительный» дом на 76-й Западной улице.
В декабре 1893 г. развивающаяся фирма едва не потеряла $22,5 тыс. – примерно 5 % ее капитала[22]. Эта сумма была одолжена небольшому предприятию N. J. Schloss & Co., выпускающему одежду для мальчиков, в нижнем Бродвее. Оказалось, что бухгалтер предприятия присвоил $50 000, а когда был пойман, пытался покончить жизнь самоубийством: включил газ в номере гостиницы, где зарегистрировался под вымышленным именем. Голдман в отличие от других кредиторов получил все свои деньги, поскольку фирма предоставила предприятию краткосрочный кредит.
В 1894 г. вошел в компанию Гарри Сакс, брат Сэма. Теперь в фирме на втором этаже офисного здания на Эксчейндж-плейс, 43, кроме пяти партнеров работали 10 клерков и небольшое числу посыльных. Капитал Goldman Sachs достиг к тому времени $585 000, а ежегодный доход – $200 000, причем рентабельность капитала составляла 34,2 %, что явно показывало, насколько прибыльным может быть дело при грамотном его ведении. В 1896 г. Goldman Sachs стала играть на Нью-Йоркской фондовой бирже. И к 1898 г. капитал фирмы достиг $1,6 млн и стремительно рос.
В этот момент компания решила открыть валютный отдел и к июню 1899 г. отправила в Европу золотых монет на $1 млн. Некоторые дилеры полагали, что компания неверно оценила стоимость отправки и поэтому потеряла $500, но Маркус Голдман заявил, что «это была обычная торговая операция», а золотые монеты использовались из-за того, что они «дешевле» переводных векселей. И в последующие годы Goldman Sachs вместе с Lazard Frères & Co., еще одной банковской фирмой с Уолл-стрит, были самыми крупными экспортерами золотых слитков. Однако Goldman Sachs занималась не только этим: ее сотрудники Грегори, Ханна, Одз, Кайзер и Морриси также регулярно играли в боулинг в Лиге банковских клерков.