Летом 1909 года Джулиус с семьей побывал на родине, где пятилетний Роберт познакомился со своим дедом Бенджаменом Оппенгеймером и получил от него два ценных подарка – энциклопедию архитектуры и коллекцию минералов. Подарки подталкивают к двум выводам: «мелкий торговец из средневековой немецкой деревни» был весьма образованным человеком (что, в общем-то, не редкость среди еврейских лавочников), а его внук был неординарным ребенком, заслуживающим столь взрослых подарков. По признанию самого Роберта, коллекционирование минералов, архитектура и чтение были главными занятиями его детства. Ну а чем еще заниматься ребенку, встречавшемуся со сверстниками только в воскресной школе Общества этической культуры?
В семилетнем возрасте Роберт начал учиться в начальной школе Общества, куда его приняли сразу во второй класс. Выбор был предопределен. Во-первых, тем, что образование здесь давалось превосходное, а, во-вторых, «новым американским евреям» особенно-то и некуда было податься. Религиозные иудейские школы им не подходили, а в нееврейских американских школах того времени можно было запросто столкнуться с антисемитизмом. И не только в школах. Так, например, президент Гарвардского университета Эббот Лоуренс Лоуэлл в 1922 году пытался ввести квоту на поступление евреев, мотивируя такой шаг… ростом антисемитизма среди студентов. Логика Лоуэлла была следующей – антисемитизм в студенческой среде возрастает с увеличением числа студентов-евреев, если таковых будет мало, то антисемитизм сойдет на нет. Несмотря на все старания Лоуэлла, квоту официально ввести не удалось, но ему удалось принять такие ограничительные меры, как квотирование стипендий по национальному признаку или же возможность отказа абитуриентам в приеме без объяснения причин.
Если обобщить воспоминания одноклассников о Роберте, то картина будет такой: умный, застенчивый, неловкий мальчик, плохо ладивший со сверстниками. Коммуникативные навыки начинают закладываться в раннем детстве, а за пару часов пребывания в воскресной школе вряд ли можно научиться находить общий язык со сверстниками. Ребенок, которым дома все восхищаются, ожидал чего-то подобного и в школе, но там его разносторонние познания, почерпнутые из книг, не вызвали восторга. Одноклассников раздражала демонстрация интеллектуального превосходства, а педагогам было трудно учить мальчика, значительно опережавшего своих сверстников в развитии. Вот пример того, насколько значительным было это опережение. Двенадцатилетний Роберт вступил в переписку с членами Нью-Йоркского минералогического клуба, которые предложили ему выступить с докладом и были очень удивлены, когда узнали о возрасте мистера Оппенгеймера.