Но успех одного всегда порождает противоречивые чувства у других. Множество талантов, обширные знания, связи с самыми могущественными людьми своего времени и головокружительная карьера не могли не вызвать у современников и потомков определенного отношения к этому человеку. У Герберта были как искренние друзья и поклонники, так и яростные противники. Последние либо хотели его убить, если обладали для этого возможностями, либо старались всячески опорочить, распространяя самые фантастические слухи. Многие считали, что в основе успехов нашего героя было что-то сверхъестественное. Не мог же сын простого пастуха законным способом стать главой всех католиков! Увлечение Герберта математикой, астрономией и другими науками, со многими из которых он познакомился в Испанской марке, придавали еще больше оснований подозревать Герберта в связях с потусторонними силами.
Первые слухи о связях Герберта с дьяволом и потусторонними силами, превратившиеся позднее в легенды, скорее всего, появились еще при его жизни. В следующие пару столетий они в том или ином виде с различной степенью детализации появляются во французских и английских хрониках, в художественной литературе и первых биографиях папы Сильвестра Второго. Слухи и легенды стали превращаться в прямые обвинения в связях с дьяволом. Легенды обрастали различными подробностями в зависимости от фантазии и пристрастий авторов. Герберту стали приписывать то, чего он никогда не делал и даже не мог делать. Его политические дела отошли на второй план, поэтому даже немецкие поэты, выступавшие в пользу императора, например, Вальтер фон Фогельвейде, стали обвинять папу Сильвестра в антиимперской политике, что было явной неправдой. Но за давностью лет забылись как заслуги, так и действительные проступки главного героя. Поэтому есть настоятельная необходимость разобраться в том, что же представлял собой этот человек на самом деле.