В 1968 году начал изучать минералогию в Вестфальском университете имени Вильгельма в городе Мюнстер. Беднорц в своей автобиографии отмечает, что вынужден был сменить факультет из-за атмосферы, которая царила на факультете химии. И выбрал кристаллографию (раздел минералогии) потому, что она находится между химией и физикой.
Беднорц принимает решение поехать в Швейцарию и это определило направление дальнейшей его жизни. Он стал членом физического факультета под управлением Алекса Мюллера, к которому он относился с великим почтением. В лаборатории Беднорц работал под руководством Ханса Йорга Шееля, обучавшего Йоханнеса основам химии твердого тела. Позже он получил большую свободу и мог проводить опыты самостоятельно.
Во второй раз Беднорц посетил лабораторию в 1973 году. А в 1974-ом приехал на 6 месяцев, чтобы сделать экспериментальную часть дипломной работы над кристаллическим ростом SrTiO3, снова под руководством Ханса Йорга Шееля. Рост перовскитов был областью, которая интересовала Алекса Мюллера, и он поощрял Беднорца продолжать исследование в этой области.
В 1977 году Беднорц присоединился к Лаборатории физики твердого тела в швейцарском федеральном Институте Технологии (ETH) в Цюрихе и начал докторскую диссертацию под наблюдением профессора Хайни Грэнихера и Алекса Мюллера. Во время этого периода он начал более близко работать с Мюллером и они вместе сформировали новую концепцию физики твердого тела.
В 1974 году Беднорц встретил Матильду Веннемер, которая училась в то же время в университете Мюнстера. В 1978-ом она последовала за Беднорцом в Цюрих, а также начала работать в ETH, что способствовало их близким отношениям.
В 1982 году Беднорц окончил работу над ростом кристаллов типа перовскитов и исследования их структурных, диэлектрических и ферроэлектрических свойств и присоединился к IBM.
Тесное сотрудничество с Алексом Мюллером началось в 1983 году с поиска высокотемпературной сверхпроводимости. Совместный труд был тернист, пришлось много трудиться, но в итоге труд оказался успешным.
Наконец в 1986 году им удалось обнаружить сверхпроводимость в барий-лантан-медном оксиде при температуре 35 К (-238 °C) – на 12 К больше, чем температура сверхпроводимости, достигнутая когда-либо ранее. А в 1987 году Беднорцу и Мюллеру была присуждена Нобелевская премия «за важный прорыв в физике, выразившийся в открытии сверхпроводимости в керамических материалах».