В 1852 году Иохим уезжает в Ганновер, чтобы занять место концертмейстера придворного оркестра. Здесь в Ганновере в полной мере развернулась педагогическая деятельность великого скрипача. В педагогике Иоахима технологии игры отводилось незначительное место. Об этом писал и Ауэр, занимавшийся в Ганновере: «Иоахим редко входил в технические детали, никогда не объяснял ученикам, каким способом достичь технической легкости, как добиться того или иного штриха, как играть некоторые пассажи. Во время урока он держал скрипку и смычок и, как только исполнение учеником пассажа или музыкальной фразы его не удовлетворяло, гениально играл сам сомнительное место… Он редко выражал ясно свою мысль, и единственным замечанием, которое он произносил, сыграв неудавшееся ученику место, бывало: «Вы должны это играть так!», сопровождаемое ободряющей улыбкой. Там в Ганновере Иоахим создал и несколько произведений, в том числе Венгерский концерт для скрипки с оркестром – самое лучшее свое сочинение.
В мае 1853 года начинается дружба Иоахима с Робертом Шуманом. Позднее Шуман посвятит Иоахиму «Фантазию для скрипки». Тогда же Иоахим познакомился и с Брамсом, в то время еще неизвестным композитором. Иоахим сыграл большую роль в жизни Брамса, много сделав для признания его творчества. Брамс же оказал на Иоахима большое влияние в художественно-эстетическом плане. В 1855 г. Иоахим перешел в протестантство, однако никогда не пытался скрывать свое еврейское происхождение. В 1864 г. покинул придворный оркестр Ганновера в знак протеста против дискриминации скрипача-еврея И. М. Грюна. В 1868 году Иоахим поселился в Берлине. Через год он стал директором открывшейся консерватории и занимал пост до конца жизни. Среди его учеников: Л.С.Ауэр, В. Бурместер, Б. Губерман и др В Берлине Иоахим был постоянно окружен почетом и уважением, к нему стекались ученики со всех концов мира. Музыкант вел напряженную концертную – сольную и ансамблевую – деятельность. В 1869 основал струнный квартет, считавшийся одним из лучших в мире. Гастролировал в Англии, Франции, Австрии, России.
Иоахим сыграл выдающуюся роль в распространении и популяризации произведений Баха и Бетховена. Их пропаганда стала делом всей его жизни. Был выдающимся интерпретатором классической музыки. Исполнительская деятельность Иоахима стала эпохой в скрипичном искусстве. Автор сочинений главным образом для скрипки, в том числе 3 концертов (наиболее известен №2 «в венгерском стиле»), фортепьянных пьес и обработок «Венгерских танцев» для скрипки и фортепьяно, он написал скрипичную школу. Иохим виртуозно играл Бетховена. Недаром Бонн, родина Бетховена, дал Иоахиму в 1906 году звание почетного гражданина. И как раз то, на чем срываются другие исполнители – бетховенские адажио и анданте, – именно они давали Иоахиму простор развернуть всю свою художественную силу.