Позже в своих воспоминаниях Пирогов так описывал Иноземцева и свои отношения с ним: «Ф. И. Иноземцев, был как и я, по хирургии, с тем только различием от меня, что, во-первых, это был уже человек лет под 30, не менее 27-ми, 28-ми, а во-вторых, он был несравненно опытнее меня и более, чем я, приготовлен. В Харьковском университете в то время учил весьма дельный профессор хирургии – Н. И. Еллинский. Иноземцев не только ассистировал ему при разных операциях, но и сам уже делал одну операцию (ампутацию голени). Это разом ставило его головою выше меня и в моих глазах, и в глазах других товарищей. Иноземцев и с внешней стороны был гораздо представительнее меня. Высокий и довольно ловкий брюнет с черными блестящими глазами, с безукоризненными баками, одетый всегда чисто и с некоторой претензией на элегантность. Иноземцев легко делался вхожим в разные общества и везде умел заслуживать репутацию любезного и милого человека, доброго товарища и отличного парня. Немудрено, что я начал ему завидовать. Это скверное чувство особливо выражалось в моем дневнике, который я некоторое время вел тогда очень аккуратно».
В дневнике Пирогова описана такая ситуация: «Однажды, – я жил тогда еще у Мойера, – я простудился и заболел. Мойер приходит навестить меня и намекает мне довольно ясно, что я порчу себя питьем водки; после такого намека я, взволнованный и еще больной, являюсь к Екатерине Афанасьевне Протасовой и говорю, что я не могу долее оставаться в их доме, так как я заподозрен в пьянстве.
Старушка ахнула:
– Откуда это, батюшка, такое взял?
Я рассказал. Потом вышло, что Иноземцев стороною намекнул что-то, где-то, как-то, что я склонен к злоупотреблению спиртными напитками. Действительно, Иноземцев видел меня раза два навеселе вместе с Шуманским, от которого я в первый раз и узнал вкус водки. Долго я не мог простить Иноземцеву этой сплетни. Мы жили в течение четырех с лишком лет вместе в одной (довольно просторной) комнате в клинике; но наши лета, взгляды, вкусы, занятия, отношения к товарищам, профессорам и другим лицам были так различны, что, кроме одного помещения и одной и той же науки, избранной обоими нами, не было между нами ничего общего.
Меня досаждало еще то, что вечером к Иноземцеву приходили, по крайней мере, раз или два в неделю в гости три или четыре товарища из наших или других русских, которые все знакомы были коротко с Иноземцевым. При чаепитии, курении табака (которого я тогда не терпел) начиналась игра в вист, продолжавшаяся за полночь и мешавшая мне читать или писать.