Показательно, что и в самом доме Шереметева иностранная обстановка вытеснила отечественные предметы быта и обихода, сообщая всем покоям неповторимый стиль. Эта обстановка, включающая в себя и произведения западного искусства, приобреталась главным образом во время заграничных походов.
Современники-россияне так живописали его портрет: «высокий, красивый мужчина, с правильными чертами лица, открытым взглядом, мягким голосом, с привлекательными манерами, приятный в общении», отмечая такие его особенности как любезность и выдержка. Лестно отзывались о нем и иноземцы, называя его «наиболее культурным человеком в стране» и даже «украшением России». При этом Шереметев был начисто лишен самохвальства и чванства. Иногда, проезжая по улицам Москвы в золоченой карете четверней, окруженный гайдуками и скороходами, он замечал идущего пешком бравого офицера, ранее служившего под его началом; тогда он приказывал остановить карету, выходил из нее и шел пожать руку своему старому товарищу по оружию. Такая открытая приветливость знатного вельможи древнего рода сильно контрастировала с надменностью «полудержавного властелина», сына конюха Меншикова, высокомерного и заносчивого.
Личная жизнь Шереметева сложилась непросто. Историк XVIII века Герард Фридрих Миллер писал: «Борис Петрович не токмо воинскими подвигами, но и любовными предупредил несколько свои лета», женившись в 1669 году, всего семнадцати лет от роду. Зато вторая женитьба Шереметева, осуществленная по велению Петра I (в ответ на просьбу первого постричься в монахи), состоялась поздно, а именно, когда овдовевшему Борису Петровичу было уже 62 года. Царь самолично нашел ему жену, не только молодую и красивую, но еще и свою родственницу – 26-летнюю вдову Анну Петровну Нарышкину. От этого брака у Шереметевых родилось пятеро детей.
Шереметев, так же, как и другие первосановники того времени – граф Федор Апраксин, канцлер граф Гавриил Головкин, боярин Тихон Стрешнев, давал дома роскошные открытые обеды для царя и дворянства. За столом у него ставилось не менее 50 приборов, даже в походное время; при этом принимался всякий, званый и незваный, одетый по-европейски, только с условием: не чиниться перед хлебосольным хозяином. Слава об этих обедах облетела страну; так что в языке эпохи появилось даже крылатое выражение «жить на Шереметев счет» для обозначения дарового существования.