Борис Сергеевич был младшим из десяти детей в семье Сергея Васильевича Шереметева ( ) и его супруги Варвары Петровны, урождённой Алмазовой ( ). Детство его прошло в подмосковном имении Михайловское. В 1836 году он поступил в Пажеский корпус, по окончании которого в 1842 году начал службу в лейб- гвардии Преображенском полку. Выйдя в отставку, Борис Сергеевич в течение пяти лет путешествовал по разным странам, встречаясь с европейскими знаменитостями. С началом Крымской войны Шереметев вступил в дружину ополчения Московской губернии, где командовал ротой. В годах Борис Сергеевич избирался депутатом Дворянского собрания по Волоколамскому уезду. В годах предводитель дворянства этого же уезда.

Борис Сергеевич был большим любителем книг. Он унаследовал и продолжил наполнять библиотеку, которую в селе Волочаново собирали его дед и отец. Ещё одним увлечением Бориса Сергеевича была музыка. Первое музыкальное произведение было написано им в одиннадцать лет и было посвящено племяннице Вареньке, которой исполнился год. В 1859 году Борис Сергеевич написал романс «Я вас любил» на слова А. С. Пушкина и посвятил его графине Берте Мольтке. Им же были написаны романсы: «Еще томлюсь тоской» на слова Ф. Тютчева, «Средь шумного бала» и «Грядой клубится белою» на слова графа А. К. Толстого, «Мне не к лицу шутить» на слова кн. В…; «Марш, сочиненный в 1855 году для волоколамской дружины», «Полька e-moll», «Mazurka: Pour piano», «Pakrovsky-valse: Pour piano» и другие.