Бывшая городская усадьба Вяземских-Шереметевых в селе Остафьево была построена в конце XVIII века при князе Андрее Вяземском предположительно по проекту зодчего Ивана Старова. Усадьба была литературным центром Москвы, где собирались ключевые фигуры Золотого века русской поэзии.
Место, где сейчас находится усадьба Остафьево, впервые упоминается в 1340 году в духовной грамоте Ивана Калиты. В то время данные земли принадлежали Прокопию Ляпунову, который и основал усадьбу. Во второй половине XVII века ее владельцем был князь Николай Львов и его наследники, в начале XVIII века — граф Петр Апраксин, затем — князь Яков Алексеевич Голицын и другие хозяева, но окончательный вид усадьба приобрела при князе Вяземском, все старые ее постройки были снесены, на месте каменного дома вырос дворец с флигелями. В Остафьево гостили Иван Дмитриев, Василий Жуковский, Василий Пушкин, там жил и творил Николай Михайлович Карамзин, женатый на старшей дочери Андрея Вяземского. Для него был построен отдельный флигель, где были написаны тома знаменитой «Истории государства Российского». После отца владельцем имения стал его сын Петр Вяземский, при нем усадьба превратилась в один из символов культурной жизни России, Вяземский был поэтом и другом Александра Пушкина, он посвятил родной усадьбе множество стихотворений. В его доме проходили собрания литературного общества «Арзамас», членами которого были Пушкин, Константин Батюшков, Денис Давыдов и многие другие литераторы и общественные деятели. Неоднократно посещал усадьбу Александр Грибоедов, он играл на сцене домашнего театра Вяземских, читал здесь «Горе от ума», а в 1849 году Остафьево посетил Николай Гоголь.
Последние владельцы усадьбы графы Шереметевы стремились сохранить для потомков дворянскую культуру, в 1899 году, к столетию со дня рождения Пушкина, они превратили усадьбу в общедоступный пушкинский музей. Однако при советской власти он был закрыт. И только в 80-х годах прошлого века усадьба Вяземских-Шереметевых опять получила статус музея.