Усадьба стоит у некогда печально известного Владимирского тракта — дороги, по которой отправляли каторжников в Сибирь. Есть легенда, что именно поэтому Горенки так и называются (от слова «горе»), ведь только до этого места родные и близки провожали арестантов. Сама усадьба богата на историю и громкие имена. Сначала здешними местами владели Долгорукие, а затем — Разумовские. Именно потомок преданного фаворита Екатерины II А. Г. Разумовского граф Алексей Кириллович Разумовский в конце XVIII века построил в Горенках дворцово-парковый ансамбль. Граф отличался особой любовью к ботанике, его называли русским Карлом Линнеем. При нем Горенки превратились в крупнейший ботанический центр России, где были собраны редчайшие растения со всего мира. Это был «золотой век» усадьбы.
В XIX веке Горенки короткое время принадлежали другой известной русской фамилии — Юсуповым. Затем промышленники Волков и Третьяков устроили здесь прядильную фабрику, в советское время здесь находился горисполком и детский дом, а сейчас это территория санатория «Красная роза». От дворцового комплекса сохранился главный усадебный дом, построенный, предположительно, архитектором А. А. Менеласом в 1780–1790-х годах, соединенный с флигелями большой колоннадой, и усадебный парк с полуразрушенным искусственным гротом, а также полукруглая подъездная аллея со служебными постройками.