Музей расположен в 60 километрах от Москвы в селе Абрамцево на берегу реки Вори. В 1580 году в имении были деревянный одноэтажный хозяйский дом, надворные постройки и большой парк, владел им помещик Волынский.
В 1843 году усадьбу купил писатель Сергей Аксаков, в 1870 — меценат Савва Мамонтов. При Мамонтове в имении существовал «Абрамцевский художественный кружок» — Илья Репин, Виктор Васнецов, Василий Поленов, Михаил Врубель, Михаил Нестеров, Исаак Левитан гостили у Мамонтова и создавали здесь свои шедевры.
В 1917 году усадьбу национализировали и превратили в музей. Первым смотрителем назначили дочь мецената Александру Мамонтову.
В 1977 году за Абрамцево закрепили статус Государственного историко-художественного и литературного музея-заповедника.