Богатейший гороховецкий купец Семён Ершов построил дом в 1680-х годах. Это купеческие палаты в стиле древнерусского каменного зодчества.
Трёхэтажный дом с подвалом расположен у подножия Пужаловой горы. Третий этаж был деревянным, в конце 18 века его заменили каменным. Фасады, стены и лестницы украшены русским узорочьем.
Дом ограждают 3-метровые дубовые ворота — единственные во Владимирской области деревянные ворота 17 века.
Семён Ершов занимался винными откупами, имел солодовни, винокурни, мельницы. Купец поставлял товар в Среднее и Нижнее Поволжье, на Северную Двину, в Москву. В 1721 году Клим Ершов взял у купца Фёдора Опарина 500 рублей взаймы, но не вернул и уехал в Ярославль.
В конце 18 века Ершовых исключили из числа именитых жителей города и хозяевами дома стали купцы Ширяевы. В 1820−1930 годах палатами владела династия Сапожниковых.
В 1981 году в доме Ершова открылся Гороховецкий историко-архитектурный музей. На первом этаже музея показывают предметы быта, торговли и хранения припасов. На втором находятся сени, девичья, комнаты хозяина и хозяйки, красная палата. На третьем этаже — макеты и рисунки старинных домов Гороховца, план города.
Посетители участвуют в мероприятиях, посвящённых Рождеству, Масленице, святкам, Дням якуша и купца, Празднику самовара. На мастер-классах учатся делать набойки на ткани, расписывать деревянные ложки, изготавливать Гороховецкие плотницкие игрушки.