Купец Матвей Опарин построил дом в конце 17 века в стиле древнерусского каменного зодчества.
Дом состоит из двух палат с высокими сводами, разделёнными сенями. На первом этаже располагался хозяйственный подклет, на втором — парадный, на третьем — деревянная жилая надстройка, которую разрушили в 18 веке. Позднее к зданию пристроили крыльцо с дополнительным помещением. Пристройка напоминала крыльцо собора с круглыми столбами и отражала высокий статус Опариных.
В 1670-х годах купцы Матвей Опарин и Семён Ершов были конкурентами. Борьба между ними отразилась на архитектуре города. Рядом с домом Опарина Ершов построил Благовещенский собор.
Церковь была больше и величественнее дома, и чтобы лишний раз на неё не смотреть, Опарин перенёс крыльцо на противоположную сторону к реке.
В 1720-х годам Ершовы разорились и просили у Опариных денег взаймы. Долг они не вернули и уехали в Ярославль. После этого Ершовых исключили из списка именитых людей Гороховца.
В 1783 году дом продали купцам Забродиным, в конце 19 века — купцам Селиным. В 1980−1982 годах палаты Опариных отреставрировали.
Сейчас в доме располагаются ЗАГС и архив.