По преданию, первый правитель Касимовского ханства царевич Касим построил мечеть в 15 веке. По другим данным, мечеть построил хан Шах-Али в середине 16 века.
В 1702 году Пётр I проплывал по Оке мимо мечети. Увидев высокое здание, он принял его за православный храм и перекрестился. Узнав об ошибке, царь разгневался и приказал разрушить ордынский храм. От мечети остался только каменный минарет 16 века.
По указу Екатерины II Бектемир-сеид и Бурхан-сеид Шакуловы построили одноэтажную мечеть в 1768 году. В 1835 году надстроили второй этаж.
С 1938 года в здании находится краеведческий музей. Сейчас здесь располагается фондохранилище.
В 2013 году мечеть передали мусульманской общине. На втором этаже находится молитвенный зал.