Кремль возвели в 1152 году по приказу Юрия Долгорукого. Крепость окружал вал высотой 7 метров, который сохранился до сих пор.
В 1230–1234 годах внутри кремля построили Георгиевский собор, архитектором был князь Святослав Всеволодович. В 15–19 веках храм не раз перестраивали, от первой постройки сохранилась стена с изображением колонн и святых.
Следующим в кремле построили деревянный Михайло-Архангельский монастырь — в 13 веке, точная дата неизвестна. Каменный храм построили в 1560 году. В 1920 году в монастыре разместили исторический музей, который работает до сих пор. С 2006 года часть монастыря вернули верующим, а в другой части остался музей.
В 1968 году в кремль перевезли из села Егорье деревянную церковь 1718 года, чтобы отреставрировать и сохранить. Осмотреть церковь можно снаружи.
В 1915 году на деньги горожан в кремле возвели ещё один собор — Троицкий. После 1917 года собор закрыли и забросили, сейчас реставрируют.
Ещё в кремле есть мемориал солдатам, погибшим в войне 1945 года, дома местных жителей. Осмотреть кремль можно бесплатно.