Первую деревянную крепость в Рагните (Неман) построили в 1277 году. Крепость несколько раз сжигали и отстраивали заново. После очередного нападения литовцев Конрад Цоельнер фон Роттенштайн построил каменный замок в 1397–1409 годах.

В четырёхэтажном квадратном замке были ажурные ворота, окна, порталы, флигеля, внутренний двор и часовая башня высотой 25 метров. Помещения замка состояли из 11 больших залов, мелких подсобных помещений и подземных туннелей.

В 1825 году в замке разместили тюрьму, в 1839 — городской и районный суд, в 1849 — военный трибунал, в 1879 — административный суд.

Во Вторую Мировую войну замок сильно повредили и забросили.

На руинах Рагнита снимали фильмы «Двадцать дней без войны» Алексея Германа (1976) и «Я — русский солдат» Андрея Малюкова (1995). На съёмках замок подрывали, из-за чего от него остались руины.

В 2010 году Рагнит передали русской православной церкви.

Карта интересных мест России