Первую деревянную крепость в Рагните (Неман) построили в 1277 году. Крепость несколько раз сжигали и отстраивали заново. После очередного нападения литовцев Конрад Цоельнер фон Роттенштайн построил каменный замок в 1397–1409 годах.
В четырёхэтажном квадратном замке были ажурные ворота, окна, порталы, флигеля, внутренний двор и часовая башня высотой 25 метров. Помещения замка состояли из 11 больших залов, мелких подсобных помещений и подземных туннелей.
В 1825 году в замке разместили тюрьму, в 1839 — городской и районный суд, в 1849 — военный трибунал, в 1879 — административный суд.
Во Вторую Мировую войну замок сильно повредили и забросили.
На руинах Рагнита снимали фильмы «Двадцать дней без войны» Алексея Германа (1976) и «Я — русский солдат» Андрея Малюкова (1995). На съёмках замок подрывали, из-за чего от него остались руины.
В 2010 году Рагнит передали русской православной церкви.