Пустынь составляют монастырь, часовня и святой источник. Она носит имя Феодосия Кавказского, в миру Кашина, который родился в 1868 году.
Сначала Феодосий служил на Афоне, откуда его выгнали местные монахи за то, что он, якобы, укрывал в своей келье женщину. Монастырская братия закопала Феодосия в навозной яме, но явившаяся Богоматерь подсказала, как выбраться.
После Афона Феодосий отправился служить в Константинополь, затем в Иерусалим и на Кавказ. Здесь Феодосий стал известен и почитаем как местный святой. Поэтому владикавказский митрополит Гедеон предложил Синодальной комиссии по канонизации святых причислить Феодосия к лику святых, но из-за случая на Афоне комиссия отказала. Митрополит Гедеон обращался в комиссию ещё пять раз, но безрезультатно.
По местной легенде, когда Феодосий служил в пустыни, он молился, не вставая с колен, семь дней. После молитвы на этом месте появился святой источник, вокруг которого построили колодец. Источник можно посетить в любое время, а часовню — во время богослужений.