Гремячевские пещеры находятся на берегу реки Тетяковка, которую ещё называют Араповка — отсюда второе название. Пещеры сложены из кварцевого песчаника.
По разным версиям пещеры были убежищем древнего человека, каменоломней, временным укрытием, а в 15–16 веках — катакомбами крепости Гремячее.
Ещё пещеры называют Араповским пещерным монастырём. Крестьянин Яков Павлов открыл подземные проходы в 1849 году. Вместе с товарищами он прорубил скамьи, алтари и кельи и начал молиться в уединении. Местный священник обратился к властям из-за того, что горожане перестали посещать церковь и жертвовать деньги. Губернатор приказал уничтожить пещеры, но часть из них не засыпали.
Пещеры постепенно разрушаются из-за близости реки Араповка, вырубленного леса, обвалов и песчаных наносов.
Сохранилось 200 метров подземных тоннелей, в стенах есть ниши и лавки. Некоторые тоннели образуют помещения высотой 2 метра и площадью 4 квадратных метра.