Гора стала называться именем художника в 1972 году, когда у подножия открыли дом-музей в бывшем доме купца Солодовникова. Раньше гора называлась Петропавловской — по названию церкви, которую Левитан изобразил на картине над «Вечным покоем».
Деревянную церковь построили в 16 веке, в 1903 году она сгорела. В одной из деревень недалеко от Плёса нашли похожую — Воскресенскую, конца 17 века. Её перевезли на место сгоревшей. Церковь работает, её можно посетить.
На горе стоит бронзовый памятник Левитану — художник пишет картину, а на скамье сидит Софья Кувшинникова, которая была в компании с Левитаном и Степановым во время путешествия по Волге в 1888 году.
В одной из следующих поездок по Волге Софья познакомила Левитана с Турчаниновыми — с Анной и двумя дочерьми. У Левитана начался роман с Анной, Софья вернулась в Москву и больше не встречалась с художником.