Нижний ярус башни построили в 1494 году в качестве колокольни кафедрального собора. Стены сложены из валунов на известковом растворе, толщина — 1,6 метров.
В конце 17 века башня сгорела, её отремонтировали и надстроили. В 1660 году на колокольне установили часы.
В 1738 году в городском пожаре сгорели шпиль и девять колоколов. Анна Иоанновна приказала восстановить башню из дохода выборгской таможни.
В 1753 году на башне установили новые часы с колоколом, приобретённые в Стокгольме. Механизм часов приводили в действие тяжёлые гири, которые спускались по деревянной шахте между маршами лестницы. Часовой механизм последний раз заменили в 1848 году, он работает до сих пор.
После пожара 1793 года по проекту Иоганна Брокмана к башне пристроили третий ярус и смотровую площадку в качестве пожарной каланчи. Высота башни стала 25 метров.
Екатерина II подарила городу набатный колокол, который сохранился на Часовой башне до наших дней.
В конце 18 века башня служила колокольней Спасо-Преображенского собора.
В 1974−1981 годах башню реставрировали. В 2000-х годах её консервировали от возможного обрушения.
Здание показывали в фильме «Земля Санникова», когда авантюрист Крестовский лез на башню с завязанными глазами. Её изображали художники 17 — начала 21 веков.