Во 2 половине XVIII века при перестройке города по регулярному плану губернатор А.П. Мельгунов решил разобрать башню на кирпич для постройки Дома призрения ближнего. Купечество предложило Мельгунову поставить для строительства 15 тысяч штук кирпича с тем, чтобы сохранить башню со святым образом. С восточной стороны башни была построена каменная часовня, где во 2 пол. XIX века устроили храм, освященный во имя иконы Знамения Богоматери. Новый храм построен по проекту архитектора А.А. Никифорова в «древнерусском стиле». Скромное декоративное убранство, завершение - изящная золоченая главка на тонком барабане (восстановлена в 1990- гг.). Храм был приписан к Кирилло-Афанасьевскому монастырю. Сейчас в нем размещается народная киностудия " Юность".