Менее семи веков Лидский замок играл значительную роль в истории. В 1387 году польский король и великий князь литовский Ягайло принял в замке присягу от своего брата Скиргайло, князя полоцкого, в 1422 году в замке отпраздновали бракосочетание короля Ягайло с 17-летней Софьей Гольшанской, в июле 1506 года в стенах замка он принял причастие и было подписано завещание смертельно больным королем польским и великим князем литовским. В XIV веке. Стены Лидского замка не раз выдерживали натиск крестоносцев. Впервые они появились под стенами замка в 1392 году, когда болота вокруг укрепления сковало льдом. Во время правления короля Речи Посполитой Яна Казимира Лида получила Магдебургское право. Замок принадлежал государству и охранялся местной шляхтой. Здесь располагались оружейные склады и гарнизон. В середине XVII — начале XVIII века мирная жизнь города Лиды была прервана войной. Летом 1659 года замок был окружён со всех сторон 30-тысячным войском царского воеводы Ивана Хованского. Сильный удар замку нанесли шведы, которые в начале XVIII века. Обе башни были взорваны, и укрепление утратило своё стратегическое значение. Его стены постепенно разрушались. Однако в уцелевших помещениях хранились городские акты и проходили судебные процессы. Летом 1794 года замок практически полностью разрушился: в его развалинах повстанцы Тадеуша Костюшко сражались с царскими войсками. После пожара 1891 года, без всяких обсуждений, стены замка начали ломать, а кирпич и камни выставлять на продажу. Слухи о разборке замка дошли до Императорской археологической комиссии. В Лиду был направлен сотрудник Комиссии, Пётр Петрович Покрышкин. После его доклада Комиссия запретила трогать стены замка. В начале ХХ века были проведены работы по его укреплению. Была создана Строительная комиссия по ремонту Лидского замка. В период с 1909 по 1911 год западная, северная и восточная стены были приведены в надлежащее состояние; южная же стена, как наименее нуждавшаяся в ремонте, осталась без него.