Дворец построен в 1776–1787 годах по проекту Матвея Казакова в стиле классицизма. Название связано с тем, что дворец изначально строился для двух департаментов Правительствующего сената, которые как раз перед этим были переведены из Петербурга в Москву. Впоследствии во дворце что только не размещалось — например, Московское архитектурное училище. После 1917 года тут находилось Советское правительство, и, в частности, в здании жил Ленин. Кабинет Ленина до 1994 года функционировал как музей, а потом был закрыт и вместе со всей обстановкой переехал в Горки Ленинские, где сейчас и находится. Дворец же стал резиденцией Президента Российской Федерации, доступа посетителей нет.