Первое упоминание о дворце на этом месте относится к XIV веку и с тех самых пор он является резиденцией краковских епископов. Нынешняя версия здания появилась и оформилась в XVI-XVII веках. Во время пожара 1850 года дворец сильно пострадал, но сохранилась часть старинной мебели. Восстановленный в 1881–1884 годах, дворец является примером польской архитектуры XIX века с вкраплениями отдельных более древних элементов, среди которых ренессансный портал въездных ворот и аркадная галерея XVI века, расположенная во внутреннем дворике. Там же установлен памятник Иоанну Павлу II (скульптор Ионе Сенси Кроче), жившему во дворце в 1958–1978 годах. Он останавливался во дворце и после избрания на папский престол и проводил неформальные встречи с верующими, появляясь в папском окне – оно расположено над порталом и отмечено портретом Иоанна Павла II.