Это также бывшая территория императорского дворца, на которой находился замок Эдо, практически разрушенный во Вторую мировую войну американской авиацией. В сад ведут три публичных входа: с востока, северо-востока и севера. С этих сторон сад окружён крепостным рвом, и через него перекинуты мосты. Если вы идёте от площади перед императорским дворцом, удобнее всего восточные ворота, Отемон (Ōte-mon), когда-то главный вход в замок. В Хигаси-Гёен можно без особенного напряжения провести пару часов. Во-первых, её центральную часть занимают ландшафтные сады, в которых к тому же весной что-нибудь цветёт. Во-вторых, у восточного входа расположен выставочный зал, где размещаются временные выставки по истории Токио и императорского дворца. В‑третьих, на территории парка сохранились три последние башни замка Эдо, пережившие войну. Единственная из них трёхярусная башня, Фудзими-Ягура (Fuji­­mi-yagu­ra), находится в юго-западной части парка и производит довольно сильное впечатление. В верхней части парка, из которой когда-то (до застройки Токио небоскрёбами) можно было наблюдать волны в Токийском заливе, сохранились остатки главной башни (ten­shu­dai).