明永历十五年(1661)，郑成功来台驱荷，并迁居热兰遮城，故名王城。清康熙二十二年(1683)，台湾纳入清国版图，王城丧失其地位，设军装局。同治十年 (1871)军火库爆炸，城垣倾圮，清同治十三（1874）沈葆桢有鉴于沦为残迹的台湾城军事价值已失，遂大量拆除台湾城砖石为兴筑二鲲鯓炮台（今亿载金城）所需建材，至此台湾城仅余断垣残壁。日明治三十年（1897），为建造安平海关宿舍，就残迹之上另筑高台，其上在建西式洋楼，改称安平古堡，此时台湾城原貌尽失，空留一堵残墙为历史见证。（施添福，1999：48页）然依日昭和11年（1936）栗山俊一绘制之复原图推测，角（外）城似有内、外城壁，此外，除已经指定者外，当时外城尚有五段残迹。