富冈旧名为「猴子」,是早期东海岸原住民由绿岛登岛的第一站,再由此处向海岸线迁居,地缘附近仍有尚留下部份遗址;当地原住民仍留于现今港区西南侧较高的海阶上,富冈渔港兴建之后,又有部份居民迁址到附近渔民的西侧海阶上,为昔日的富冈新村,多为汉人族群;以附近农业为生的居民则是沿街面而居住。