富冈旧名为「猴子」，是早期东海岸原住民由绿岛登岛的第一站，再由此处向海岸线迁居，地缘附近仍有尚留下部份遗址；当地原住民仍留于现今港区西南侧较高的海阶上，富冈渔港兴建之后，又有部份居民迁址到附近渔民的西侧海阶上，为昔日的富冈新村，多为汉人族群；以附近农业为生的居民则是沿街面而居住。