茶山位于曾文溪源头，原名叫作珈雅玛，意为「山腰上的平原」，是阿里山乡最南的村落。茶山地理位置虽偏远，但如果从高雄市那玛夏区（旧三民乡），或者嘉义县大埔乡上来，它却是进入邹族部落的第一站。

近年来，茶山以凉亭文化而远近驰名。走入村子里，到处可见各种样式的凉亭，加上周遭天然的溪谷流瀑，宛若花园部落。茶山虽然叫茶山村，不过村里的茶园却不多，据说当初这里栽种的是苦茶油树，所以才叫茶山。

茶山村的开拓历史里，相传最早的定居者是已消失的「达古布亚努族」。目前，村落内的梯田，还可以捡拾到石箭、石斧、石锄等器物，并且有切割整齐的石棺，因此村民确信早年的确有这个族居住。但在清朝时因内部战争，以及流行瘟疫，人口锐减，近乎灭族。仅留下山美村社（方）姓人家。