昆慈堂的位置，就是日治时期鹿野移民村内的神社所在地，因此其外围有许多当年栽种的老树。原本的日本神社早已不见踪迹，只剩下一处基座，上方改建成一座凉亭。光复初期，日本人将神社内奉祀的神明请回日本，当地的居民就在神社原址奉祀土地公。到1953年时，有村民请来妈祖奉祀；1958年时，又迎「瑶池金母」令旗入祀。由于参拜的信徒越来越多，原有的庙堂空间过窄且太过简陋，因此在1980年集资改建，成为今日昆慈堂庙殿的样貌。 

1960年昆慈堂尚未改建之前，当时尚未剃度出家的证严法师，曾随师父在昆慈堂挂单修行2个月。因此现在在昆慈堂，也常可见由证严法师一手创立的慈济功德会会员，前来追念多年前的这段殊胜因缘。