前身为清嘉庆年间士绅赵顺芳、杨占鳖所创立之西雝社，又称文昌祠。于清光绪14年（公元1888年）兴建「磺溪书院」，招收现今之大肚、龙井、乌日三区子弟，实行启蒙教育。 
平面格局为两进、双护龙、七开间、带四垂拜亭之四合院，为清光绪年间典型之书院建筑。建筑材料采雕花砖、青石、泉州白、福杉等，精致华丽，足以媲美彰化道东书院。