灰瓦朱墙的美术馆为五层楼设计，入口处有吴炫三雕塑的杨三郎坐姿作画铜像，大师右执画笔，左托色盘，神情专注、尔雅谦冲。馆内一至四楼陈列杨三郎各时期代表作，涵盖山川景物、人物写生、旅游风光，属后期印象派画风，画作构图严谨，色彩丰富，近瞧是五颜六色的笔触，远观则物像分明，光影清晰；五楼为杨夫人个人画作，内容有瓶花静物、乡土园景，蕴蓄了七十余年的功力与画风，笔触细致，肌理流畅，风格优雅。整栋建筑充满一股文艺的芬芳与一种无法言喻的协调。紧邻馆旁莲池的白色木屋，是杨三郎生前的居所与画室，保留了网溪别墅部份原貌，融合了日式与欧式的典雅风格，老榕苍沛蓊郁；一楼为起居空间，清幽雅致，单斜大屋顶的二楼，北窗采光处系杨三郎生前画室，仍保留大师生前使用过的画具和物品，依原样摆置。隔着青枫、白玉兰的外墙，镶嵌着台阳美协艺术家王英信为杨三郎制作的褐铜浮雕「生命之光」与「仁者之牧」，诠释大师一生对艺术与生命的执着与付出─「纵使我们未能尽得所求，也要拥有一个丰盛的生命。」