据西园杨氏族谱《祠堂记》云：“原夫祖祠之设所，以崇报本追远之意，亦所以全敦宗睦族之谊。此虽虞夏、商周之世，莫不追崇祖以作届为急急（疑“急”为“念”之误）也。吾祖自明万历间肇基西园，未尝建造祠宇以为春秋祀事之地，为孙子者能无履霜露而有感念本始而滋愧乎？以故（于）辛未春（编者注：清光绪七年春）佥议：将素所积之公项卜吉兴工维持倡造。裔孙光惟、光玩等力任斯役，族人亦同心协力。秋七月廿二日卯时鼎建，而祠宇得以告成，神主有所凭依。岁（次）同治乙亥八月，合族请奏龙音，奉主进祠，设立祀先之制，用伸（申）荐亲之仪，使昆季于春　秋尝之日咸得聚族而处，序昭穆，明人伦，欺（疑“欺”为“以”之误）报追（远）之意诚，而敦睦之谊亦厚，岂非吾辈之所深幸也夫（乎）！”
　　西园杨氏宗祠坐壬（北）向丙（南），两厅总面积约600平方米。在200余年的风雨侵蚀后，宗祠两厅均已不同程度受损，于是族中董事遂在公元1987年丁卯夏月佥议葺修事宜，于是年荔月将宗祠进行修葺。
　　西园杨氏宗祠于十年文革中遭受极左路线洗劫。祠中龙牌（祖牌）、祖像、供桌、椅子等神器什物咸被毁弃。如今，宗祠只具空旷的前后两厅包括戏台而已。