杨绍公仙逝后，其诸子将其卜葬于长溪韩阳坂钱筒沃里山后，而唯次子杨简公尤孝，携眷侍母陈氏筑庐于溪之西而居焉。唐太极元年（公元712年），绍公诸子在其坟前建“高德堂”，立堂招僧。唐开元二十四年（公元736年），奉旨建立崇宁寺，后因僧员众多又建立崇圣寺。唐咸通元年（公元860年），将崇宁寺、崇圣寺两寺合并，重建崇仁寺，永为杨氏功德道场，此“崇仁”之始名也。元朝末年，兵患四起，崇仁寺化为灰烬。明洪武年间（公元1368年～公元1398年），福安县志载，斯时全县佛寺有11所，崇仁寺仍废。崇仁寺现存一块明宣德三年（公元1428年）所立“慈庵和尚坟塔”石碑，可悉宣德年间崇仁寺颇盛。明景泰（公元1450年～公元1457年）至天顺（公元1457年～1464年）之若干年间，崇仁寺再度荒颓。明成化二十一年（公元1485年），永高和尚重建崇仁寺，规模宏大，建有“福安县崇仁寺重建之记”石碑。民国后期（约公元1947年前后），杨氏族人曾拟拆旧寺建新寺。中华人民共和国成立至土改时期（约公元1952年前后），新寺未竣复毁于风灾。今崇仁禅寺于公元1957年改建，公元1980年翻修，公元1990年续建天王殿。
　　杨简公于唐景龙三年（公元709年）始携眷侍母徙迁钱筒沃里山居焉，至元朝末年，崇仁寺毁于兵患，杨氏族裔亦惮于乱象频仍而悉数迁离钱筒沃里。此后，待乱象湮止，杨氏族人复在原址重建崇仁禅寺，而杨氏子息亦无居原地者也。历朝历代以降，崇仁寺以其说是禅寺，毋宁说是闽东及浙南地区杨氏家族之宗庙耶。
　　杨绍公坟位于崇仁寺内，七位夫人墓则建于寺后山上。绍公坟坐壬向丙加子午三分，清乾隆二十八年（公元1763年）十一月吉修。绍公七夫人郑、柳、陈、林、张、蔡、赵之墓，坐子向午加壬丙，唐玄宗丙子即开元二十四年（公元736年）八月十五卯时葬，清乾隆二十八年（公元1763年）十一月吉修，道光二十七年（公元1847年）八月复修，公元1989年农历八月初二再修。据孟洋杨氏族谱（清乾隆二十九年修）载：清乾隆二十五年（公元1760年）正月二十五，枢洋人陈亦美趁夜盗迁吾祖杨绍公之柩，而将其父柩盗埋，被湖塘族人杨惟芳察觉，旋即联合各地宗亲，上告县衙，乾隆二十七年二月十六过堂，令陈于四月初八举迁棺柩返家，还吾祖墓地于吾族，乾隆二十八年（公元1763年）十一月，吾族宗亲重修祖墓。