杨素，四知堂主杨震第十六世孙，越公房人。生七子二女，其长子杨玄感反隋失败被满门抄斩，有一子逃往浙江东阳，其后人为东阳杨氏，有族谱，有祠堂。另一子逃往山西平定，始称平定杨氏，有一女携侄逃往山西曲沃县，后人迁往甘肃，始称曲沃杨氏。关于历史对杨素的评价，从下文中得解。

大唐证圣三年，一代女皇武则天下了一道很严厉的诏书，宣布前代的隋朝权臣杨素包括他兄弟的子孙后代，都不得留在长安担任京官及充当侍卫。
诏书一下，杨素一门后辈侄孙如杨元禧、杨元亨、杨元帏等一股脑被贬出京城，发配到边远荒凉之地担任地方小官。
事情的缘由是曾担任武则天御医的杨元禧得罪了武则天的男宠张易之，怀恨在心的张易之于是便找机会对武则天大吹枕边风，说杨素父子在隋朝时并不忠心（“有逆节”），他的子孙后代肯定也不是什么好东西，不适合留在天朝大唐仕官。
做君主的最担心的正是臣子不忠，尤其是武则天这种“逆天而行”的女主，武则天一怒之下，也顺便为了安抚“男友”，便下了这道诏书。诏书中有两句评论杨素一生的话最是触目惊心：生为不忠之人，死为不义之鬼。
凭心而论，事情的起因虽与政治斗争有关，但诏书的内容却基本上代表了唐人对其前朝——短命的隋朝——兴亡成败原因的基本认识：从唐太宗以来，大唐的君臣们都一致认为，隋朝之亡与隋炀帝的过份折腾有关，而鼓捣隋朝改易太子，让好矫饰、爱折腾的杨广登上皇位的权臣杨素正是这一切的罪魁祸首。
也确实，大隋朝在开国君主隋文帝的治理下，国力强盛、民生富足，对外，没费什么力气就让强盛一时的突厥俯首称臣，对内，二十几年积累起来的粮食、布匹等经过隋末反王李密、王世充们源源不断的掠夺，一直到大唐贞观年间都还没有用完。这样一个强大而富足的国家经过败家子杨广短短十几年的折腾生生给折腾到亡国，把杨广一手推上太子位置进而继承为帝的隋朝一号权臣杨素确实负有不可推卸的责任。
杨素性格复杂，身份多样、能文能武，堪称全才。他既是大隋朝“功臣莫居其右”的一时人杰，亦是朝堂上一人之下万人之上的头号权臣，但他最后在史书上留下的评价却是陷害忠良、打击异己，“致国于倾危”的一代权奸，在民间各种评书、戏曲传说中亦是铁板钉钉的白脸奸臣。
在喜欢给历史人物脸谱化的中国，杨素的白脸形象似乎已难再改，然而，在拨开历史的层层迷雾之后，我们又发现，杨素似乎长有另外一幅完全不同的脸谱，他宽容大度、不拘小节，不但是善于挖掘人才的伯乐，更是接连促成几段爱情佳话的好人，隋唐之际产生的“破镜重圆”、“风尘三侠”、“牛角挂书”等几段佳话皆与他的名字挂上关系。
在杨素身上，我们似乎可以看到天使与魔鬼两幅截然相反的面孔！
冷血名将

杨素跻身历史舞台，最初凭的是以武人身份立下军功。
作为大将，他的统兵作战方法十分独特残忍，每次大战前都要在军中借故找一些犯错的士兵出阵斩首，多者百余人，少者也不下十几个。还未开打，己方这边就先人头齐刷刷落地，流血盈前，杨素却能做到眉头都不皱一下，照样谈笑自若，而他这样做的目的竟然是为了鼓舞士气。
两军对阵，他从不指挥整军压上，而是先派个一二百人上去厮杀，务必要求取胜，不能取胜而败下阵来者，无论剩下多少人，立刻全部斩首于阵前。继而再派几百人上去厮杀，如前而战，不能取胜的再全部斩首，直到取胜为止。
这种极为罕见的战法，历代兵法中唯有《尉缭子兵法》曾提过，但将之用于实战的，仅杨素一人而已。这种战法历代以来虽一直为人所抨击，然而却令杨素终其一生，历经百战，罕有一败，因为在死亡的驱使之下，他的手下战士只要上阵必抱定必死的决心，反而更能激发内心的战斗意志，故此所向无前。
杨素的后人继承这种打仗不要命的家风，也曾为大唐开疆拓土献出一份力气，杨素侄儿杨弘武曾参加了唐太宗征伐高丽的作战。整体而言，英明神武、打仗能力被视作历代帝王之中佼佼者的唐太宗对整个征辽作战亦是办法不多，但是杨弘武的骁勇却让他眼前一亮，以至大唐天可汗都连声赞叹：“越公儿郎，故有家风矣！”
这种冷酷的战法也得到大唐名将李靖一定程度的认可，李靖曾得到过杨素的提携，他在自己的兵法《李卫公兵法》中曾如是道：“古之名将，十卒而杀其三者，威振于敌国；杀其一者，令行于三军。”当然李靖有没将这种战法引入自己的实战中就不得而知了，但李靖在大唐一朝往往凭少数人马即能取得巨大胜果却是不争的事实。
凭着这种残忍的战法，杨素统兵战无不胜，甚至，在跟突厥这种天生的骑兵作战时，杨素都豪气冲天，居然放弃常规的车战战法，直接跟突厥比拼骑兵对骑兵的正面交锋，一仗打得突厥达头可汗的十万铁骑号哭而去。
隋朝素有四大名将之说，分别为韩擒虎、贺若弼、杨素、史万岁，但是头两人只在统一南北的作战中狠狠闪光了一把，之后就几无出场机会，史万岁经历坎坷很少有机会独当一面，只有杨素一人，终大隋一朝，无论是内定叛乱还是外击强敌，始终行走在战斗的最前沿，而且从无失手，每战必胜，令大隋帝国四面平静，边塞无烟。
宋朝有一本著名的兵书《何博士备论》在谈到杨素时曾曾由衷地赞叹：“素之兵未尝小衄，隋功臣无与比肩者，其为烈亦至矣。”
凭借战功的不断累积，杨素很快荣升到尚书右仆射（相当于右丞相）的位置，与隋朝第一名臣高颎共掌朝政，成为朝臣中的二号人物。
然而，杨素尽管打仗厉害，号为名将，但至于治国理民就远非其长了，尤其是跟高颎相比，在政务方面他就远远不如。从这个时候开始，为了谋求更高、更荣盛的地位，杨素努力钻营，大耍奸计，由“功臣莫居其右”的一时人杰，来了个华丽的转身，向“致国于倾危”之一代奸雄转变。
一代权奸

翻开《隋书》，有个现象令人不得不关注，那就是在列传中排名靠前的十几号人（都是主要功臣），几乎没有一个落得善终，究其原因，乃是因为隋文帝虽有雄才大略，却一向刻薄猜忌，加上大隋江山本是从北周的孤儿寡母手上夺来，名不正言不顺，故此隋文帝向来对群臣防范很深，晚年猜忌尤重，一干重臣，先后以各种小毛病或斩或黜，最后连被隋文帝视若亲子的“真宰相”高颎都无法避免。功臣之中，唯独杨素没有遭到厄运，反而一路高升，成为头号权臣，其个中原因，不得不察。
从隋朝名将史万岁之死，可瞧出杨素行事之阴狠毒辣。在隋朝四大名将里数史万岁经历最为特别，因为他完全是靠着一刀一枪从底层干起才有此地位，但是这样一个百战名将，在杨素陷害之下，竟是以在众目睽睽的朝堂之上被当场活活打死的方式落幕。
史万岁曾作为杨素的副手参与平定江南的叛乱，因战功卓著得到一步步高升，后来突厥犯塞，他被授予跟杨素等同的军权统兵出战，立下比杨素高得多的军功。杨素忌其功劳在己之上，便向隋文帝献馋说其实突厥人早就投降了，史万岁完全是为了邀功而向毫无准备的突厥人进攻，结果史万岁不仅有功不赏，反而在隋文帝心里留下极恶劣的印象。
随后，借着隋朝太子杨勇被废一事，杨素假称史万岁没有在朝堂上候旨，而是跑去拜谒东宫。是时隋文帝正在追查太子余党，一听此言，怒火攻心，立即将史万岁传来定了一个“怀诈要功”的罪名，命人当堂活活打死。
史万岁之死，如李广将军自杀一样，消息传出，天下之人，知与不知，莫不为其鸣冤流涕。从这个事件即可看出，杨素之“奸”已经到了怎样一个地步。
史载，杨素当政后，朝臣中稍有不肯附和者，即便至诚体国如名将贺若弼、史万岁者，如名臣高熲、李纲、柳彧者，都遭到杨素的暗中陷害排挤。很多同僚之所以下马，背后总能看到杨素施展黑手在运作，更有一些人，因为十几年前一些鸡毛蒜皮的小事得罪过杨素，也被当权后的杨素找到机会公报私仇、打压报复。
然而，杨素一生最大的罪名并非上述这些案例，而是改易隋朝太子一事。
隋文帝与独孤皇后一共生有五个儿子，长子杨勇在隋朝立国之初即被立为太子，后来的隋炀帝杨广排行第二，帝位本没有他的份，但他通过与权臣杨素勾结，终于将哥哥搞下马，夺得了这个本不该属于他的帝位。
杨勇当了二十年太子，其实并无大过错，除了花钱稍微大手大脚一点之外，如果他能顺利继承皇位，最多生活奢侈一点外，应该能将富足而强大的隋朝国祚延续下去，至少不至于像二弟杨广那样落得个二世而亡。
他一生最大的缺憾即是碰到了一个极品的老娘。那老娘独孤皇后奇妒无比，不但不让自己的皇帝老公染指其他女人，连做臣子的跟小妾生了儿子都能惹得她醋意大发，因此即便自己儿子的感情问题也要吃醋，因杨勇基本上没跟正妻有什么感情反而跟小妾们生了一堆儿女，万恶淫为首，杨勇在她眼里简直成了荒淫好色的夏桀商纣的代名词。
隋文帝这个著名的“妻管严”患者向来是惟老婆马首是瞻，加上他本人一贯勤俭节约（甚至可说小气吝啬），对杨勇的很多做法也看不惯，因此对长子杨勇的印象自然越来越差。
作为杨广一党的权臣杨素，便是抓住这难得的一点空隙，不停地诋毁太子杨勇，不停地在隋文帝耳边鸹噪杨勇这个不是那个不是；另一边又不停地暗示晋王杨广如何的贤如何地好（生活作风优良、不听歌不泡妞、礼贤下士、孝敬父母等）。久而久之，杨勇便成了比刘阿斗还昏庸、比陈叔宝还败家，将来早晚会断送大隋江山的不合格储君，而晋王杨广则毫无疑问成了唯一适合接替他的人选。
公元702年，隋朝改易太子一事终于尘埃落定，杨勇被取缔太子身份，废做“庶人”（连普通皇子的身份都没有了），未来将使劲折腾大隋朝一直折腾到亡国的杨广，正式做了太子，历史，在杨素一手操纵下，狠狠地拐了个大湾。
杨素在这个过程中所扮演的不光彩角色，注定了他今后一生都只能被钉在历史的耻辱柱上，被千秋万代的人们所唾骂。唐太宗曾在一道《谕侍臣绝谗构论》中痛斥杨素：“隋太子勇抚军监国，凡二十年，早有定分。杨素欺主罔上，贼害良民，使父子道灭，逆乱之源，自此开矣。”
杨广做了太子，他的其他兄弟马上有人表示不服，杨广立刻又联络杨素，由杨素出面，罗织罪名，将三弟蜀王杨秀废做庶人。
满朝文武，除了驸马梁毗还敢上书弹劾，已无一人敢出头，梁毗怒斥：“太子，蜀王两位皇子被废罪之日，百僚无不震竦，唯杨素反倒扬眉奋肘，喜见容色，此乃利国家有事以为身幸也。”
然而，杨素权势已极，终无法被撼动半分。
最后，连隋文帝之死，都与杨素挂上关系。
关于隋文帝之死，史书虽然闪烁其词，并没有明言说是被杨广所弑。但是综合来看，杨广一党终究难逃嫌疑，而作为杨广首席帮凶的杨素，一直被视作具体行动者，受到后人万世之唾骂，武则天诏书里说他“生为不忠之人”指的正是此事。
成人之美

在这些作恶多端的外表之外，杨素似乎长了另一幅面孔，他赏识新人、奖掖后辈，积极挖掘人才，更让人感动的是他不爱美色识英雄，为了提拔后进，甚至不惜送走自己宠爱的女人接连促成了好几段爱情佳话。
第一个与杨素有关的爱情佳话即是著名的“破镜重圆”故事。
杨素作为统一南北作战的主要将领之一，立下了重大军功，事后论功行赏，奖品包括一个绝世美人——陈后主的妹妹乐昌公主。
乐昌公主以其美貌和贵族气质很快赢得杨素的专房宠爱。
然而有天，杨素却发现美人失去了往日的神采，眉宇间总透出一股无法掩盖的忧伤，疑惑之下杨素追问事情原委。不问不知道，一问吓一跳，原来，公主的前夫找上门来了。
原来，陈朝亡国之前，乐昌公主的原配丈夫徐德言就早早预料到国家命途多桀，早做准备，他与妻子做了一个约定：以夫人之才貌，倘若国亡你必然流落到权豪之家，那时你我恐怕会永远分离，倘若我们缘分未绝，还有机会相见，应该有一个信物。
信物，即是一面打破成两半的铜镜，夫妇俩各执一半。
事后，果如徐德言所预言的那般，陈朝亡国，美貌的皇族乐昌公主被作为战利品送到长安，并被隋文帝赐给功臣杨素，而徐德言则侥幸逃过兵灾，捡了一条命在。
但是，夫妻俩恩情未绝，徐德言流离失所，历经千难万苦，终于从江南来到隋都长安，并按照事先约定的方式以那半面铜镜与乐昌公主的家奴对上了号。乐昌公主得知此事，且喜且忧，喜的自然是前言未忘，夫妇仍有团聚的可能，忧的是侯门一入深似海，越公杨素家的高墙大院阻隔了两颗依然相恋的心，怎么办？难道跟杨素直言了吗？以他对自己的宠爱，知道自己心里还记挂着别人，男人身上易见的嫉妒之心会不会让他一怒之下杀了徐德言？公主辗转反复，不敢如实向杨素说明，只得偷偷哭泣，数日不食。
就在公主心里忐忑不安之际，性情男子杨素却做了件她料想不到的事：听完故事后的杨素不但没有生气，反倒是动情地怆然改容，他立刻让人召来徐德言，令其与公主相见，然后赐宴，在宴会上当堂宣布，将乐昌公主送还徐德言，顺道还赠送了大量财物。
故事的最后，她与徐德言偕老于江南老家，“破镜重圆”遂如最圆满的童话一般，成为千百年来最为人们津津乐道的故事之一。唯一让人稍感遗憾的地方是，故事背后那个成人之美的杨素，如大多数做好事不留名的人一般，往往被人忽略。
顺便一提的是，隋文帝宠爱的宣华夫人也是乐昌公主的亲姐妹之一，但她显然没有乐昌公主的好运气，碰得到杨素这样的男人，她在隋文帝还没死透的时候就遭到杨广的性骚扰，隋文帝死后的当夜更是立刻被杨广霸占，不久羞愤而死。