便成了高家实际上的掌舵人，因此引得高智昌极为不满。
这一日，高智昌与段正严饮酒，酒后仗着酒劲在宴席上大放厥词道：“段家为帝了不起，若无我高家保主，主子将作崖下鬼。如今皇帝本属我，是我父听阿爷言而让位段正淳。你段和誉当上皇帝，我就不服。”
此言一出，满座皆惊，而段正严更是当场下不来台，虽然段氏皇权式微，却也不容有人这般挑衅。很快高智昌便以忤逆罪被流放往拓南城。谁料这高智昌却也是倒霉，行至半途中时，便感染瘴疾而亡。
高智昌一死，引得其麾下亲信高伊和高何对段正严更为记恨。于是便趁着他入崇圣寺礼佛烧香时潜入寺中，暗中想要行刺。但以段正严的身手，两名寻常武将哪里近得了他的身？结果二人方一出手，便被段正严擒住。
当段正严在了解下情的缘由后，感念二人忠义，便赦免其罪，并想将二人收为己用。结果二人誓死不从，只言：“愿死以封后人。”随后坦然自尽。最终段正严感念二人忠义，为其建了义士冢，予以安葬。这番以德报怨的故事传开来，世人皆言段正严仁厚。