唐代苏鹗笔记小说《杜阳杂编》说，仰仗拥立唐肃宗、唐代宗的宦官李辅国，至宝应元年（公元762年）实现宰相梦后，更加“恣横无君” 。代宗李豫对他恨得咬牙切齿，却因他掌控军权不得不忍气吞声，便在梦中见他被别人所杀。

　　有一天晚上，唐代宗做了一个梦，见高力士率数百铁骑，用戟刺杀了李辅国，流了一地血。高力士率领的兵士“前后歌呼、自北而去” 。代宗派人追上去问缘故，高力士说：“他是奉唐明皇之令行事的。 ”梦醒之后，唐代宗也不敢说，直到“辅国寻为盗所杀” ，才将所梦之事告诉身边人。

　　其实，按苏鹗说法，李辅国覆灭前早有预兆：唐肃宗曾赐李辅国两块辟邪的香玉，高皆为一尺五寸，制作巧夺天工。“其玉之香，可闻于数百步” ，锁在“金函石匮” ，也不能掩住香气；“或以衣裾误拂，则芬馥经年。纵浣濯数四，亦不消歇。 ”李辅国把玉辟邪放在座位旁边，有一天，他正在梳洗，两个玉辟邪突然一大笑、一悲号。李辅国“惊愕失据” ，而那个笑的笑个不停、哭的哭得涕泪交加。李辅国“恶其怪” ，就把它们砸得粉碎，扔到厕所里。从此以后常听到厕所里有冤痛之声。李辅国所居住的安邑里，“酷烈弥月犹在” ，主要是玉辟邪摔碎成粉末后香味变得更浓的缘故。不到一年李辅国就被杀。当初李辅国摔玉辟邪时，他宠爱的奴婢慕容，“知是异物，偷屑二合” 。李辅国之后的又一专权大太监鱼朝恩却不忌讳李辅国的灾祸，花三十万钱从慕容手中买下。结果，大历五年（公元770年）唐代宗捕杀鱼朝恩后，他花重金买来的散发香气的玉辟邪粉末，化成白蝴蝶，冲天而去。

　　其实，李辅国受贿索贿所得珍宝古玩还有很多，且都为世所罕见。譬如他夏天摆放于堂中迎凉用的植物，草色接近碧绿，基干像苦竹，叶比杉叶还细，看似干枯，却不凋落。这种草扎在窗户之间，凉气自来；还有雕刻成鸾凤状、高一尺的凤首木，“形似枯槁，毛羽脱落不甚尽” ，严寒之日，将凤首木放在高堂大厦中，和煦之气就如三、四月的春天。所以凤首木又叫常春木。即使用烈火焚烧它，也不能把它烧焦烧黑。凉草和凤木，“或许出于薛王宅” ，这都是李辅国强取豪夺的。当时人们就议论，这些奇珍异香，非人臣所能拥有的。鱼朝恩不从李辅国身上吸取教训，对世人议论置若罔闻，结果走上同李辅国一样的路。

　　协助唐代宗铲除鱼朝恩的元载，任宰相多年，也是被“香”所杀。唐史记载，出身寒微、自幼嗜学好读、博览群书尤通道学的元载，自他任同中书门下平章事兼度支转运使到大历十二年（公元777年）全家被赐死前，始终独揽朝政、专权跋扈、大肆敛财，“外方珍异，皆集其门，资货不可胜计” 。其中抄没家产时，仅胡椒就被抄出八百石。胡椒在1000多年前可是进口的稀罕香料，一般官员是享受不到的。

　　笔记小说或许是作者在里谈巷议上的发挥，佐以因果报应的理论，不可信为史实，但故事是作者依照民心向背而有着更为深邃的事理想要阐述，更接近一则寓言。李辅国、鱼朝恩、元载利用手中权力疯狂掠夺“非人可控的奇香” ，结果违背了“出来混，即使混出大名堂，早晚也要连本带利还回去”的浅显道理。掌握公共资源支配权的他们被“香”所杀应使人有所悟：要做到“不累于俗，不饰于物” ，不属于自己的东西，哪怕再珍奇，千万别垂涎和巧取豪夺，否则就会害人害己。