相传毛延寿画画时经常收小费，给钱的嫔妃就给她们画的漂亮一些，不给钱就画的丑一些。其中毛延寿就为一个名叫王嫱女子作画，据说王嫱并没有贿赂毛延寿，所以就将王嫱画的很丑，皇帝见后就没有宠幸王嫱。

几年之后，以归降汉朝的南匈奴首领呼韩邪单于入京朝贡，以尽藩臣之礼，并请求做汉朝的女婿，汉元帝遂选王嫱赐给了他。这个王嫱就是四大美人之一的王昭君，临行前，汉元帝召见王昭君，看到王昭君的那一刻，汉元帝就有些后悔了，因为他觉得王昭君长的实在是太漂亮的，漂亮的以至于现在所有宠幸的女子都比不上她，但自己已经将王昭君封赏给了南匈奴首领呼韩邪单于，又怎么能反悔呢？所以汉元帝大发雷霆，决定彻查这件事，为什么漂亮的人在宫中自己却没有看到呢，一定是将其画的太丑了，调查后发现这些画师们家里面都有巨额财产。于是就将这些宫廷画师全都杀了，毛延寿就在其中。

因为这次集体屠杀画家事件，京师画坛巨星陨落，画工成为稀缺人才。据说当时还把毛延寿的的所有画都给毁了。

所以很多人并不为毛延寿惋惜，还把他当成反面教材，但是王安石《明妃曲》曾为毛延寿正名，认为其并不是为了钱财而故意画丑王昭君而使得自己因欺君之罪被杀。亦有诗云“归来却怪丹青手，入眼平生几曾有；意态由来画不成，当时枉杀毛延寿。”