武帝宇文邕在世时，宇文孝伯给宇文邕说宇文赟没有美德，只亲近小人，虽然没有提出改立太子一事，但，也让宇文赟心里不舒服。

后来宇文赟继位，让宇文孝伯去杀宇文宪，并许事成后，将宇文宪的官职爵位授给宇文孝伯。

宇文孝伯叩头劝谏

“先帝遗诏，不许乱杀骨肉。齐王是陛下的叔父，既是近亲，又有大功，是国家重臣，社稷栋梁。陛下如果随便治罪处死，微臣又违心顺从旨意，那么臣就是不忠之臣，陛下就是不孝之子了。”

又惹的宇文赟不快。

宇文赟初登基兢兢业业了一阵后，便日渐荒废事务，而且杀戮无度，朝章驰紊，几乎到了没有纲纪的程度。宇文孝伯的接连劝谏，都不被宇文赟接受，反倒是更加疏远、排斥宇文孝伯。

宇文孝伯又一次劝谏被宇文赟无视后，退朝之后，于智看左右无人，走到宇文孝伯身后悄悄说

“卓将军那句话，还请小冢宰大人谨记，需危行言孙。”

然后，越过宇文孝伯，仿佛刚才什么也没说，向前面走去，毕竟现在于智是宇文赟一伙的，不管他心里是否真的认同宇文赟的做法，为了保命，也不得不对宇文赟奉承。

宇文孝伯回到家，一个人琢磨了很久，得出一个与王轨一样的想法自己怎么样都无所谓，得护好这一家人。