嘉靖十八年（公元1539年），为了给父母看坟地，朱厚熜下令南巡，内阁首辅夏言、礼部尚书严嵩都随驾前往。从这个安排，可以看出皇帝对二人的宠信。当大部队抵达承天府，朱厚熜祭拜完父亲，严嵩请求皇帝允许大臣们上表称贺，皇帝十分满意，朕准了！夏言却认为有点早，人都在外面，有什么好称贺的，不如回京城再说吧！朱厚熜听到夏言的话，心里很不痛快，现在称贺有什么不可以？严嵩准确揣摩皇帝的意思，一而再、再而三地请求，说：“礼乐自天子出可也”，朱厚熜对夏言有点不满意了，认为还是严嵩乖巧懂事。
回北京后，嘉靖皇帝又跑到大峪山视察坟地，他在反复对比，究竟哪一处更适合安葬父母，最后还是认定承天府的显陵。夏言这个人过于随意，竟然没有按时呈进居守敕，朱厚熜于是大怒，说他怠慢不恭。夏言意识到问题的严重性，赶紧上疏谢罪，皇帝还是很愤怒，勒令夏言退休，回家养老去吧！夏言没办法，只好离开，几天过去，朱厚熜的怒火总算是熄灭了，又想起了夏言的好，让他回来继续当官。这一进一出，简直跟儿戏似的，说退休就退休，说复职就复职。没想到，过了没几年，夏言又被皇帝赶回家了，原因是他太有个性，连朱厚熜的话都当耳旁风。当时嘉靖皇帝住在西苑，要求来西苑的大臣只能骑马。夏言一想：我堂堂内阁首辅，怎么能骑马上班呢？于是他坚决坐轿子。有一次朱厚熜看见了，心里很不是滋味，怎么？看不起朕？左耳进右耳出！嘉靖皇帝还喜欢穿道士的服装，他想让夏言也换上，便赏了香叶束发巾。夏言对这种东西是抗拒的，坚决不穿：“非人臣法服”，不是大臣应该穿的东西。这也让朱厚熜感到不满，我赐的道服不穿，是不是心里看不惯我信道？