下片开始，隐含杜甫《曲江三首》诗意，并以一“谁向”领起，突起昂奋之调，邀约词题上提到的两位朋友，和他一起“移住南山”，追随李广，自强不息地度过晚年。“短衣匹马”的自我形象，俨然又是一个再世的李广。同时，“谁向桑麻杜曲”这个表白，也含有不甘默默无闻地老死田垄之间的意思：即使被迫赋闲退居，也要做李广式的落魄但不失志的英雄，而不愿做那甘心退隐的隐士。以下笔回情转，深深一问：李广遭逢的是有开边之志、朝廷鼓励人们以战功封侯万里的汉代，为什么他这个凡是西汉与匈奴的战争都亲身参与并战功卓著的强者，也如此不得意地赋闲呢？在词的末韵，他以景结情，把满腔悲愤和失望之情，都打入眼前的风雨微寒、黑夜沉沉的景象当中去，传达出他内心感受到的缕缕寒意。这一摧刚为柔的笔法，以景结情的路数，就造成了含蓄蕴藉、意味深长的表达效果。
全词借史书所写的李广事迹，以及杜甫借李广事迹抒愤的诗歌，自由变动，使之如从己出。并且夹叙夹议，表明了自己强烈的爱憎和不平。全词只在最后两韵脱离对史实和杜诗的借用，而全出以己意。这两韵，也是全词的重心所在、警策之处。他在此处所提出的尖锐而敏感的人才埋没的历史问题：“汉开边、功名万里，甚当时健者也曾闲？”就像是一把锋利的刀刃，挑开了由统治者设下的虚伪纱幕，让人洞见了统治者压抑包括李广和辛弃疾在内的非凡才人的卑鄙用心，同时更是对南宋政治当局的严肃责问。全词在抒情风格上，亦刚亦柔，且直且婉，呈现出作者感慨而沉郁的复杂精神风貌。