1月12日：我百年后，愿葬于玉山或阿里山树木多的高处，可以时时望大陆。我之故乡，是中国大陆。22日：葬我在台北近处高山之上亦可，但是山要最高者。又两天后，一夜未眠的于右任在天微微亮时，写下了《望大陆》这首使人怆然涕下的悲歌：
葬我于高山之上兮，望我大陆；
大陆不可见兮，只有痛哭！
葬我于高山之上兮，望我故乡；
故乡不可见兮，永不能忘！
天苍苍，野茫茫；
山之上，国有殇！
老人写了这首摧肝裂肺的哀歌之后，在人世间活了两年零九个月又十七天。1964年7月2日上午11时，老人支撑着病体，应台湾大专学校本届毕业侨生之约，会见了12名侨生代表，同这些青年人谈了“立志”的问题。不久便生病住院。入院前，他因医药费无着落，将病情拖了3个星期。
在医院的3个月里，于右任曾试图写份遗嘱，据他身边的人说他写过好几次，但写了又撕，撕了再写，最终没能留下遗嘱。
1964年11月10日8时，于右任与世长辞，终年86岁。
当天中午，“监察院”“副院长”李嗣璁及数名“监察委员”为了寻找于右任的遗嘱，打开了他的自用保险箱。不料展示在人们眼前的，既没有钱财珍宝，也没有股票证券，只有日记和书札，以及为其三公子于中令上半年出国留学筹集旅费所出具的借款单的底稿，还有平日挪借副官宋子才数万元的账单，再有就是于夫人高仲林为其缝制的布鞋袜。在场的人目睹了这些遗物，无不凄然泪下。
