几天之后，刘基自知来日无多，找来两个儿子交代后事。交代完后事时，又让刘琏从书房拿来一本天文书，对他说：“我死后你要立刻将这本书呈给皇上，一点都不耽误，从此以后不要让我们刘家的子孙学习这门学问。”又对次子刘璟说：“为政的要领在宽柔与刚猛循环相济。
如今朝廷最必须做的，是在位者尽量修养道德，法律则应该尽量简要。平日在位者若能以身做则，以道德感化群众，效果一定比刑罚要好，影响也比较深远，一旦部属或百姓犯错，也较能以仁厚的胸怀为对方设身处地的着想，所裁定的刑罚也必定能够达到公平服人，和警惕人改过自新的目的。
而法律若能尽量简要，让人民容易懂也容易遵守，便可以避免人民动辄得咎无所适从，又可以建立政府的公信力和仁德的优良形象，如此一来，上天便会更加佑我朝永命万年。”又继续说道：“本来我想写一篇详细的遗表，向皇上贡献我最后的心意与所学，但胡惟庸还在，写了也是枉然。
不过，等胡惟庸败了，皇上必定会想起我，会向你们询问我临终的遗言，那时你们再将我这番话向皇上密奏吧!”最后于农历四月十六卒于故里，享年六十五岁。5年后，胡惟庸果然垮台，又10年后，刘伯温果然被平反明太祖还赐给刘氏家族金书铁券，特批刘氏成员可凭此免一次死罪。
刘伯温为何会突然离世，当然和朱元璋的药是直接关系的。胡惟庸不敢把刘伯温怎么样，他之所以敢带太医过去，在药上做手脚，那是朱元璋允许的。所以，刘伯温千算万算，没有跑出朱元璋的手心。可叹，临终还关心大明江山的刘伯温，死在了大明一哥朱元璋的手里。
