刘伯温在帮助朱元璋制定法制的同时，也帮助朱元璋制定军卫法，付出甚多。
朱元璋看在眼里，决定报答刘伯温。
他在确定处州税粮时，仿照宋制每亩加五合，唯独青田县除外。
而青田县，正是刘伯温的家乡。
朱元璋对自己这个做法，也给出了说法：“要让刘伯温家乡，世代把此事传为美谈。”
刘伯温得到朱元璋这么的重视，这显然威胁到了李善长的地位。
李善长不是什么善男信女，所以，他想着收拾刘伯温。
朱元璋巡幸汴梁时，刘伯温与左丞相李善长一起留守京城。
刘伯温认为宋、元两朝都因为过于宽纵而失天下，所以应该整肃纲纪，于是，便下令御史检举弹劾，不要有任何顾忌，宿卫、宦官、侍从中，凡犯有过错的，一律奏明皇太子，依法惩治。
这样一来，人人都畏惧刘伯温的威严。
中书省都事李彬因贪图私利，纵容下属而被治罪。
而这个李彬，正是李善长的人。
李善长一向重用李彬，故请求从宽发落。
刘伯温不听，并派人骑马速报朱元璋。
刘伯温在得到朱元璋批准后，便在祈雨时，将李彬斩首。
因为这件事，刘伯温与李善长成了仇家。
朱元璋返京后，李善长便向朱元璋告状，说刘伯温在坛土遗下杀人，是不敬之举。
那些平时怨恨刘伯温的人也纷纷诬陷刘伯温。
这时，正逢天旱，朱元璋要求诸臣发表意见。
刘伯温上奏说：“士卒亡故者，他们的妻子全部迁往他营居住，共有数万人，致使阴气郁结。工匠死后，腐尸骨骸暴露在外，将投降的吴军将吏都编入军户，便足以协调阴阳之气。”
朱元璋采纳了他的意见，但十天过后仍不见雨，故而发怒。
此时的刘伯温，知道朱元璋对自己已经失去了信任感，同时又得罪了这么多的权贵，知道该此致避难了。
此时，又恰好刘伯温的妻子死了，所以，他请求告辞还乡。
朱元璋正在营造中都，又积极准备消灭扩廓。
刘伯温临走上奏说：“凤阳虽是皇上的故乡，但不宜作为建都之地！王保保不可轻视！”
不久，定西之役失利，扩廓逃往沙漠，从那时起，一直成为边患。
朱元璋这才知道，离开刘伯温是自己的一大损失，当下亲自下诏，叙说刘伯温征伐之功，召他赴京，赏赐甚厚，追赠刘伯温的祖父、父亲为永嘉郡公，并多次要给刘伯温进爵。
刘伯温都固辞不受。
重新回到朝廷的刘伯温，知道李善长的不可得罪，当下开始包容李善长。
朱元璋因事要责罚丞相李善长，刘伯温劝说道：“他虽有过失，但功劳很大，威望颇高，能调和诸将。”
朱元璋觉得奇怪，说：“他三番两次想要加害于你，你还设身处地为他着想？我想改任你为丞相。”
刘伯温叩首说道：“这怎么行呢？更换丞相如同更换梁柱，必须用粗壮结实的大木，如用细木，房屋就会立即倒坍。”
后来，李善长辞官归居，太祖想任命杨宪为丞相，杨宪平日待刘伯温很好，可刘伯温仍极力反对，说：“杨宪具备当丞相的才能，却没有做丞相的气量。为相之人，须保持像水一样平静的心情，将义理作为权衡事情的标准，而不能搀杂自己的主观意见，杨宪就做不到。”
朱元璋又问汪广洋如何，刘伯温回答：“他的气量比杨宪更狭窄。”
朱元璋接着问胡惟庸，刘伯温又回答道：“丞相好比驾车的马，我担心他会将马车弄翻。”
朱元璋于是说道：“我的丞相，确实只有先生你最合适了。”
刘伯温谢绝说：“我太疾恶如仇了，又不耐烦处理繁杂事务，如果勉强承担这一重任，恐怕要辜负皇上委托。天下何患无才，只要皇上留心物色就是了。这几个人确实不适合担任丞相之职。”
后来，杨宪、汪广洋、胡惟庸都因事获罪。
刘伯温在朝廷中当官几年，被授为开国翊运守正文臣、资善大夫、上护军，封诚意伯，食禄二百四十石。
他意识到了朱元璋权力不许他人染指下，决定辞官还乡。
他回乡之后，仍然参加元旦早朝。
直到洪武八年，公元1375年的正月下旬，刘伯温感染了风寒。
朱元璋知道了之后，派胡惟庸带了御医去探望。
御医开了药方，刘伯温照单抓药回来煎服用。
他吃下之后，觉得肚子里好像有一些不平整的石块挤压在一起，让他十分痛苦。
二月中，刘伯温抱病觐见朱元璋，婉转的向他禀告胡惟庸带着御医来探病，以及服食御医所开的药之后更加不适的情形。
这时的他，还以为是胡惟庸要害自己。
哪里知道，朱元璋听了之后，只是轻描淡写的说了一些要他宽心养病的安慰话。
这使刘伯温意识到，害自己的人，很大是朱元璋，胡惟庸说不定就是朱元璋指使的！
三月下旬，刘伯温已经无法自由活动了，他由刘琏陪伴，在朱元璋的特遣人员的护送下，自京师动身返乡。
刘伯温回家后，拒绝亲人和乡里为他找来的一切药石，只是尽可能的维持正常的饮食。
几天之后，刘基自知来日无多，找来两个儿子交代后事。
他交代完后事时，又让刘琏从书房拿来一本天文书，对他说：“我死后你要立刻将这本书呈给皇上，一点都不耽误；从此以后不要让我们刘家的子孙学习这门学问。”又对次子刘璟说：“为政的要领在宽柔与刚猛循环相济。如今朝廷最必须做的，是在位者尽量修养道德，法律则应该尽量简要。平日在位者若能以身做则，以道德感化群众，效果一定比刑罚要好，影响也比较深远，一旦部属或百姓犯错，也较能以仁厚的胸怀为对方设身处地的着想，所裁定的刑罚也必定能够达到公平服人，和警惕人改过自新的目的；而法律若能尽量简要，让人民容易懂也容易遵守，便可以避免人民动辄得咎无所适从，又可以建立政府的公信力和仁德的优良形象，如此一来，上天便会更加佑我朝永命万年。”又继续说道：“本来我想写一篇详细的遗表，向皇上贡献我最后的心意与所学，但胡惟庸还在，写了也是枉然。不过，等胡惟庸败了，皇上必定会想起我，会向你们询问我临终的遗言，那时你们再将我这番话向皇上密奏吧！”
他安排完，于农历四月十六日，卒于故里，享年六十五岁。
刘伯温，在民间传说中，他就是能够呼风唤雨的神仙级别的人物，能与他相提并论的是诸葛亮。实际上，他就是掌握了人性、形势、规律而已。不过，在权力的斗争中，官场的倾扎里，他始终没有脱身，这才导致了悲惨结局。
明朝的王世贞说他：“有人将刘基比作张良，刘基在谋略上确实无愧于张良，但说到做官或不做官的气节，却差得远了。”
可谓抓住了要点！
刘伯温，要是能够像张良一样，及早干净地脱离官场，结局兴许就不一样了！惜哉！