1360年(至正二十年)，被朱元璋請(qǐng)至應(yīng)天(今南京)，任謀臣，展現(xiàn)一個(gè)非常成功的兵法家的才能。劉基針對(duì)當(dāng)時(shí)形勢(shì)，向朱元璋提出避免兩線(xiàn)作戰(zhàn)、各個(gè)擊破建策，被采納。輔佐朱元璋集中兵力先后滅陳友諒、張士誠(chéng).等勢(shì)力。劉伯溫并建議朱一方面脫離“小明王”韓林兒自立勢(shì)力，卻另一方面以“大明”為國(guó)號(hào)來(lái)招攬?zhí)煜铝x師的民心。1367年(至正二十七年)，參與制定朱元璋的滅元方略，并得以實(shí)現(xiàn)。共參與軍機(jī)八年，籌劃全局。1370年(明洪武三年)，為嘉勉劉基的功榮，授命劉基為弘文館學(xué)士。十一月朱元璋大封功臣，本想封劉基為丞相，但劉基一再推脫，只好作罷。這并不是劉基的客氣，而是他明白自己的正直會(huì)遭到其他為官者的排擠。因此申請(qǐng)還鄉(xiāng)。朱元璋授命他為開(kāi)國(guó)翊運(yùn)守正文臣、資善大夫、上護(hù)軍，并封為誠(chéng)意伯。劉基的功勞對(duì)于明朝來(lái)說(shuō)可以說(shuō)是最大的，但每年俸祿只有二百四十石。

即帝位后的朱元璋，心態(tài)開(kāi)始發(fā)生變化，“非我族類(lèi)，其心必異”這是所有帝王的一貫思維，只不過(guò)在朱元璋那兒更變本加厲，更刻薄寡情。本來(lái)第一個(gè)要收拾的是獨(dú)攬大權(quán)的丞相李善長(zhǎng)，因?yàn)槔罴岛迍⒉疁?，朱元璋就選擇劉伯溫充當(dāng)殺手。“太祖以事責(zé)丞相李善長(zhǎng)，基言：‘善長(zhǎng)勛舊，能調(diào)和諸將。’

太祖曰：“是數(shù)欲害君，君乃為之地耶？吾行相君矣?！被D首曰：“是如易柱，須得大木。若束小木為之，且立覆?！?《明史列傳16》)盡管劉伯溫說(shuō)得都是大道理，不過(guò)他心里應(yīng)該明白，讓他出來(lái)收拾李善長(zhǎng)，既是利用，也是試探他的忠誠(chéng)度。

他一旦受命或可減輕朱元璋的猜疑，然而，唇亡則齒寒，此例一開(kāi)，以后朱元璋對(duì)待開(kāi)國(guó)功臣元老就會(huì)換另外一副面孔，此等不義之舉，按劉伯溫的個(gè)性是絕不可為的。正因?yàn)槿绱耍诙晁驼?qǐng)退，告老還鄉(xiāng)了。