劉巴是位高人，天下知名。當劉巴去世之后，魏國的尚書仆射陳群還專門寫信給諸葛亮，打聽劉巴的消息，稱呼劉巴為“劉君子初”，語氣非常尊敬。即便是東吳的孫權，也說：“若令子初隨世沉浮，容悅玄德，交非其人，何足稱為高士哉！”孫權稱贊劉巴為高士，主要是指劉巴做了兩件一般人都不會去做的事情。

當初，在曹操攻破襄陽之后，荊州士林震恐，大家紛紛選擇了投靠劉備，唯獨劉巴選擇了北降曹操。在后來，曹操想派桓階去招撫桂陽、長沙、零陵等荊州南部三郡，不過桓階推辭說，劉巴比自己更合適執行這個任務。確實，劉巴在荊州已經待了將近二十年，多年來，劉巴先后擔任曹史、主記、主簿等郡中重要職務，在荊州南部郡縣中擁有崇高的個人威望。可是劉巴卻很猶豫，覺得很難完成，劉巴說：“劉備據荊州，不可也。”在當時，曹操經歷烏林大敗，倉皇北歸，周瑜大軍更是窮追猛打，情勢危急，但是荊州南部郡縣卻相對穩定。可是劉巴敏銳的發覺，盤踞在夏口一帶的劉備必然會有所作為，趁亂攻襲荊州南部郡縣。

曹操聽了劉巴的解釋，并不在意，曹操說：“備如相圖，吾以六軍繼之也。”只要劉備敢去攻打南部郡縣，我曹操就派大軍追著劉備的屁股打！可是，曹操沒想到自己連續遭受大敗，連早在掌握之中的南郡都落到周瑜的手中，完全是把劉巴給丟到虎狼堆中去了。

劉巴帶著曹操的使命來到了零陵，可是招撫工作還沒有正式開展，劉備的大軍就已經到來。當時，諸葛亮曾經寫信給劉巴，非常誠懇的說：“劉公雄才蓋世，據有荊土，莫不歸德，天人去就，已可知矣！”劉備在當時受到荊州士林的熱烈歡迎，南部郡縣幾乎都是望風而降。畢竟劉備在荊州多年，廣施恩義，并且劉備上表尊奉劉表大公子劉琦為荊州刺史，挾公子以令荊州，自然順風順水。可是劉巴竟然拒絕了諸葛亮的邀請，劉巴說：“受命而來，不成當還，此其宜也。足下何言耶。”既然是接受了曹公的委派，就算是任務不成功也應該回去復命，這本是合情合理的事情啊。劉巴又說：“若道窮數盡，將托命于滄海，不復顧荊州矣！”劉巴對劉備完全不考慮，就算是在完成不了自己的使命，那也寧愿選擇漂流于江海，再也不會回到荊州。

劉備聽說了這件事，對劉巴恨得咬牙切齒。那么，究竟是為什么，讓劉巴這么看不起劉備？在漢代末年，有兩大神童，一個是曹操的兒子曹沖，一個是荊州的周不疑。周不疑在荊州之亂后被曹操逮住了，當時只有十三歲，可是曹操第一次見面就非常吃驚，甚至想把自己的女兒嫁給周不疑以籠絡其心，可是被周不疑拒絕。之后，周不疑一直和曹沖在一起，關系很融洽。可不久之后曹沖死了，曹操就下令把周不疑給殺了。當時，曹丕曾經勸阻曹操，曹操說，如果是你弟弟曹沖在世的話還罷了，想周不疑這樣的人不是你曹丕能夠駕馭的。小小年紀的周不疑竟然讓奸雄曹操如此擔心，可見才華何等了得。

而周不疑是荊州別駕劉先的外甥，也是劉備的親戚。當初劉備曾經寫信給劉巴，希望由劉巴來擔任小神童周不疑的老師，本來“得天下英才而教之”是很多文人的心愿，何況這份聘書是身為皇叔的左將軍劉備發出的。可劉巴竟然拒絕了！劉巴先是謙虛的說自己“昔游荊北，時涉師門，記問之學，不足紀名”，自己才華淺薄，不堪此任。

然后劉巴說“內無楊硃守靜之術，外無墨翟務時之風，猶天之南箕，虛而不用”，劉巴自比為天上的南斗星，但是卻覺得自己是“虛而不用”，當老師并非是劉巴的理想職業。劉巴是一個很有抱負，有志于天下的人，可是將近二十年卻委屈在荊州南部的零陵郡，為什么呢？仔細品味“內無楊硃守靜之術，外無墨翟務時之風”，是說自己在內不能像楊朱一樣韜光養晦，在外又沒有像墨翟一樣務求實際的本領，其實細細品味，這兩句都是在嘲諷劉備。劉備此人，處處標榜自己是大漢宗室，為了復興大漢而輾轉奔波，為了拯救黎民百姓于水火而征戰四方，可劉巴看透了劉備，暗示劉備不過是以仁德，以愛民為手段，謀取自己的利益而已，而這些，都是劉巴不屑去做的。

于是，劉巴拋棄了偽君子劉備，而選擇了代表朝廷的真小人曹操。于是，收復荊州南部三郡任務失敗之后，劉巴遠走交趾避禍，之后又逃到了云南，差點被殺，漂泊流離終于來到了益州。當初，劉璋的父親曾經得到劉巴父親的舉薦，于是劉璋看到劉巴來投非常高興。劉巴本來是想借到回到曹操身邊，可是看到劉璋也有心歸附曹操，于是就留下來做劉璋的工作。如果能夠成功的說服劉璋，那也算是失之東隅收之桑榆，完成了當初接受的使命。可沒想到劉璋派遣張松前往許都，張松因為自己受到冷落而選擇了歸順劉備，幫助劉備奪取益州。在張松、法正等人的勸說下，劉璋邀請劉備前來幫助平定張魯。當時，劉巴曾經明確的表示反對，他說：“劉備，雄人也。入必為害，不可內也。”劉巴料定劉備進入川中，必然奪取劉璋的地盤。

劉巴對劉備這個偽君子看得很透徹，劉備正是假借幫助同為漢室宗親的劉璋，平定張魯而進入川中，然后奪得益州的。