李白最終陷入落魄，要從安史之亂說起。公元755年，安史之亂爆發時，李白避居廬山。這場唐朝的內亂原本沒李白什么事兒，但怪就怪他的名氣太大了。唐玄宗在馬嵬坡遭到兵變，被逼無奈殺了楊國忠與楊貴妃。此后，唐玄宗與太子李亨分道揚鑣。玄宗入蜀，李亨則在靈武自即帝位，是為唐肅宗，遙尊玄宗為太上皇。

要說這李亨登基也不合法，但玄宗先遭安祿山叛亂，又在馬嵬坡被逼殺掉貴妃，已經是心灰意冷，對自己突然被太子尊為太上皇，也就沒說啥。但他的兒子可就不這么想了。玄宗第十六子永王李璘打著靖難的旗號，招兵買馬，揮師東下，其實是趁機擴大地盤，想借亂世當皇帝。

楊采華分析說，唐玄宗在奔西蜀途中發了詔書，下放軍國大權至諸親王及地方軍政一把手，讓其招兵買馬、擴充軍隊平息叛軍。太子李亨卻不聽玄宗詔令，擁兵隴西，僭登帝位搶班奪權。而永王李璘出師東巡之時，得知李白隱居廬山，遂數次下達聘書，李白幾經猶豫，終于決定下山入其幕府。在永王東巡時，李白寫下《永王東巡歌》十一首。永王不久即敗北，李白也因之被捕入獄。

李白被下獄后，在一首詩中說“空名適自誤，迫脅上樓船”，意指自己是被永王脅迫的。楊采華認為，李白從軍永王說不上是內心的妥協，這是他順著中丞宋若思、右相崔渙兩位大臣給他搭的梯子走下臺階的舉措。這首詩作于李白服刑中，他只能按著宋、崔兩人的“啟發”繼續把假話說下去。否則，新的牢獄之災又將等待著他。李白在《致賈少公書》說：“王命崇重，大總元戎。辟書三至，人輕禮重。”由此可見，李白從軍永王時，很享受“三顧茅廬”的待遇，并不存在“脅迫”一說。

永王敗北后，右相崔渙宣慰江南，收羅人才。李白上詩求救，駐扎在潯陽的中丞宋若思把李白從監牢中解救出來，并讓他參加了幕府。崔渙為“永王事件”牽連的人開脫罪名，卻得罪了同僚和下屬，被罷去右相之職，并貶為太守。接替崔渙辦理“永王事件”的官員李峘，將已結案件推翻重審，并重新拘捕釋放人員。宋若思讓李白先藏起來，不久，藏在潛山縣司空原舊居的李白被逮捕，后被判流放夜郎。

云貴高原東北部莽莽蒼蒼綿延千里的大婁山脈中段，有一個縣城叫桐梓。在春秋戰國時期，桐梓即屬于古夜郎國鱉國范疇，秦漢時期屬于先后設置的夜郎郡領域，史學界把桐梓稱為“唐宋夜郎”。桐梓有個夜郎壩，四圍皆山，其峰其巒，錯落連環，是個海拔600多米的山間盆地，目前是夜郎鎮鎮政府所在地。

李白是否到過夜郎？學界至今仍有爭議。有人認為李白在流放途中就接到赦免的詔書，有人則認為李白曾在夜郎居住過3年。貴州當地研究李白的學者黃光榮對記者說，桐梓留存有不少和李白有關的地點，如太白詩碑、太白碑亭、百碑臺、太白書院、太白望月臺、謫仙橋等。

李白中途遇赦得返，并未到過夜郎的觀點，最早見于北宋人曾鞏所寫的《李白集三十卷序》。曾鞏根據李白的詩、書、自敘分析李白遭流放后，“上峽江，至巫山，以赦得釋”，并未到達夜郎。主張李白“未至夜郎”的一個主要依據是李白本人有《流夜郎半道承恩放還》一詩。

黃光榮認為，李白確實到過夜郎。僅清王琦編注的《李白全集》收集的李白詩，就有32首是關于夜郎的，如“三載夜郎還，于茲煉金骨”、“傳聞赦書至，卻放夜郎回”、“萬里南遷夜郎國，三年歸及長風沙”、 “我寄愁心與明月，隨風直到夜郎西”等。

公元759年，李白被赦免之時，已經58歲。兩年之后，季廣琛出任宣州刺史，他與李白曾同為永王幕僚。在官軍收復宣州的鼓舞下，已經60歲的李白不顧年事已高，決定再次投軍掃除東南之亂。他來往于金陵、宣州間，有《餞李副使藏用移軍廣陵序》、《宣城送劉副使入秦》詩。李白欲投李光弼軍未果，寫有《聞李太尉大舉秦兵百萬出征東南，懦夫請纓，冀申一割之用，半道病還，留別金陵崔侍御》。此次投軍未果，既可說是懷揣報國之志的浪漫主義詩人李白的最后一次自我請纓，也可說是李白從政之路的最后一次嘗試。隨后，李白即返回當涂縣其族叔李陽冰處，并于第二年卒，葬今安徽省馬鞍山市當涂縣龍山，后移墓地于青山。