家境貧寒，從小歷經艱辛。生逢亂世，慨然投軍，從小小的傳令兵做起，銳意進取，多次獲上司提拔，至北伐前夕，已是張宗昌麾下的年輕旅長。北伐期間，蔣部曾遭到黃的頑強阻擊，損失慘重，黃強悍的打法引起蔣的注意。后黃被蔣招致麾下，從參謀升至團長、旅長、師長，并參與了對紅軍的圍剿，頗有戰功。

抗戰中，黃積極準備軍事作戰，常親臨前線，直接參與指揮作戰，甚至視察火線。其中，浙贛會戰國軍作戰計劃幾乎全出自黃手筆。四五年日軍投降，國軍各部隊為接收日軍物資甚至公然開火。相比于蔣的嫡系，作為雜牌軍的黃根基淺，所屬的第二十五軍在上海的接收也只是走一個過場。然而，國共內戰爆發，黃的第二十五軍即被派往蘇北，擔任攻堅蘇北的作戰任務。

魯南戰役爆發后，張靈甫以強大裝備和各路友軍的左右依托，兵鋒迅速突進，連戰告捷。由于貪功冒進，孤軍深入，很快便于第二十五師(原二十五軍)拉開了距離。此時，機警的黃百韜給張靈甫發電，謂敵情不明，恐遭遇埋伏，希望張稍息片刻。然，驕橫的張并未止步，反而笑黃是“老黃牛”。隨后，黃部偶遇零星的共軍部隊，并發生交火，警覺的黃遂再次給張發電，稱共軍主力部隊或將現身，命張的七十四師收縮兵力，原地待命。

黃見張的七十四師不肯撤退，便命令自己麾下的第二十五師、六十五師迅速靠攏，并加速追趕第七十四師。然而，沒想到共軍下手更快，很快黃部與第七十四師之間的聯系便被切斷。黃隨即命令第一四八旅發動強攻，希冀打通與第七十四師聯系，并在天馬嶺遭遇共軍堅決阻擊。千鈞一發之際，黃親臨前線督戰。第七十四師被困孟良崮的第二天深夜，黃從國防部得到第七十四師的布防圖，看后大驚，趕緊命令戰力強大的第四十旅、第一零八旅迅速推進，并命令第一四八旅不惜一切代價強攻天馬嶺。就在黃準備向孟良崮全線推進之時，國防部發來電報，第七十四師已全軍覆沒。黃趕緊指揮部隊迅速撤離戰場，讓粟裕在圍殲七十四師后再殲滅第二十五師的計劃成為泡影。一年后的豫東戰役中，黃再次與粟裕相逢，并讓此役成為粟裕戎馬生涯中的一大遺憾。

在此役的第三階段中，黃出奇兵增援被圍的兗州，毫無準備的粟裕將所圍國軍放出，旋即集中兵力猛攻黃部，連日血戰之下，黃親率2營部隊在4輛坦克掩護下苦戰八晝夜，親率戰車救援第七十二軍。面對絕對優勢華野，黃死戰不退，部隊受兵團司令官激勵鼓舞，拼死猛沖猛打，遏制了華野進攻勢頭，此時，邱清泉也率部突襲解放軍側背，損失慘重的共軍被迫撤出戰場。

淮海戰役中，老對頭粟裕率部攔截攻擊黃部，同時，陳毅以一部阻擊徐州方面國軍，另以主力圍殲黃百韜兵團。黃見勢不妙，固守碾莊待援。隨后，蔣催李彌、邱清泉各部兵團馳援。邱部之主力遲遲不肯全面出擊，而李彌也并不積極，而此時的黃兵團早已無力支撐。聽到耳邊不斷出來共軍沖鋒的聲音，劉鎮湘勸黃百韜突圍，黃說：“我老了，而且多病，作俘虜我走不動，也不難為情。我犧牲了，還可使別人知道有忠心耿耿的國民黨人，或可使那些醉生夢死的人醒悟過來，國民黨或許還有希望。你年紀還輕，尚有可為，希望你突圍出去，再為黨國做點事”。言罷，黃以手槍自殺。死前，他拿出一張照片，背面寫：黃伯韜盡忠報國。

讀史至此，每每喟嘆不已！作為一個從雜牌軍成長起來的兵團司令，黃百韜的結局是悲涼的，也是痛心的，正所謂將軍百戰終是死，黨國傾覆木難支。或許，這就是冥冥之中的天道吧！