唐武德四年(公元621年)五月二十八日，竇建德傾巢而出，從板渚出牛口列成戰陣，北靠黃河，西臨汜水，南連鵲山。十幾萬大軍確實聲勢浩大，連綿十幾公里，擂鼓前進，喊殺聲震天。

這種場面十分駭人，讓唐軍諸將都十分驚慌。李世民帶幾名騎兵登上高丘觀察敵陣，并對將領們說：“敵人從山東起兵，還沒有碰見過強大的對手，如今身涉險境卻很喧囂，是沒有紀律，逼近城池排列戰陣，有輕視我們的意思。我們如果按兵不動，他們的勇氣自然就會衰竭，列陣時間一長士卒饑餓，勢必就會自動撤退，我們再追上去攻擊，必然會取勝。我和各位相約，一過正午，肯定能打敗他們！”

當時竇建德輕視唐軍，派三百騎兵涉過汜水，在離唐營一里地方停止。派人通報李世民說：“敢不敢挑選幾百名精兵過來交鋒！”李世民派王君廓帶領二百名長槍手應戰。雙方相互交鋒，驟進驟退，最終不分勝負，各自返回營地。

這時，竇建德將領王琬騎著昔日隋煬帝的坐騎青驄馬，鎧甲兵器都很新，遠離陣前向眾人夸耀。李世民說：“他騎的真是匹好馬！”尉遲敬德請求去奪馬，李世民制止他說：“怎么能為了一匹馬損失一員猛士呢？”尉遲敬德不聽，和高甑生、梁建方一起騎馬直沖入敵陣，活捉了王琬，牽著他的坐騎奔回唐營。

由于之前提到了李世民及其麾下武將勇力的事跡，這里就順帶提一提《隋唐演義》中的描寫與史實的關系。隋唐演義中前十二位好漢諸如李元霸、宇文成都、羅成等等都是虛構的，或者并無此人，或是有各種原型進行藝術加工。其實根據歷史記載，諸如秦瓊、尉遲敬德就已經是那個時代最強的戰將。根據當時的習慣寫作手法，《隋唐演義》將李世民表現成為道德典范，而文武策略、戰場拼殺都必須非常依賴麾下的能臣武將，這個是不符合實際的。“仁者不帶兵”，當戰爭需要，李世民會毫不猶豫的展現出他冷酷無情的一面。只是他并不濫殺、嗜殺而已。此外，論武藝與馬術，特別是箭術，李世民也是可以居那個時代強者之列的。所以史書上經常記載他親臨戰陣并熱衷于戰斗，用榜樣的力量來激勵唐軍奮勇作戰，而不完全是在后方組織與協調軍隊。

唐軍與夏軍從清晨對陣一直到中午，夏軍由于挑戰失敗，士氣繼續低落，而中午也出現了大量口渴與疲勞的跡象。“士卒饑倦，皆坐列，又爭飲水，逡巡欲退。”李世民命令將領宇文士及帶三百騎兵經過竇建德軍陣西邊向南奔馳，告誡他：“敵人如果不動，你就帶兵返回，如果動了，就領兵東進。”到竇建德陣前，敵陣果然動了。顯然，士氣低落的夏軍開始躲避宇文士及的攻擊。

李世民立即下令把更多的精銳騎兵集中在竇建德已經有動搖跡象的左翼上。李世民率先出發，大軍跟隨在后，向東涉過汜水，直撲敵陣，開始總攻擊。竇建德的軍隊由于猝不及防，加上疲憊，已經出現了部分的崩潰，但其精銳騎兵還是進行了有效的對抗，掩護形勢窘迫的竇建德后撤靠近東面的山坡。該處處于泗水流域東部的懸崖地區，是一個不錯的防御地形。

同時由于竇建德騎兵數量眾多，唐軍的騎兵突擊稍顯不利，李世民立即命令其他騎兵支援。唐軍淮陽王李道玄挺身沖鋒陷陣，直沖出敵陣后方，又重新返回沖入陣中，幾番進出，身上聚集的箭像刺猬毛一樣，勇氣仍然不減，向竇建德軍陣連續放箭。一時間戰場塵土飛揚遮天蔽日，血腥的格斗達到了白熱化的地步。

但夏軍的防御陣地轉移的代價則是造成了較大的混亂。李世民現在決定出動自己的王牌，他親自率領最精銳的一千名玄甲騎兵，在程知節(就是程咬金)、秦瓊等悍將的伴隨下對竇建德的軍陣發動最后猛烈的沖擊。玄甲軍們卷起旗幟，一直等到騎兵沖鋒穿透了整個夏軍的軍陣直達懸崖附近，才在夏軍的陣后展開之前卷起的唐軍大旗。竇建德的軍隊本來就士氣低落，現在看見唐軍的旗幟紛紛飄揚在自己的陣后更是驚恐萬分。這時，從側翼迂回的唐軍騎兵也已經到達，和玄甲騎兵進行合擊，竇建德大軍迅速全面崩潰。

根據統計，有3000多名夏軍在唐軍的沖殺中被直接殺死，50000名以上的夏軍被唐軍俘虜，李世民當天就遣散了這些俘虜，讓他們返回家鄉。竇建德則被長矛刺中，一直逃到牛口渚躲避。唐車騎將軍白土讓、楊武威追逐竇建德，竇建德落馬被俘。

竇建德大軍的潰敗消息很快傳到了洛陽，早已筋疲力盡的王世充于6月4日投降。虎牢關之戰的偉大勝利讓唐軍在一場戰役中打垮了兩個強大的對手，再加上唐軍名將李靖在南方的勝利，使得唐王朝統一中國已經沒有任何懸念。3500名精銳騎兵(應該還要加上本來虎牢關的守備軍)擊潰12萬大軍，這場中世紀早期騎兵的經典戰例，可載入世界軍事史冊，也是李世民個人軍事生涯上的最高峰。