بدأ خالد في تنظيم قواته، وكانت تبلغ (46) ألف مقاتل، وقسَّم الجيش إلى كتائب، تضم كلّ منها ما بين 600 إلى 1000 رجل.
ويُجمِع المؤرّخون على أن خالد بن الوليد هو أول من استحدث تنظيم الجيوش
على هذا النحو، وعُدَّ عملُه فتحاً في العسكرية الإسلامية؛ فقد اختار رجال
الكتيبة الواحدة من قبيلة واحدة؛ أو ممّن يعودون بأصولهم إلى قبيلة واحدة،
وجعل عليهم قائداً منهم ممّن عُرف بالشجاعة والإقدام، وكان على رأس كتائب
القلب (أي الوسط) أبو عبيدة بن الجراح، ومعه المهاجرون والأنصار، وعلى
كتائب الميمنة عمرو بن العاص ويساعده شرحبيل بن حسنة، وعلى كتائب الميسرة
يزيد بن أبي سفيان.
أما جيش الروم فكان يضم نحو مائتي ألف مقاتل، يقودهم القائد الرومي "ماهان".
وفي فجر يوم الإثنين الخامس من رجب 15 هـ، أصبح المسلمون مستعدّين لقتال
الروم، وسار أبو عبيدة في المسلمين يحثُّهم على الصبر والثبات، يقول لهم:
يا عباد الله انصروا الله ينصركم، ويثبت أقدامكم....
زحفت صفوف الروم الجرارة من مكانها إلى المسلمين، ودخل منهم ثلاثون ألفًا،
كل عشرة في سلسلة، حتى لا يفروا، قد رفعوا صلبانهم، وأقبل معهم الأساقفة
والرهبان.
وحين رأى خالد إقبالهم على هذا النحو كالسيل، وضع خطته أن يثبت المسلمون
أمام هذه الهجمة الجارفة؛ حتى تنكسر وتتصدع صفوف الروم، ثم يبدأ هو
بالهجوم المضاد.
تلاحم الفريقان، وقد كانت هجمة الروم قوية على ميمنة المسلمين وميسرتها،
حتّى ضعفت، وثبتت كتائب القلب. وأبلى المسلمون بلاء حسناً، وثبت بعضهم
كالجبال الراسخات، وضربوا أروع الأمثلة في الشجاعة، وقاتلت النساء أحسن
قتال.
تحمّل المسلمون هذا الهجوم الكاسح بكل ثبات؛ إذا اهتَزََّ صفٌّ عادَ
والتأم ورجع الى القتال، حتّى إذا جاءت اللحظة التي كان ينتظرها القائد
النابغة خالد بن الوليد صاح فيهم: يا أهل الإسلام، لم يَبْقَ عند القوم من
الجلد والقتال والقوة إلا ما قد رأيتم، فالشدّة، الشدّة، فوالذي نفسي بيده
ليعطينكم الله الظَّفر عليهم الساعة (أيّ أنّكم إن صبرتم الآن فسيكون
النّصر من نصيبكم).
وزحف خالد بفرسانه الذين لم يقاتلوا، وكان يدخرهم لتلك الساعة الحاسمة،
فانقضوا على الروم الذين أنهكهم التعب واختلت صفوفهم، فلمَّا قام خالد
بهجومه المضاد من القلب زرَع الرعبَ بين الروم، الذين فوجئوا بهذه الهجمة
المضادة؛ وخرجت خيلهم تشتد بهم في الصحراء، تاركين ميدان القتال. ولمَّا
رأى المسلمون خيل الروم تهرب أفسحوا لها الطريق وتركوها تغادر ساحة القتال.
انهار الروم تماماً، وتملَّكهم الهلع، فتزاحموا وركب بعضهم بعضاً وهم
يهربون أمام المسلمين الذين يتبعونهم؛ حتى انتهوا إلى مكان مشرف على هاوية
تحتهم، فأخذوا يتساقطون فيها ولا يبصرون ما تحت أرجلهم، وكان الليل قد
أقبل والضباب يملأ الجو، فكان آخرهم لا يعلم ما يلقى أولهم، وبلغ الساقطون
في هذه الهاوية عشرات الألوف، وتذكر بعض الروايات أنهم كانوا ثمانين
ألفاً، وقتل المسلمون من الروم في المعركة بعدما أدبروا نحو خمسين ألفاً،
فضلاً عمّن سقطوا في الهاوية.
ولما أصبح اليوم التالي، نظر المسلمون فلم يجدوا في الوادي أحداً من
الروم، فظنوا أنّ الروم قد أعدّوا كميناً، فبعثوا خيلاً لمعرفة الأمر،
فإذا الرعاة يخبرونهم أنهم قد سقطوا في الهاوية أثناء تراجعهم، ومن بقي
منهم غادر المكان ورحل.
كانت معركة اليرموك من أعظم المعارك الإسلامية، وأبعدها أثراً في حركة
الفتح الإسلامي، فقد لقي جيش الروم- أقوى جيوش العالم يومئذٍ- هزيمة
قاسية، وفَقَد زهرة جنده، وقد أدرك هرقل حجم الكارثة التي حلت به وبدولته،
فغادر المنطقة نهائياً وقلبه ينفطر حزناً، وهو يقول: "السلام عليك يا
سورية، سلاماً لا لقاء بعده، ونِعم البلد أنتِ للعدو وليس للصديق، ولا
يَدخلك رومي بعد الآن إلا خائفاً".
وقد ترتب على هذا النصر العظيم أن استقر المسلمون في بلاد الشام،
واستكملوا فتح مدنه جميعا، ثم واصلوا مسيرة الفتح؛ فضمّوا مصر والشمال
الإفريقي.