忽必烈在北方的统治逐渐稳固后，对南宋的征伐便成了下一个重要目标。忽必烈先督造船只、整编军队，为消灭南宋做了积极的准备。忽必烈在总结窝阔台及蒙哥攻宋得失的基础上，制定了先取襄樊、实施中间突破、沿汉入江、直取首府临安的灭宋方略。
襄阳、樊城两城夹汉水对峙，江中造有浮桥，可互相应援，地理位置十分险要，被南宋视为国脉所在，苦心经营多年，城墙坚固、兵精粮足。因此，对襄、樊两城的得失，关系到整个战争的成败。忽必烈为此做了长时间的准备，并听取南宋降将刘整的策略，焚毁浮桥断绝两城联系。至元十年（1273）正月，元军攻破樊城，襄阳守将投降。
襄、樊的陷落使南宋朝野震动，把战略防御重点退移至长江一线。但是在打开了通往南宋的坚固大门之后，蒙古军步步紧逼，增兵10万，继续南征。到至元十一年（1274）十二月，元军主将伯颜以声东击西、避实击虚之策强渡长江成功，战争局势从而有了决定性的转折。此后蒙古军队节节胜利，先后攻下了南宋的许多重要城镇，包括建康在内。
建康失守之后，南宋的长江防线也便彻底崩溃。忽必烈命右丞相阿里海牙攻湖南、左丞相阿术攻扬州、伯颜率主力直取临安（今杭州）。至元十三年（1276）正月，三路大军会师于临安郊外。二月南宋恭帝率百官降元。
为了彻底消灭南宋，忽必烈仍派兵对南宋王室进行追讨，直至至元十六年（1279），最后消灭了流亡在崖山的南宋残余势力，完成了全国的大统一。
