随后韩擒虎平定了范阳，任永州刺史。陈朝军队逼近光州，韩擒虎作为行军总管击败了他们，并随宇文忻平定了合州。隋朝建立之前，杨坚当时做宰相，韩擒虎升官为和州刺史。陈朝将领甄庆、任蛮奴、萧摩诃相互呼应声援，多次进攻长江以北地区，先后侵入边界。韩擒虎屡次出击，挫其锋芒，使陈朝的军队锐气全丧。
隋朝开国初期，隋文帝杨坚有吞并江南陈朝、统一中国的打算，因为韩擒虎文武双全，于是升他为庐州总管，委以平定陈朝的重任，敌人听说后，都感到十分忧虑恐惧。等到大举伐陈，韩擒虎被任命为先锋，于是他率领五百士兵夜渡长江，迅速袭占采石(今安徽马鞍山市西南)。当时，陈朝守卫的士兵都喝醉睡了，韩擒虎很轻易地攻取了采石，半日攻下姑孰(今安徽当涂)，然后进驻新林(今南京西南)。江南父老久闻其威名，登军门拜访者络绎不绝。
陈朝军队十分恐慌，他们的将领樊巡、鲁世真、田瑞等相继投降。陈后主陈叔宝派蔡征领军守朱雀航，大家听说韩擒虎快到了，都四散溃逃。韩擒虎带五百名精锐骑兵，直接冲入朱雀门。陈朝军队打算抵抗，任蛮奴挥挥手说：“老夫尚且投降，诸君何必再抵抗!”