，兵力扩充到数千人，对曹操后方又构成威胁。是年七月，曹操为稳定后方，派大将蔡阳率兵讨伐刘备。刘备预作充分准备和部署，率部迎战蔡阳。两军激战，曹军大败，蔡阳被杀。建安六年(201年)秋，曹操统军进击刘备于汝南。九月，随刘备投靠荆州牧刘表，龚都等部皆散。至此，刘备脱离袁绍，获得发展自己势力的机遇。刘表对刘备以礼相待，此后，刘备便在荆州屯兵。

从建安六年到十三年(201—208年)，刘备在这八年中致力于礼聘人才，扩大军事力量。特别是在建安十二年

(207年)，他“三顾茅庐”，请来了诸葛亮。和张飞看到刘备和诸葛亮关系日益密切，心中不悦。刘备察觉以后，就严厉批评他和张飞说：“孤之有孔明，犹鱼之有水也。愿诸君勿复言”(《三国志·蜀书·诸葛亮传》)。和张飞就再也不表示反对了。

建安十三年(208年)，曹操亲率大军南征刘表。刘表死，继任荆州牧的刘琮投降曹操。刘备为避开曹军锋芒，便撤离樊城，向江陵(今湖北江陵)退去，并派率领一万多水军，从水路往江陵会合。刘备军撤退到当阳长阪坡(今湖北当阳东北)时，被兼程追来的曹操骑兵打得大败，去江陵的道路被曹军截断，刘备只好斜趋汉津。率水军前去接应，保护刘备退到了夏口。

据《蜀记》记载，当年刘备在许昌，与曹操一起打猎。曾劝刘备乘人散混乱之际，杀掉曹操，以绝后患。可能由于形势不允许，刘备没有答应。这回在汉津会面，飘泊无依，愤愤不平，说：“当年在猎场上，如果听了我的话，就没有今日的困厄之灾了。”刘备解释说：“当时，也是为国家着想，爱惜曹操是难得的人才。再说，如果天意辅助正人，又焉知今日的飘泊不是咱们的福分呢？”不过，被认为不是事实。

曹操占领江陵后，气势更盛，大有吞没“无立锥之地”的刘备和消灭江东孙权之势。这就发生了孙权、刘备联军大败曹操的著名的赤壁之战。十一月，孙刘联军在赤壁(今蒲圻县西北)大破曹操。所率的一万精锐水军是刘备的主力，在这场战役中起了重要作用。后人为突出“全交重义”的特点，演义出了他在华容道上义释曹操的细节，至今脍炙人口。

赤壁之战后，刘备乘机攻占了武陵、长沙、桂阳、零陵四郡(都在今湖南境内)，刘备得了四郡，加上孙权借给他的南郡，终于在荆州站住了脚。然后刘备封拜元勋。被任命为襄阳太守、荡寇将军，镇守荆州。

建安十六年(211年)十二月，刘备带兵入巴蜀，取益