二人領命前去，劉賢這才轉而領兵，欲要順西江而下，直取南~海。忽聞探子來報：“南海太守士武，趁著我軍攻打吳巨之機，盡起麾下六千兵馬溯江而上。目前已拿下高要縣城。”
劉賢聞言，與龐統對視一眼，笑道：“士武果然中計。”
當下劉賢與龐統一道，率領黃忠、魏延、郝昭、賴恭、行軍主薄趙累、參軍劉敏，以及降將吳巨、劉彥等人，領兵萬余順江而下，來到高要縣城之外。
黃忠、魏延便欲攻城，劉賢止住道：“不須攻城，只要在等幾日，士武自然不戰而亡。”
黃忠、魏延不信，卻又不敢反駁劉賢，只得按耐性子等候。
兩軍在高要城相持了七八日，士武果然棄城向南逃走，劉賢大喜，當即命黃忠、魏延分路追殺。二將領兵窮追不舍，直到進入合浦郡境內，遇到合浦太守士壹領兵阻擊，黃忠、魏延這才收了兵馬，與士壹各占對山險要相持。
而士武率領的六千兵馬，此時只剩下二千余人，與士壹合兵一處之后，也只得七千人馬，倒是和黃忠、魏延的兵力相等。
此時的劉賢，早已取了高要，隨后順江而下，直達番禺。
番禺城中守軍望見劉賢到來，當即大開城門，從城中走出兩員將領，卻是吳碭、曾夏二人。
原來從北方過五嶺而至嶺南，共有五條道路，都十分艱險，當年秦始皇南征百越，漢武帝攻取南越，都是五路齊發。其一是從豫章翻越群山，經厲門塞南下，至南海郡的龍川。這條路十分艱險，并不適合大軍通行，近百年來更是基本廢棄，鳥獸難通。其余四條則都要經過荊州，經過多年興廢，目前還在使用的僅有兩條。其一是劉賢走的靈渠古道，最為便捷。其二是從桂陽郡南下，入連江，經過桂陽郡境內的煌溪關、陽山關，進入交州境內的橫浦關，一共三道關卡，然后才能進入珠江水系的北江，進而直抵南海。
因三關道路艱險，河灘縱橫，水文條件十分復雜，因此也不適合進兵。
在討論進兵方略的時候，原本劉賢、龐統都屬意靈渠，不愿從橫浦關進兵。然而樊友卻來告知，桂陽郡樊家與交州有生意往來，樊家每年都會派出商隊過橫浦關南下至交州購買珍珠、玳瑁、珊瑚、犀角、象牙等珍貴之物，然后轉賣至荊襄之地，獲利極為豐厚。又有吳碭、曾夏二人本是南海郡人，當年進入荊州之時，也曾走過橫浦關。因此劉賢與龐統商議之后，這才派吳碭、曾夏領兵進入桂陽，在樊家商隊的帶領下，一路南下偷襲橫浦關，繼而順北江而下，直取番禺。
劉賢又大張旗鼓攻打吳巨，逼得吳巨將駐守邊境的虞褒、劉彥調回，士武見有機可乘，當即趁虛起兵來奪蒼梧土地，致使番禺空虛，被吳碭、曾夏一舉拿下。
士武后路被斷，只得南下逃亡合浦，南海一郡，至此落入劉賢手中。
當日劉賢進城，重賞吳碭、曾夏，命二人分兵去取各縣。不數日，各縣相繼平定。于是劉賢封趙累為南海太守，留吳碭協助趙累。
為了防備東吳從豫章和會稽翻山越嶺而來爭奪交州，劉賢又任命曾夏為龍川都尉，主管龍川、揭陽兩縣，堵塞厲門塞及沿途隘口，防備豫章之兵和會稽之兵。
當然，這兩條路都十分艱險，江東大軍也基本不可能從這兩個方向攻擊而來。但劉賢卻覺得做些準備，有備無患才能萬無一失。
南海郡至此平定。劉賢聞知黃忠、魏延攻打合浦，被士壹、士武堵截在群山之中，難以前進，當下便與龐統一道，領著校尉郝昭、參軍劉敏以及賴恭、吳巨、劉彥等人前往增援黃忠、魏延。