卫温等人开始在夷洲住了下来，帮助高山族人耕种，并教给他们农业生产技术和铸造技术，和高山族人相处得非常友好，但是由于水土不服，许多吴军士兵生了病，高山族人热情帮助他们医治。

由于他们的医疗水平也比较落后，吴军所携带的药物也使用完了，病死的人越来越多，卫温和诸葛直商量后做出决定，返回吴国。

有的高山族人愿意跟他们一同去吴国，于是卫温、诸葛直和夷洲高山族人洒泪作别，带着数千吴国士兵和高山族人回到吴国，

可惜卫温、诸葛直当初却没能替陛下多想一些、替陛下思虑，将夷洲收入吴国囊中，

那回到建业之后、陛下说不定会因为扩土之功，不计较他们违诏、无功，可惜他们最后还是什么也没做、太过妇人之仁了方才有此下场，吕岱心道，

“上大将军所言极是啊！这夷洲还需文武之道并用方才能彻底拿下这夷洲（台湾），上大将军当初在交州平叛之时便是如此，难怪陛下会选上大将军来征伐夷洲（台湾）。”顾裕想了想抱拳称赞道，

赤壁大战以后，曹操势力退回北方，孙权向西发展遭到刘备集团阻击，向北发展暂无胜算，岭南成为孙权势在必得之地。

延康元年，曹操去世，曹丕称帝，东汉正式灭亡。孙权将交州刺史步骘调到前线，吕岱替代步骘为交州刺史。

到任后的吕岱一方面恩威并施，在不断削平岭南地方势力反抗的过程中积蓄自身实力，一面努力寻求剪灭岭南割据势力的机会。

吕岱到了交州，高凉贼寇头领钱博乞求归降，吕岱承袭旧制，以钱博为高凉西部都尉。

又郁林少数民族兵卒进犯并保卫郡县，吕岱讨伐击败了他们。

其时桂阳、浈阳贼寇王金聚众在南海境界上，领头作乱为害，孙权又诏令吕岱征讨，生获绑缚王金，传送到京都，斩首和生擒共达一万多人，吕岱因功升为安南将军、假节，封爵都乡侯。

黄武五年，任交趾太守40年之久的士燮去世，士燮的儿子士徽意欲叛吴自立，割据一方。

孙权出于防范，欲罢免士徽交趾太守一职，改任其为安远将军，领九真太守（九真，今越南中部）以校尉陈时接代士燮为交趾太守，目的是进一步削弱士徽的势力。

对此，士徽更加不满，叛吴之心益明，为此，吕岱上表孙权建议分拆南海三郡设置交州，以将军戴良为交州刺史，海东四郡另外虚置广州，吕岱自任为广州刺史。