眼见自己的主张得不到孙权的认同，庞统一气之下决定离开吴县不再出仕，虽然孙权和鲁肃极力挽留，但是庞统却说他心意已决，既然孙权和自己的政治抱负相距甚远，自己继续留在江东也是于事无补，反而会引起臣工之间的不和。
无奈之下孙权只好同意了庞统的请辞，不过为了尽力留下庞统，他特地派遣平日里与庞统私交不错的陆绩、全琮和顾劭等人前去送行。
送至阊门后庞统已然得知了他们的来意，分别对他们三人的性格特点和能力进行了品评，之后这三人都受到了孙权的重用。
庞统离去后孙权不禁感到十分惋惜，他对鲁肃说：
“子敬啊，刘备身边有个‘卧龙’诸葛亮，曹操身边有个‘冢虎’司马懿，为什么我孙仲谋就留不住一个‘凤雏’庞统呢？难道真是的我不会用才吗？”
对此鲁肃却仅仅是回以神秘的微笑，而并没有正面回答孙权的问题。
离开了吴县之后庞统辗转来到了桂阳郡的耒阳县，此时刘备因为孙权刚刚同意将南郡所有的守军全部撤往江夏，刘备获得了这个真空地带后将留守在长沙、桂阳和零陵的大批官员调往南郡任职，而荆南各郡的人才吃紧，刘备便发布招贤令在各地求取有才能的人出仕。
见此状后为了掩人耳目，庞统就地化名为杨耒开始应试。
庞统的的才能放眼整个天下都是屈指可数的，更不要说在这个小小的耒阳县内拔得头筹了，很快负责应试的简雍就看中了庞统，并任其为耒阳县令一职。
入职后庞统非但没有展现出他那常人无法比拟的才能，反而整日不理县务，县衙内多日来的民诉堆积如山，庞统一律不予以理会。这引起了百姓和当地官员的强烈不满，于是联名上书坐镇公安的刘备，要求严惩庞统。
考虑到这件事会危及荆州后方的稳定，进而影响刘备接下来西征的步伐，所以刘备不得不重视这件事，先是派遣专员调查此事并且先行罢免了庞统的县令一职。
与此同时刚巧在舂陵调运兵粮的诸葛亮得知了这件事，便顺道前往了耒阳察看。
当他在监狱内看到这个当地百姓皆唾骂的杨耒时，诸葛亮不由的惊呆了，因为站在他面前的这个衣着邋遢的人居然正是能力堪与自己比肩的庞统。
不过惊讶之余诸葛亮对他为什么会出现在荆州感到十分可疑：“我记得不久前吴候孙权还对你奉若上宾，怎一转眼你就到这区区一县之地来当起县令来了？”
庞统叹了口气：“孔明你可能也猜得出来，之前周瑜主张攻伐益州之事就是我在后面极力推动的，本想继续让孙权执行这个远大的计划，但是没想到的是鲁子敬和孙仲谋两人目光短浅，不仅没有采纳我的建议，反而如你们所愿将南郡交给了刘备，如此以来你们进攻西川便成了坦途，可惜啊...放着这‘天府之国’不要，想必孙权日后肯定要后悔的。”
打从一开始诸葛亮便猜出了孙权西征巴蜀定然不是周瑜一人的谋划，能够出此险招奇招的也就只有谋略能与自己相当的“凤雏”庞士元了。
诸葛亮席地而坐笑着对面前的庞统说：
“士元兄这席话听得在下一身冷汗，不过既然东吴没有容阁下之地，不妨你就来荆州为我主刘皇叔效力吧，眼下我主正在广纳贤才，凭借兄台的大才必定能够一展拳脚。”
看着对自己诚意想要的诸葛亮，庞统的表情却让人难以琢磨：
“孔明，你真的愿意让我加入刘皇叔的麾下？你可别忘了，如果我一旦出仕刘备的话可能会对你的地位造成威胁，这是你希望看到的吗？”
对此诸葛亮显得很淡然：“我与你一样，心中想的只有复兴汉室罢了，功名于我实在没有太大的诱惑力，等到天下平定了之后我还是更加愿意回到隆中耕种放牧。”
得到庞统的默认后，诸葛亮便带着他一同返回已经将治所挪到江陵的刘备处。
刘备之前曾经和诸葛亮的多次谈话中涉及到当今的“五瑞”，不过他更加清楚的是庞统的实力深不可测，光是一个诸葛亮便让他感到十分可怕，若是再招纳庞统这样的大才无异于是一把双刃剑，这不禁让刘备开始犹豫起来。
看到刘备表面上热情欢迎却始终没有委任自己任何职位，庞统已然猜透了刘备的心思，于是他暂时保持了沉默，没有对此发表任何的态度和不满。