在公的时代，襄阳是名士云集之地。论学识名望，此公无疑在众多幕僚中独领风骚，但他却选择了一条与众不同的道路终身未入仕。那个时期，荆州治所就设在襄阳，因无战乱且土地丰饶，吸引了全国十余万民众及众多才华横溢之士如王粲等前来。这使得襄阳成为人才与学术交流的繁荣之地。
尽管人才济济，刘表却未能识才。如诸葛亮和徐庶等人在他眼皮底下隐居，而王粲虽在其麾下为官，却未能发挥所长。刘表统治的荆州，土地广阔且兵力雄厚，在全国拥有重要地位。刘表并未有统一天下的雄心，他更担心的是自己的势力被削弱。
在刘表统治荆州的日子里，他依赖的是襄阳的士族如蒯良、蒯越、蔡瑁等人。这些人能与他共享荣华富贵，但在安邦定国的大事上，却难担重任。刘表采取的是自保的策略，坐观时局变化。荆州已成为各方势力争夺的焦点。在北方基本平定的情况下，曹操正准备南下，而孙权则对江汉地区虎视眈眈。刘表意识到无贤人辅佐，于是把希望寄托在名扬天下的庞德公身上。
刘表曾多次登门求贤，但每次都遭到庞德公的谢绝。庞德公面对刘表的请求，以“遗之以安”的道理回应，表示自己的担忧：出来做官可能会让子孙面临危险。为了躲避刘表的再次邀请，他甚至选择隐居鹿门山，采药自乐。
庞德公拒绝做官，真的只是因为他想为子孙留下平安吗？或许这其中还有更深的考虑。庞德公虽对刘表托辞“遗之以安”，但他对学生诸葛亮和侄儿庞统并无反对之意，反而积极推崇。庞德公的拒绝，更多的是基于对刘表的不认同，而非单纯的拒绝做官。
庞德公的选择或许是对的。如果他答应在刘表手下做高级幕僚，恐怕在刘表继承人刘琮降曹之时，他也会被迫跟随。王粲不就是走了一条这样的路吗？庞德公拒绝为刘表效力，可能是看到了刘表的局限和荆州的未来不确定性。他选择隐居，既是对自己理想的坚守，也是对子孙未来的一种深思熟虑的考虑。
