潘浚为人聪察，对问有机理。他二十一岁时师事于大儒宋忠，并受到"建安七子"之一的王粲赏识，因而知名。不到三十岁就被荆州牧刘表任命为江夏从事。当时沙羡县长贪污腐败，被潘浚审查处死，使得全郡震惊恐惧。后来担任湘乡县令，治理湘乡颇有名声。

建安十四年(209年)，刘备领荆州牧，任命潘浚为治中从事。建安十六年(211年)，刘备入益州，将潘浚留下以管理荆州事务。

归属孙权

建安二十四年(219年)，孙权派军袭杀关羽，占领荆州，将领官员全都归附，而潘浚却称疾不见。孙权亲自登门拜访，潘浚仍涕泪交横，伏床不起，孙权以观丁父、彭仲爽等俘虏出身的楚地先贤为例安慰潘浚，又派人以手巾帮他擦脸，潘浚才下地拜谢，并将荆州军事部署详细告诉孙权，被拜为辅军中郎将，并领兵。

侏儒一节

当时，武陵从事樊胄企图煽动五溪蛮夷将武陵献给刘备，孙权询问潘浚，潘浚认为派五千人前往就够了，孙权问为何轻视他，潘浚回答:"樊胄颇能卖弄唇舌，实际上却没有辩论之才，先前曾为州中人士准备宴会，但是到了中午都还没有东西吃，十几个人就自行离开了，这就如同只看到侏儒的一部份，就可以得知全貌一样。"孙权大笑，派遣潘浚统领五千人前往，果然斩杀平定樊胄。

为官正直

后升迁为奋威将军，封常迁亭侯。

东吴的重臣、忠臣、直臣。潘濬的能力很高，通过传记里的几件事情就可以看出：时沙羡长赃秽不修，濬按杀之，一郡震竦。——正直、执法。武陵部从事樊伷诱导诸夷，图以武陵属刘备，外白差督督万人往讨之。权不听，特召问濬，濬答：“以五千兵往，足可以擒伷。”权曰：“卿何以轻之？”濬曰：“伷是南阳旧姓，颇能弄唇吻，而实无辩论之才。臣所以知之者，伷昔尝为州人设馔，比至日中，食不可得，而十馀自起，此亦侏儒观一节之验也。”权大笑而纳其言，即遣濬将五千往，果斩平之。——知人以及军事才能。骠骑将军步骘屯沤口，求召募诸郡以增兵。权以问濬，濬曰：“豪将在民间，耗乱为害，加骘有名势，在所所媚，不可听也。”权从之。——不惧权威，正直，同时可见孙权对其的重视。五溪蛮夷叛乱盘结，权假濬节，督诸军讨之。信赏必行，法不可干，斩首获生，盖以万数，自是群蛮衰弱，一方宁静。——军事、政治才能。中郎将豫章徐宗，有名士也，尝到京师，与孔融交结，然儒生诞节，部曲宽纵，不奉节度，为众作殿，濬遂斩之。其奉法不惮私议，皆此类也。——正直、执法。归义隐蕃，以口辩为豪杰所善，濬子翥亦与周旋，馈饷之。濬闻大怒，疏责翥曰：“吾受国厚恩，志报以命，尔辈在都，当念恭顺，亲贤慕善，何故与降虏交，以粮饷之？在远闻此，心震面热，惆怅累旬。疏到，急就往使受杖一百，促责所饷。”当时人咸怪濬，而蕃果图叛诛夷，众乃归服。——识人、正直、不谄媚。因为潘濬能力超众，所以孙权对其十分欣赏，而且也听得进他的劝谏