潘姓主要出自姬姓。西周初年，周文王孙伯季食邑于潘地（今固始县境内），因伯季家族治理潘地有功，又被加封为伯爵国。公元６７３年，楚国军队进攻潘国，潘国无力抵挡。潘国国君权涌，为使臣民不忘潘国故土，要潘国臣民世代以潘为姓，随后自刎于殿堂之上。权涌之子潘崇带领家人投降楚国，他卧薪尝胆，刻苦读书、习武，后被推荐为楚太子商臣的老师，并成功诱使太子商臣逼迫楚成王退位。商臣即位，封潘崇为太师，让潘崇掌管国事，潘姓遂成楚国最有影响的姓族之一。据载，潘姓还有一些是从历史上少数民族（鲜卑族）改姓而来，台湾高山族人数最多的就是潘姓。
潘姓历史名人中，晋代有文学家潘岳，宋朝大将潘美，明朝科学家潘季驯，诗人潘琴台，清代思想家潘平格，当代有政治家潘汉年，画家潘天寿，戏剧家潘月樵等人。