怀德村是单姓村，村民多姓潘。据史载，潘氏源于黄帝的嫡传姬姓，乃西周文王之后。周文王第十五子毕公高的第四子季孙公，被赐食采于潘地（今河南荥阳），是为姬姓潘国。季孙公被尊为潘氏始祖，其子孙不断繁衍壮大，并逐渐向南方迁徙。

南宋淳佑年间，潘英甲携妻子南迁，落籍福永怀德乡（今深圳市宝安区福永街道怀德村），荜路蓝缕，开创基业，子孙繁衍，望重一方，被尊为深圳西部潘姓肇基之祖。