根据香港与深圳的不同政治体系和边境管理规定，香港机场直达深圳不算作往返香港一次。因为进出境手续和需要的证件不同，需要分开办理。香港机场直达深圳的游客需要遵守深圳的相关规定，如申请中国大陆签证等。而从深圳返回香港，也需要办理进出境手续和管制检查。因此，虽然香港机场直达深圳是从香港出发的，但它并不算作“来港一次”，需要与从深圳返回香港分开计算往返次数。