持有香港临时身份证或港澳通行证的人员可以在一定范围内随意进出香港，但仍需遵守香港的移民法规和规定。例如，持有港澳通行证的居民可以在规定的地点和时间内自由进出香港，但仍需接受边境检查和申报程序。持有香港临时身份证的人员也需要遵守相关的入境和出境规定。总之，持有这些证件的人员可以在一定程度上方便进出香港，但仍需遵守相关规定，不能随意进出。