退货破损拒收一般算承运人的责任。根据相关的法律规定,承运人对运输过程中货物的毁损、灭失承担相应的赔偿责任。