需要及时采取措施。

首先，您可以向电话运营商申请挂失手机号，以防止别人再利用您的手机号进行诈骗等行为。

其次，可以向警方报案，让警方介入调查取证，并且可以采取法律手段追究侵权者的责任，避免给自己带来不必要的麻烦和损失。

最后，需要加强个人信息安全意识，不轻易将自己的手机号告诉陌生人，以免造成信息泄露和诈骗等问题。