이혼을 고려 중인데 이사하면서 남편을 새로운 집에 들이지 않은 것이 이혼 소송에서 본인에게 불리하게 작용할까요?