我跟一个离婚的女人在外租房子，她前夫知道这边，会不会过来找麻烦。