我比他大三岁，但是我们互相喜欢。可是双方家里人都不同意。到底该怎么办。