我们在一起4年没生过小孩,他家会不会因此而反对呢?