我想让我的老公以后去我家生活,但是他压力很大,就是怕影响不好,怕村里人说三道四,我该怎么办?