请问大家有什么好的建议.详情请进~

故事比较长,希望大家耐心的看,能给我提供一些比较有用的建议或者意见.
我和老公是来自两个不同省份的人,是在同一个城市打工认识的,谈了四年多,当初我家里人是强烈反对我们俩个在一起的,因为我的坚持,家里人最终默许了,但是我爸爸始终是不满意这桩婚姻的.
结婚之前的一年,我就没有工作了,结婚之后,很快就怀孕了,我也一直没有工作,怀孕到现在,婆家娘家两头跑,带孩子,现在孩子两岁.这中间也发生了一件让我至今很受伤的事情,那就是去年我在婆家带宝宝,他独自在外打工的时候,发生了一段婚外情.无意中被我发现了,我提出了离婚,他不同意,那时孩子不小,只有几个月,为了孩子,我选择了隐忍.这件事情,我一直隐瞒着我的家人,我不想让他们知道,因为这是我自己的选择,当然所有的苦果也是由我来尝.
时间一晃到了09年,他生病了,得了腰间盘突出,在家休息了一段时间,回到了厂里上班.由于经济危机,好多工厂都倒闭的倒闭,放假的放假,很多打工的都回老家了,他的厂也是效益大不如前,他也向老板提出,要回家了,因为一直在外面打工存不了什么钱,外面开销太大,再者,一家三口老是两地分居的状态不好,爸爸经常不在孩子身边,对他的成长也不利.所以,想回自己老家.
问题就出在这里,我们回老家,因为没有房子,是和他爸妈住一起了,他爸爸让我们自己另外造房或者买房,我家里人是坚决不同意我们买房,说我们没有经济能力,因为他现在得了腰间盘,以后肯定是不能干什么重活了,所以,手里的一点钱,不能买房,孩子以后读书啊什么开销大着呢,又是男孩.我家人的态度是,让我和他家人商量一下,我们住楼上.分开来住,如果他家一定要我们自己造,就让我回家,说老公是他儿子,小孩是他孙子,他们家要管的,就多了一个外人,那么我走好了.让我把我该得的一份钱拿回家,随便他们家是造房还是买房.我心里真的不是滋味,我不可能抛下我的孩子,一走了之,我于心何忍啊.可是他爸就是要我们另外造或者买,但是一分钱都不会贴我们的.我现在也不知道应该怎么办?
说明一下,他家是两层八间的房,他还有一个弟弟,今年大学毕业,读的是公安,以后是警察,他弟是不可能住家里的,肯定是买房的,他爸也明确表态,他们的钱全部给他弟买房.所以说现在家里的房子住肯定是够住的.但是,住一起久了,矛盾是不可避免的.