这算违建吗

我家在自己的地上盖厂房，地方政府同意我们建造并且也签订了协议，为什么城建办的人接到举报人的电话后不问青红皂白就将我家的房子给推了，都不给人解释的机会。推的时候还要摆出一副英勇的样子，还将我妈妈和我儿子推到了，所造成的损失谁负责。