土地被借用.

1#如果签了协议就不能拆！因为这是政府租地，合法的。不过你正好也有了告他的证据，可根据《行政诉讼法》向当地检察院提起行政诉讼。具体事宜可以找个律师咨询一下，应该是免费的。
2#如果没签东西，最好也别拆。一是因为那时政府办公场所，你先拆你理屈。二是因为它是政府，情况不明就乱来的话就麻烦了。

建议：首先是要找到对自己有利的证据，像政府的租赁凭证，土地所有证等等能证明政府租你地并付租金的东西。然后找个专业律师好好根据情况咨询一下，然后再做决断。