土地建厂房

如果是农村土地是不准建厂房的，农村土地只能用于农业项目，政府说交钱后就没事了，也是个擦边球。收费也不合法。

不知道你买的土地是在哪里（农村还是城镇），是什么性质的土地（国有还是集体），政府要你交的地什么钱（是罚款还是租金）。
对于你的问题我想说几点：
1、你是不是租的村里的集体土地，如果租的集体土地，应该只能种植或搞养殖业。你所说的政府看到你建了厂房做别的加工业，所以才让你交罚款否则拆除。
2、你说的买的土地，有没有土地使用证，如果有证，上面应该注明土地用途的，建了厂房可能是不符合土地利用规划的。如果没有证，本来就是私下的交易，那就不好说了，只能听卖方的了。