我家屋地被人抢占了，怎么办？

与我家的屋地相邻的那户人建房子，他建房子的时候把他的墙砌到我的屋地里了，虽然他砌进来的位置不是很多，但我家的屋地确实是被他抢占了些地方。好好的屋地无缘无故地就少了，谁都不愿意！
我试过请街道办事处的人来调解，希望他能退回那些占用的屋地，但他不愿意退回；
我也想过这些办法：
1、我自行拆除他建到我屋地的那个围墙，但他家中兄弟众多，如果他要来我家搞事，我家人力不及他家，如果打起架来，打不过他；
2、起诉他，但打官司不但要花很多钱，也肯定会影响自己的工作，而且拖的时间比较长。
所以我想请教大家有什么办法可以让我从他手中取回屋地。
考虑到大家提供的办法可能与当地的环境有关，所以我说出我屋地的所有地：我屋地在广州市白云区的。

我家屋地被人抢占了，怎么办？ 百度首页被其他网站抢占成为了主页，怎么办呀？ 电脑主页被"莅临MSN中国"抢占了,我该怎么办? 如何处理IP地址被人抢占 我的首页被4199恶意抢占了怎么回复 我家的一块地被组长私卖了，我该怎么办呢 我家电脑被人共享了怎么办? 显卡抢占内存和处理器怎么办 我家是局域网，很多人下东西导致我网速过慢，问有什么办法抢占网络资源不？ 为什么男人穿牛仔背带裤的权利被女人们抢占了?