是不是只有温州那边的人才说西这个字啊？

你说的“西”其实是温州话“显”的发音，是一个副词，很的意思，温州话里很多时候副词时后置的，比如“很好吃”说成“好吃显（发音：XI，很之意）”，自己再慢慢体会。

不是这个“西”而是这个“兮”古文里也有出现啊…

不是吧，我是嘉兴桐乡的，我们那边土话也会用到这个XI字的，有时候就表示夸张下，程度很深的意思，比如XI 倒霉