我自己不让说怎么办

这可以说是人的正常心理。
但是你这方面的疑心太重了。
别人一提你你莫明奇妙生气，应该是怀疑他们背后说你坏话吧。
别太在别人的语言，多信任别人些。
路是自己走出来的，不是别人替自己走出来的。
别人笑我太疯癫，我笑他人看不穿。就是这个意境吧。
总之，多信任别人。

那你试着去回说他们。你越这样，他们反而越喜欢说你，都不是说走自己的路，让别人说去吧！何必太在乎别人说的什么呢！