我这么做有什么不对吗?

的确，你有这种权利，说不去也没有错。
不过，从人际交往的角度来讲，如果直接就说不去的话，会显得过于冷淡，不利于增进友谊，我觉得，你可以找些其他的理由来拒绝，而不要只根据自己心情来说话。
过于我行我素的话，可能会让朋友觉得你总是为自己考虑，因为朋友们一起出去，总会有些人可能要做出牺牲，如果每次都是别人去做这种牺牲，而你从来也不迁就，也就是说从来只有别人迁就你，而你从来也不迁就别人，别人就会觉得你从来不为别人考虑，自然就会觉得你自私了，这样对于增进友情并不是特别有利的。朋友嘛，总是要相互理解，相互体谅才行的，不可能只考虑自己的，那样就做不成朋友了。

对啊，你没做错．
不然你会失去自我．

要相信自己