打破别人设计制作的东西侵犯了著作权吗

一般来说侵犯的是物权。
不侵犯著作权。

没用于商业牟利，最多也就是损坏他人财物，根本谈不上侵犯著作权

从你问的问题里有两个理解：
第一理解，物理损害了别人的东西，比如把别人的雕塑打烂了，这时候你侵犯的是物权，而不是著作权，因为根据《中华人民共和著作权法》第十八条规定：“美术等作品原件所有权的转移，不视为作品著作权的转移。”由此可以看出打烂别人的东西和著作权没有关系；
第二种理解，篡改了别人的设计，比如修改了别人的设计图纸等。可以视为“歪曲、篡改他人作品”那就遣返了那个人的著作权。