如果离婚时没有到庭要法律责任吗?

那叫缺席判决，是允许的。

谈不上什么法律责任，但不到庭可能会产生诉讼对你不利的后果。
你现在是否离婚还不知道，应该到发传票的法院去查一下，看是否开庭审理、是否判决及判决结果。

被告无正当理由经两次合法传唤拒不出庭，可以缺席判决。
原告无正当理由不出庭，视为撤诉（当然这种情况不大可能发生）。
离婚案件中调解不是必经程序，可以不经调解直接判决离婚。