但是合同还不到期要交违约金的,要是不辞职直接走人会有损伤吗?