开过红票之后的增值税票

对方是正确的。
你们发现增值税发票有问题，那就应该将原发票退还给人家。
再者，按相关规定，在发票出现错误的情况下，没有收到退回的发票，是不允许开红字发票的。
因此，你们想要让对方重新开具发票，必须将原发票退回。

你得把原先的发票寄回去
他们要把每一联收集起来
作废要跟税务解释的