WHEN能跟HAVE连用么？

当然不可以了，when问的是过去的具体时间点或者时间段，与现在无关，而你说的have是构成现在完成时的助动词，而现在完成时总体上属于现在时范畴，两者在时间和时态上有抵触，所以句子只能用一般过去时：
When did you blame me？

不一定阿,可以说When did you blame me?语法上也行阿
这就强调你是什么时候责备我的
不一定要像楼上说的

when have you blamed me？
动词要用完成时

可以的
完成时 have就是个助词