房屋买卖纠纷~~~在线等

首先，你是否开了收条给买方，而且是不是定金？按照一般的程序，双方对交易物有意向的时候，可以支付一定数量的定金。如果你已经开了500元的收条给买方，而且收条已经说明了这是定金，那你就要负责，按照《合同法》中规定的定金罚则，如果不履行债务一方是支付方，则丧失返还定金的请求权，如果是收受方，则对方有双倍返还定金的请求权。也就是说如果是买方的原因造成不能交易，他就丧失了这500元，但如果是卖方的原因不能交易，买方就有权要求卖方支付双倍的定金，也就说你最大的损失就是损失1000元，5000元是没有任何道理的。而且如果你没有开具任何的收条给买方，不能证明这笔钱是“定金”，你可以不承担任何责任，因为你可以认定这笔钱是“诚意金”，你可以退回给买方，不需要双倍赔偿。

你收的这500是怎么回事呀
你们之间是口头约定还是 签的有协议的
如果协议约定 ：违约方 赔5000的话你就得赔了
如果没有约定 那他让你赔5000是 讹诈 直接报警就行了
还有把500还给人家 那可不是你的钱 而且是你反悔的

没签协议或明确这是定金的话，退给他就是啦！你一分钱都不用出的。就这么简单。