买房定金已交5万，买家说要不买了，我们当时也签合同了，但上面没写多少违约金的事，我可以不退定金吗？

1、违约金和定金是两个概念。
2、定金指合同当事人为保证合同履行，由一方当事人预先向对方交纳一定数额的钱款。定金的效力是担保合同的履行，因买家不能履行合同的，定金不返还。应该不退的。
相关法律规定：合同法第一百一十五条规定：“当事人可以依照《中华人民共和国担保法》约定一方向对方给付定金作为债权的担保。债务人履行债务后，定金应当抵作价款或者收回。给付定金的一方不履行约定的债务的，无权要求返还定金；收受定金的一方不履行约定的债务的，应当双倍返还定金。
你们先前的合同是担保法里提到的债的关系。不详细说这个债的关系了，总言之就是定金不用退的。

ps：解释下违约金
违约金是由当事人约定的或者由法律直接规定的，在违约方不履行合同时?偿付给守约方的一定数额的货币。合同法第一百一十四条规定：“当事人可以约定一方违约时应当根据违约情况向对方支付一定数额的违约金，也可以约定因违约产生的损失赔偿额的计算方法。因此在签订合同时要对违约金作出明确的约定。违约金如果没有约定就没办法再追索赔偿了。

可以的并且是合法的，买方违约定金不用返还，卖方违约双倍返还定金

你是卖方吧？买家不买了，交的定金是不能要回的。合同法有相关规定。另外这里的定金与违约金不是一回事。即使没有约定违约金，定金也可以不退回。

定金和违约金一般只能择一适用，没有违约金的约定就适用定金的法律规定，所以你有权不退还。