这样的行为算不算骗婚？要追究哪一方的责任？

根据你的描述，双方的感情还是真实的，应该不是骗婚。如果女方父亲执意不让二人办理结婚登记手续或者采取其他暴力手段，可能涉嫌暴力干涉婚姻自由罪。实在结不成，男方可以起诉要求女方返还已付的彩礼并赔偿其他损失。

我国《婚姻法》规定，借婚姻骗取财物超出了借婚姻索取财物的范围，可根据具体情况按诈骗行为以刑律处理。
不过这个女方父亲，可以起诉暴力干涉婚姻自由。
因为实在是不能确定对方是不是骗婚～～确实都有这种担心，所以最稳妥的办法是把人要回来，要不回来就起诉暴力干涉婚姻自由。人要回来了，其他都好说。否则免谈。

有点象