离婚协议的时候孩子归男方。所有财产都归男方。现在男方违约。

如果男方单方面违约你可以索回房产，这是你的权利，我朋友曾碰到过和你一样的事情，官司打赢了。

这种情况属于男方违约，可以到法院起诉，要求男方对孩子履行抚养义务，或者孩子由女方抚养，男方付抚养费至孩子满18周岁。