孩子的父亲能否有权利单方面把孩子过继给他人？

你的孩子，虽然监护人不是你，但你还是他的母亲，他父亲的行为，应该是违法。具体我说不来，因为我不是做法律工作的。你可以到你当地司法部门请求司法援助或咨询律师（可不付费），然后知道怎么做后，再行动。

离异父亲无权单方面把小孩续给别人的吧

必须经过你的同意。如果对方执意不经你同意就把孩子过继给别人，你可以提起诉讼。