当乙方不履行协议时，甲方可以以此来限制乙方的人身自由吗？？如果不能，请说明因果及解决办法。

限制人身自由属于违法条款，就是说就算这么规定了也是没有效得。
你可以拿着合同向法院起诉请求强制执行

限制人身自由的条款不合法,即使协议作出规定,也是这一部分无效

任何人，出公安机关外。没有任何权利限制他人人生自由权利。