能认为这个劳动合同无效吗？

1、“我于去年与总公司设在北京的工厂续签了劳动合同”表明：你与北京工厂有劳动合同关系。只是你还没拿到劳动合同而已。
2、如果该北京工厂无独立法人资格，则可进一步的表明：你与该总公司有劳动合同关系。（本人的第一份工作有点类似：劳动合同是与分公司签的，但总公司改制时统一享受了补偿金）。
3、“人事部的协议”，不知是总公司的还是北京工厂的。当然不管是哪个具体单位的，都不会影响你的劳动关系的成立，只是影响到你是北京工厂还是上海工厂的员工（因为人事部的协议有可能含有派遣、调动、借用等不同情形）。
4、关键看你的社会保险是在哪里。因为单位去社保局办理社会保险的一个必备资料就是劳动合同。如果你的单位（不管是哪个工厂）一直替你交着社会保险，那你就是这家单位的员工。如果你是自行以自由职业者身份交的社保，那就麻烦些了（看你的表述，不大像自行交社保）牢记这一点！！！对你绝对有帮助！！！
5、俗话说：防小人不防君子。人事部的协议得妥善保存。至于劳动合同，积极争取拿到一份（但对单位的言行不需要过激，也许他们真的是办事效率慢）。