Is this factory the one you visited last Sunday，

不能用which代替the one,因为如果去掉the one,句子就变成了Is this factory which you visited last Sunday.句子就没先行词了，which 是不能作先行词的，定语从句中必须要有先行词，而且，在定语从句中，当先行词是the one时，后面的关系代词只能用that,这在语法书上都可以找到。所以，其实the one 后面省略了that,因为这个关系代词在后面从句中作宾语是可以省略，你也可以加上。

the one是特指 this factory ，因为 this factory 是你上个星期参观过的。

不能用which，因为这里是特指，which没有特指的意思。