I was the only person in my office who was invited.

楼主说得没错
但是这里的关系词不是在现行此后面。为了避免混淆你到底修饰的是office 还是person，故选who

先行词由only,all,any等修饰时 一般关系代词用that,但并不是说who 不可以用 只是相对who 来说 that 要比较常用而已.

楼上所说的避免混淆的情况也是存在的 但是在此句中并没有这样的情况 因为was invited的主语不可能是my office 所以这里跟避免混淆没有关系.

在避免混淆的情况下 看以下句子:

There is only one student in the school that I wanted to see.

这里在语法上是成立的 但是含义模糊 that 是指student还是school 不清楚 因此为了句意清晰 这里应用who.

因此并没有绝对的说明 only修饰后 就不可以用who了.

一方面，如各位所言，因为定语从句与先行词 person 分隔开了，用 who 使语义更明确；另一方面，先行词是人，倾向于用 who，哪怕有 the only 以及最高级、序数词等修饰语。
对于不定代词，也是如此。everything, anything 等要用 that 引导定语从句，而 everyone, anyone 后面用 who 是很普遍也很规范的。
换言之，定语从句要用 that 是相对于 which 来说的。

没错，是应该用that.

先行词由only,all,any等修饰时,只是不可以用which.who没有严格要求

没错，是应该用that.