本人 1981年在粮食局乡粮管所待业，1984年入伍，81年-84年期间算不算工龄？

不算

待业不算
从入伍开始才算工龄

算连续工龄，不必担心，不过你所说的待业，不知道有没有正规手续，比如招工、招聘等等，或者调动之类的，如果没有的话，就不好说了。

别人承人就算，不承认。。当然不算。