f(p)=p*11 mod 256

mod就是求余数，对应的C语言操作符是%，即原式等价于：

f(p)=p*11 % 256

mod是取模的意思，例如：
8mod3 他的返回值是2（即8÷3余数）

mod返回一个整数除以另一个整数之后产生的余数。

mod即为模，在C语言中表达式为m = a % b;此值为a - b(a/b);即a除以b的余数。按照你的式子计算出来的值可能不再是一个可显示字符了。