此家人言耳 是什么意思？怎么就有贬义了呢？

家人：仆役，属庶民阶层。
"此家人言耳"也就是说：这是下等人说的话罢了。

辕固生的话不仅对老子学说大不敬，而且暗中冒犯了窦太后的自尊——她即出身庶民，并亲自做过宫中女婢，因而使窦太后十分生气。