“胡说”这词来源哪里？

看到“胡说”一词，我想起“老子化胡说”，据说“杜撰”一词与此有关，了解一下也是有趣。
五代时的宰相，名叫杜光庭的，依据佛经的义理，写了很多道经。有一说，后世对于没有事实根据而胡凑的著作，叫作“杜撰”，即由此而来。其中有一部叫作《老子化胡经》，说老子到了印度以后，摇身一变，成了释迦牟尼。在佛教中，也有些伪经，说中国孔子是文殊菩萨摇身一变而成。宗教方面，这些扯来扯去，有趣的无稽之谈，古往今来，不可胜数。
这里的胡，多指少数民族。和胡人有关。有点轻蔑的意思。