COM组件是以dll文件格式发布的,请问dll文件都是com组件吗?如果不是,那怎么区分这个dll文件就是com组件呢?

当然不是.
另外,COM也可以以EXE/OCX形式出现,本质上,DLL/EXE/OCX都是PE格式.
做成PE格式的COM,通常是COM Server,当要请求COM服务时,通过注册表里的GUID信息,可以找到实现的DLL是哪一个/处于何处.所以你的问题问反了.