用完成时还是过去时?为什么?

两句都对。看你整体用的是什么语态了。如果一直用的日志型，做到哪写到哪的现在式，就用 I have arrived by train.
如果整体都用的过去式这句就也要用过去式

第一句对。
只有对现在造成一定影响才用现在时，这句话显然是陈述过去发生的一个动作，故用过去时。还有，有ago这个标志词，基于此，用过去时。

i arrived by train a moment ago和I have arrived by train a moment ago,
不觉得用ago很便扭吗，建议改成before.
the right one is i arrived by train a moment before.
ago,before,等词连用用过去是

a moment ago 作时间的话，还是用过去时好些。
完成时多用来强调结果。
比如：I got here by train a moment ago, 强调动作
I have been here for a while.强调结果

凡是有ago都用一般过去时.
区别:有since, up to now, until+时间（如2007）就用现在完成时．
例如：Up to now I haven't heard from him.(到现在为止我还没有他的消息．)

"I arrived by train a moment ago."正确，a moment ago 是一个时间点，有时间点的句子用过去式。如果想用完成式可以说"I have arrived by train".