韩愈《除官赴阙至江州寄鄂岳李大夫》一诗中的 “不枉故人书，无因帆江水。”是什么意思？

“盆城去鄂渚，风便一日耳。
不枉故人书，无因帆江水。
故人辞礼闱，旌节镇江圻。
而我窜逐者，龙钟初得归。”

大意可能是说，
虽然我旅途中停靠的盆城到鄂渚您的治所，顺风只消一日，（但我还是不能去拜访），不是要枉费老友你的（情谊）书信，（我实在）没有什么理由（不好意思）扬帆去拜访您。（因为）您是辞别庙堂，风光的做镇守一方的封疆大吏，而我只是个被谪贬远地的人，老态龙钟了才能返回。