“甚矣吾衰也”的句式

是典型的倒装句，补语前置，没有状语前置句。
正常语序应该是：吾衰也，甚矣！
“甚矣吾衰也！”为主谓倒装句。
所谓主谓倒装也叫谓语前置或主语后置。古汉语中。谓语的位置也和现代汉语中一样，一般放在主语之后，但有时为了强调和突出谓语的意义，在一些疑问句或感叹句中，就把谓语提前到主语前面。 例：甚矣，汝之不惠。 全句是“汝之不惠甚矣”。谓语前置，表强调的意味，可译为“你太不聪明 了”。即与本题中的句式相类。

主谓倒装

例:甚矣，汝之不惠《愚公移山》

正常语序为：吾衰甚矣

主谓倒装，是强调句，“甚矣吾衰也”，强调“甚”，也就是衰的程度，可对照此句“甚矣,汝之不惠”——《列子·汤问》

因为“甚矣”是表示程度！修饰的是“衰”，因该原本是：“吾衰也甚矣”。我比较同意你的观点！