“多缘刺史无坚约”有什么典故？

黄景仁《感旧》四章
大道青楼望不遮，年时系马醉流霞。风前带是同心结，杯底人如解语花。
下杜城边南北路，上阑门外去来车。匆匆觉得扬州梦，检点闲愁在鬓华。

唤起窗前尚宿酲，啼鹃催去又声声。丹青旧誓相如札，禅榻经时杜牧情。
别后相思空一水，重来回首已三生。云阶月地依然在，细逐空香百遍行。

遮莫临行念我频，竹枝留涴泪痕新。多缘刺史无坚约，岂视萧郎作路人。
望里彩云疑冉冉，愁边春水故粼粼。珊瑚百尺珠千斛，难换罗敷未嫁身。

从此音尘各悄然，春山如黛草如烟。泪添吴苑三更雨，恨惹邮亭一夜眠。
讵有青乌缄别句，聊将锦瑟记流年。他时脱便微之过，百转千回只自怜。

猜测应该是杜牧的故事。。传说杜牧年轻时游学湖州时，偶遇一名十二岁的女孩，杜牧很喜欢她，就跟女孩的父母约定，十年后当以湖州刺史的身份迎娶那女孩。。结果十四年后杜牧才当上了湖州刺史，等他去迎娶那女子时，那女子已经嫁人了。。诗＂自是寻春去较迟，往年曾见未开时。如今风摆花狼藉，绿树成荫子满枝＂说的就是这个故事。。
这里黄景仁的感旧说的是他年轻时跟一名歌女的爱情故事，但是他们最后并没有结果，所以这里用杜牧的故事自嘲，最后说难换罗敷未嫁身。。