我想问有人不断地去我所在工作单位说我与某某有不正当男女关系，他是否构成诽谤罪

一、概念及其构成
诽谤罪（刑法第246条），是指故意捏造并散布虚构的事实，足以贬损他人人格，破坏他人名誉，情节严重的行为。
1、客体要件
本罪侵犯的客体与侮辱罪相同，是他人的人格尊严、名誉权。犯罪侵犯的对象是自然人。
2、客观要件
本罪在犯罪客观方面表现为行为人实施捏造并散布某种虚构的事实，足以贬损他人人格、名誉，情节严重的行为。
（1）须有捏造某种事实的行为，即诽谤他人的内容完全是虚构的。如果散布的不是凭空捏造的，而是客观存在的事实，即使有损于他人的人格、名誉，也不构成本罪，
（2）须有散布捏造事实的行为。所谓散布，就是在社会公开的扩散。散布的方式基本上有两种：一种是言语散布；另一种是文字，即用大字报、小字报、图画、报刊、图书、书信等方法散布。所谓“足以贬损”，是指捏造并散布的虚假事实，完全可能贬损他人的人格、名誉，或者事实上已经给被害人的人格、名誉造成了实际损害。如果散布虚假的事实，但并不可能损害他人的人格、名誉，或无损于他人的人格、名誉，则不构成诽谤罪。
（3）诽谤行为必须是针对特定的人进行的，但不一定要指名道姓，只要从诽谤的内容上知道被害人是谁，就可以构成诽谤罪。如果行为人散布的事实没有特定的对象，不可能贬损某人的人格、名誉，就不能以诽谤罪论处。
（4）捏造事实诽谤他人的行为必须属于情节严重的才能构成本罪。虽有捏造事实诽谤他人的行为，但没有达到情节严重的程度，则不能以本罪论处。所谓情节严重，主要是指多次捏造事实诽谤他人的；捏造事实造成他人人格、名誉严重损害的；捏造事实诽谤他人造成恶劣影响的；诽谤他人致其精神失常或导致被害人自杀的等等情况。
3、主体要件
本罪主体是一般主体，凡达到刑事责任年龄、具有刑事责任能力的自然人均能构成本罪。
4、主观要件
本罪主观上必须是故意，行为人明知自己散布的是足以损害他人名誉的虚假事实，明知自己的行为会发生损害他人名誉的危害结果，并且希望这种结果的发生。行为人的目的在于败坏他人名誉。如果行为人将虚假事实误认为是真实事实加以扩散，或者把某种虚假事实进行扩散但无损害他人名誉的目的，则不构成诽谤罪。
二、认定
1、本罪与治安违法行为、民事侵权行为的界限