美国为什么这么特殊？

白宫是因为当年被加拿大反击给烧成黑的，后来粉刷之后变成白的，所以叫白房子。五角大楼是因为这个建筑物是个大五边形。
至于在政治新闻中这么称呼，是西方新闻工作者的惯例或者说是毛病，他们也会把英国首相决策称为唐宁街如何如何，提到中国的中央决策圈的时候有时候也用紫禁城来代替。并不是美国特殊。

香香白金汉宫，克里姆林宫等你就知道这其实不特殊

而且五角大楼是楼名，国防部是部名，只是偶然指代一下而已，方便易懂

中国政府也叫中南海
韩国政府也叫青瓦台

这也和影响力或文化有关？

这明显是根据政府或部门所在建筑物的地点或特色来的。

肯定是