违建的认定通常由 县级以上地方人民政府城乡规划主管部门或土地行政主管部门进行。具体分工如下：
城乡规划主管部门
负责城市范围内的违法建筑认定。
针对违法建筑形成的时间、原因和用途进行调查，测量违法建筑的结构和面积，并下达《限期拆除违法建筑的通知》。
土地行政主管部门
负责农村范围内的违法用地类违建认定。
依据《土地管理法》的规定，有权作出责令限期拆除的行政处罚决定，但不具备实施行政强拆的职权。
乡、镇人民政府
负责乡、村庄规划区范围内的违法建筑认定。
自然资源部门
在某些情况下，自然资源部门也参与违法建筑的认定，特别是涉及农村违法用地类违建。
总结：
违建的认定涉及多个部门，具体由县级以上地方人民政府城乡规划主管部门或土地行政主管部门负责，具体分工依据建筑类型、违法性质及地域范围等因素确定。建议涉及违建问题时，咨询当地相关部门获取准确信息。