拆违建通常归 县级以上地方人民政府的行政主管部门管。具体负责部门可能包括以下几类：
城市综合执法局：
负责执行拆违行动，需要其他部门的配合。
城乡规划主管部门：
如城乡规划局，有权对城市规划区内违反规划建设行为和非法临时建设进行查处，但在强拆前需要向县级以上地方人民政府提出申请，由县政府责成有关部门采取查封施工现场、强制拆除等措施。
土地行政主管部门：
如国土资源管理局，负责查处违法占地建设行为，但没有强拆权，需要申请人民法院强制执行。
乡镇人民政府和街道办事处：
在乡、村庄规划区内未依法取得乡村建设规划许可证或者未按照乡村建设规划许可证的规定进行建设的，由乡、镇人民政府责令停止建设、限期改正，逾期不改正的，可以拆除。
建议您在发现违章建筑后，先向当地的城乡规划主管部门或城市综合执法局举报，由相关部门进行调查取证并作出处理决定。如果需要强制拆除，相关部门会依法进行拆除，并确保整个过程合法合规。