违章建筑的认定是由县级以上土地行政主管部门负责的，现实情况中一般是由住建部门和市政管理部门负责的。《城市规划法》第四十条：在城市规划区内，未取得建设工程规划许可证件或者违反建设工程规划许可证的规定进行建设，严重影响城市规划的；由县级以上城市规划行政主管部门责令停止建设，限期拆除或者没收违法建筑物、构筑物或者其他设施。一、违章建筑由谁认定。根据《城市规划法》的规定，违章建筑的认定，是城市规划行政主管部门的职权范围，判断某一建筑是否属于违章建筑，必须由房屋所在地的城市规划行政主管部门出具证明。而拆迁人或者房屋拆迁主管部门都没有认定的权利。二、违章建筑怎么拆；