由卫生部门来进行行政处罚裁量，根据行政处罚法的规定：有权实施行政处罚的机关有三类：
1、具有法定行政处罚权的行政机关
具有法定行政处罚权的行政机关主要是依法履行外部行政管理职能，依法得到明确授权，代表国家在某一领域内行使行政管理权限的行政机关。包括各级人民政府以及公安、工商、税务、土地、审计、卫生等部门。
2、法律、法规授权的具有管理公共事务职能的组织
工商所、税务所、公安派出所等行政机关的派出机构依相应法律、法规享有一定的行政处罚权，他们必须在授权法规定的行政处罚的种类、幅度范围内实施行政处罚。超过授权法规定的处罚种类、幅度、数额的限制，该行政处罚无效。如《税收征收管理法》第四十九条规定，税务所可对个体工商户及未取得营业执照而从事经营的单位、个人实施罚款数额在一千元以下的行政处罚。
3、受行政机关委托行使一定行政处罚权的受托组织
根据行政管理的实际的需要，行政机关依照法律、法规、规章的规定，可以在其法定权限内符合法定条件的组织实施行政处罚，如《治安管理处罚法》规定在农村没有公安派出所的地方，对违反治安管理行为处以警告、五十元以下罚款的，可以由公安机关委托乡(镇)人民政府裁决。
一、《关于规范城乡规划行政处罚裁量权的指导意见》
第四条违法建设行为有下列情形之一的，属于尚可采取改正措施消除对规划实施影响的情形：
(一)取得建设工程规划许可证，但未按建设工程规划许可证的规定进行建设，在限期内采取局部拆除等整改措施，能够使建设工程符合建设工程规划许可证要求的。
(二)未取得建设工程规划许可证即开工建设，但已取得城乡规划主管部门的建设工程设计方案审查文件，且建设内容符合或采取局部拆除等整改措施后能够符合审查文件要求的。
第五条对尚可采取改正措施消除对规划实施影响的情形，按以下规定处理：
(一)以书面形式责令停止建设；不停止建设的，依法查封施工现场；
(二)以书面形式责令限期改正；对尚未取得建设工程规划许可证即开工建设的，同时责令其及时取得建设工程规划许可证；
(三)对按期改正违法建设部分的，处建设工程造价5%的罚款；对逾期不改正的，依法采取强制拆除等措施，并处建设工程造价10%的罚款。
违法行为轻微并及时自行纠正，没有造成危害后果的，不予行政处罚。
对于行政处罚裁量的相关情况，应当对照上述法律规定来处理，涉及到公民或者法人存在行政违法的行为的，就必须由对应的政府职能部门来进行行政处罚，但对于相关情况的认定，必须建立在当事人违法的犯罪事实基础上进行合法的裁量。
