施工单位在施工时，周围房屋造成影响的，由施工单位承担赔偿责任，一般是依据实际造成的损失赔偿。可通过村集体、居委会或业主委员会与工厂沟通、协商。协商不成电联当地环保局、城建局、城管等相关行政部门，并举报投诉，要求整治查处这类行为。倘若工地有夜间施工，噪音扰民的，可以收集证据资料，到法院起诉，要求停止侵害赔偿相关的损失，如精神损失、物质的损害等。这是最后也是最有力的维权追偿方式，在协商无效的情况下，就应该果断巩固、收集证据，向法院起诉追偿了。相关赔偿规定；《中华人民共和国民法典》。第一千一百八十四条【财产损失计算方式】侵害他人财产的，财产损失按照损失发生时的市场价格或者其他合理方式计算。