题主是否想询问“对方单位把专票抬头开错但不想退回我方可以按普通发票抵税吗”？不可以。专用发票的税号开错了，发票就无效了，必须要退回去重新开的，不能作为普通发票抵税，也不能以此凭证进行计入或填报纳税申报，发票抬头错误属于无效发票，应要求对方作废重开，不能作为财务报销凭证，同时，纳税人不能用于税前扣除、抵扣税款、出口退税和财务报销，企业开具增值税普通发票时应正确填写单位全称，否则会导致该张增值税专用发票无法通过认证。