根据相关法律规定，遗弃行为不仅包括物质上的不提供必要生活条件，还包括精神上的忽视。父母如果未能履行抚养、教育和保护子女的基本义务，甚至将未成年子女赶出家门，将被视为遗弃行为。这种行为不仅会破坏家庭关系，还可能对子女的身心健康造成不可逆转的伤害。一旦被认定为遗弃罪，父母可能会面临刑事处罚，包括但不限于罚款、拘留甚至监禁。具体处罚措施会根据情节的严重程度而定。如果造成严重后果，如子女受到身体或心理伤害，法律的惩罚可能会更加严厉。此外，对于遗弃行为，除了可能面临的刑事处罚外，相关部门还可能采取其他措施。例如，法院可能会撤销父母的监护权，由其他亲属或政府机构接手抚养未成年子女。这种情况下，父母必须证明自己能够履行抚养义务，才能重新获得监护权。