倘若雇主的非法行为触及到职工的正当权益，那么员工有权利回绝离职。
然而，这需要具体问题具体分析，取决于雇主违法行为的具体性质以及具体情境。
例如，雇主如存在未能依法支付劳动者报酬、社保费用欠缴等违法现象，或者要求员工从事危险作业等，员工均有权拒绝离职，并根据《劳动合同法》来保护自己的合法权益。
在这种情况下，员工应当妥善保存相关证据，如工资单、考勤记录、工作安排邮件等，以便证明雇主的违法行为。
若与雇主协商无果，员工可向劳动监督部门检举或者提起劳动仲裁，依法维权。
但是，如果雇主的违法行为与员工的劳动关系没有直接联系，那么员工可能无法以此为由拒绝离职。
