用人单位与劳动者不一定能自行约定违约金。用人单位在劳动合同中只允许就劳动者进行专项培训服务期事项和禁业事项约定违约金，除此之外，用人单位不得约定由劳动者承担的违约金。法律依据：《劳动合同法》第二十二条用人单位为劳动者提供专项培训费用，对其进行专业技术培训的，可以与该劳动者订立协议，约定服务期。劳动者违反服务期约定的，应当按照约定向用人单位支付违约金。违约金的数额不得超过用人单位提供的培训费用。用人单位要求劳动者支付的违约金不得超过服务期尚未履行部分所应分摊的培训费用。第二十三条用人单位与劳动者可以在劳动合同中约定保守用人单位的商业秘密和与知识产权相关的保密事项。劳动者违反竞业约定的，应当按照约定向用人单位支付违约金