只签订了三方协议，协议中没有注明违约金也没签其他补充协议，违约的话需要交违约金吗

我是09年的应届毕业生，和一家民企只签订了三方协议别的都没有给他，协议中没有注明违约金也没签其他补充协议，只是口头上说的违约金5000，用人单位说要到当地人事局盖章，三方协议的3份都被他拿走了，我现在违约的话，需要交违约金吗？三方协议3份都被他拿走了，是不是对我很不利？