把门面转给了别人，收取了转让费，现在房东不和那人签合同，但是我和他之间签了一个协议。

把门面转给了别人，收取了转让费，现在房东不和那人签合同，但是我和他之间签了一个协议。协议上没说如果房东不和他签合同我要退转让费。我是在他和房东沟通清楚说第二天签合同的情况下和他签的协议。现在我已经搬走了半个月，他才告诉我房东没和他签合同，我损失了不少！现在他想要回转让费，还发短信恐吓我，我该不该退给他？

因为房东不和他签合同他要让我退给他转让费，但是我们签的协议里没有说如果房东不和他签合同我要退他的转让费。