我与中介签订一年的合同,将自己的房屋让中介进行代理,中介很差,一年下来有很多问题,所以现在不想再租给中介了。我想直接与租户签合同,但我和中介签的协议中说明半年内不能与现在的租户续租,否则就需要支付两倍的赔偿。我该怎么办?