9月2日我与中介和房主签了房屋买卖合同,当时房价定为820000,中介费合同上写双方各付中介费8200元,因好多事情当时考虑不周,9月3号就不想买这房子了,当时没交中介费与定金..后来我们三方一起协商,房主说不追究我们违约责任,但他的房本扣在中介,中介说按合同让我们交给他的中介费16400元,我们说这个数不能接受,因为买卖没有达成,中介说我们不交钱他就不给房主房本，这样下来我们怕房主再追究我们的责任，后来中介说要起诉我们，因为要起诉的话我们会很麻烦，中介要我们给1万元，我们只好给了。中介的这种做法合理吗？如果我们要不给中介费的话，经过法院会按合同上陪给中介16400元吗？