土地買受契約の解約と違約金について教えてください。

Q.ご相談内容

土地の解約についてご相談です。

11/3に土地の契約をしましたが、買主側の理由で11/8.9と解約の申し出をしました。
実際に会って話したいとのことで12日に売主抜きの、土地の仲介業者・買主側の仲介業者・私たち夫婦で話し合いました。

解約の理由を聞かれ、説明した上で再度解約の意向を伝えました。

そして、手付金(10万円)の放棄を申し出たところ、履行の着手を進めているため違約金がかかると言われました。

買主側の仲介業者は、もう除草の業者を手配(予定を組んだ、実施は未)してしまったとのことです。

購入前に、造成引き渡しとネット上で確認し、除草までしてくれて引き渡しというのも、契約の時点では口頭でのみかくにんしました。
除草に関しては、書面はかわしていません。

契約書には、除草に関しては売主負担で行う　のみ書いてあります。

また、買主側の仲介業者にも仲介手数料をもらうかもしれないと言われました。
契約書には、仲介業者への報酬は、引き渡しが完了したらとかいてありますが。これは、おかしくはないのでしょうか？

尚、土地の引き渡しは12月4日であり、登記もまだしていません。