買一套房子涉及到很多方面的違約，比如業主說不賣了，這個屬于嚴重違約，比如該去做某事，沒有及時去做，也是違約，但是性質不嚴重，你說的違約金萬分之五，可能是延誤性質的違約，如果業主不賣僅賠償房價萬分之五，可能你的中介有問題了。

建議你講清楚到底是哪個違約。

如果違約金不足以承擔你的損失，可以要求按照公平原理賠償更多的。

合同法有規定，如果違約金不足以賠償損失的，可以繼續主張的。如果房價升職太高，可以按照差價來主張。