初めまして、賃貸ひろばの安藤です。
ご質問お答えさせて頂きますが、非常に難しい問題ですので、あくまで参考程度にお読み頂ければ幸いです。

平成20年5月29日に東京高裁でたような事例の判例がありましたので、引用しつつお答えします。

この事件は、宅地の買主が、住宅を建築しようとしたところ、暴力団関係者の可能性のある隣人から脅迫的な言辞をもって設計変更を求められた事に始まりました。
買主は、そのような住人が隣家に居住していることは隠れた瑕疵に当たるとして、売主に対し、契約解除と損害賠償を求めた事案です。
裁判所は「契約の目的を達することができないとはいえない」として、解除は認められませんが、隠れた瑕疵に当たることを認め、損害賠償の請求を一部認容しました。

判決をまとめると、まずこの事件は「売買不動産における建築に関し、隣人から脅迫的に不当要求を受けたこと」について、一般人に共通の重大な心理的欠陥がある場合として、いわゆる【心理的瑕疵】を民法570条の瑕疵と認めました。
しかし近隣住民の素性、言動について、売主に調査義務はなく、基本的に買主が近隣の状況を含めて不動産の性状、品質を調査すべきものとしています。

このような判例から今回のたろうさまの件、契約書の約定にある「契約違反による解除とその違約金、売買代金の20％」を主張するのは苦しいかと思われます。

ただこれはあくまで、判例を参考にした私の個人的な見解です。
詳細で正確な回答は弁護士などの専門家にご相談ください。

ご参考になれば幸いです。

回答日：2015/07/13

※株式会社いえらぶGROUPは、回答内容の正確性、完全性または有用性等について、一切の責任を負いかねます。