正直不動産 株式会社樹の高橋と申します。
ご質問内容確認させて頂きました。

物件の詳細などがわかりませんので、あくまで参考程度に参考になさっていただければ幸いです。
相談内容から推測するに、結論から申し上げると、空いているスペース(現状の庭)の部分に新たに建物を建てるのは難しいかと思います。
一般的に不動産会社が再建築不可の物件と説明する場合、建築基準法の要件を満たしていないために、建築制限がかかっていることがほとんどです。
多くの場合は「幅員4ｍ以上の道路に2ｍ以上接していなければなない」条件が満たされていないことが多いです。
4ｍ以上の道路とは、セットバック等をして将来的に4ｍ以上になる道路も含まれます。
別の理由も考えられますが、再建築不可の土地では一番多い理由がこれになります。

なぜ再建築不可なのか、再度不動産会社様に聞いてみることをオススメいたします。
ご参考になれば、幸いでございます。

回答日：2022/04/24

※株式会社いえらぶGROUPは、回答内容の正確性、完全性または有用性等について、一切の責任を負いかねます。

横からで失礼いたします。

少し間違えた解釈をしておられますのでご説明いたします。
古屋を解体して同じ場所に建築できない、ではなく、どれだけ土地が広くても建築基準法を満たしていない土地に建築できないという事でございます。

私道であれば建築基準法の道路ではなくても申請すれば建築できる可能性もございますが、お話しを拝見している限り建築するのは不可能ではないかと思われます。

回答日：2022/04/28

※株式会社いえらぶGROUPは、回答内容の正確性、完全性または有用性等について、一切の責任を負いかねます。