あくまでも、不動産取引に関しては、専門外ですので参考意見としてお聞き下さい。

これもまた、、建築条件付き（売り建て）の「曖昧さ」の典型ですね。。

建築条件付きでの土地の販売は、違法ではありませんが、土地の売買と建築工事の契約は「別物」です。
ですから、まず土地の購入だけを行い、その後、建物の諸条件がご希望にそぐわない場合は、無理に建築工事の契約を行う必要はありません。但し、建築工事契約をしなければ、一度契約した土地の契約も当然無効になります。つまり、その土地は手に入らないということです。ただ、それだけの事ですから、土地を購入したから、是が非でもその業者と建築工事を行わなければ莫大なペナルティがあるという事はありません。
そのあたりの説明をファジーなまま、土地の契約を行うのは、かなり不動産取引としてはグレーですし、また、そのような形で営業している会社の「建築」に関する、図面・仕様書などは、残念ながら、当然の如く「曖昧」なものが多いように思います。

また、土地購入代金の保証人になる、金融機関を紹介する。。いわゆる「つなぎ融資」のお手伝いをするという形で、「イメージ」として購入者に「縛り」をかけ、無理矢理建築工事まで契約するような業者さんもいるようです。これも、あくまで、金融機関と購入者の契約ですから、購入者の与信さえ合致すれば、別に、指定の金融機関や指定のローンである必要は全くありません。このあたりも、説明不足の場合が多いようです。（意識して説明しない・・・とは思いたくありませんが。。。）

今回、「土地を購入しないという覚悟」があれば、建築工事に関して契約しないのはさだきちさんの自由です。ただ、今までに、手付金などの名目で現金授受があるようであれば、その対応などがありますので、トラブルになりそうな場合は、行政、弁護士、信頼のおける不動産屋さんなどにご相談されるのが宜しいかと思います。

このNPO住宅110番でも、いくつかご相談がありましたが、最初にボタンを掛け違えると、結局、掛け違いのまま終わるようです。「土地（その場所）」のこだわるのか、「家」にこだわるのか、よくお考えになった方が宜しいかと思いますし、「家」にこだわるようであれば、ご希望通りの「家」にするのは売り建ての場合、ハードルが高いように思います。