robots.txtや.htaccessで検索エンジンクローラーの巡回を拒否する方法

WEBサイトを色々と作成していると、検索エンジンにインデックスさせたくないページも出てくるかと思います。そんな時には、メタタグにnoindexを追加するのもいいですが、robots.txtや.htaccessを使えば、そ…