うろぐ

インターネットサービス&デジタル家電&デジタルカメラ&パソコンのレビュー

仕事である特定のディレクトリにだけ、googleが検索を出来なくする方法を依頼されました。
ネット関係の仕事をしている人にとっては当たり前の知識なのですが、metaタグにnorobtとnoforowを書くことを知っている人でも「robots.txt」によって検索出来なくすることは知らないようです。
備忘録として、googleヘルプの該当するURLをここに記します。
Google からのコンテンツの削除: Google の検索結果からページやサイトを削除する

書き方は、robot.txtファイルに下記を書きます。

User-agent: *
Disallow: /

User-agentの「*」はワイルドカードで全ての検索エンジンのクローラーに対して、と言う意味です。
Disallowの「/」は、txtファイルの置かれたディレクトリに対して、と言う意味です。
txtファイルを置く場所はルートディレクトリになります。ルートディレクトリとは一番上のディレクトリという意味です。「http://www.ulog.biz/robot.txt」という風に置きます。

「cgi-bin」ディレクトリの中を検索されたくない場合には

Disallow: /cgi-bin/

とrobot.txtに書きます。

参考になるページの検索結果robot txt

11月 5th, 2010

Posted In: Web Search/ウェブ検索

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です