Amazon オススメ商品

hidew 2006.10.06

#1425 検索エンジンからの無断リンクを防止する方法

経産省に対する皮肉で「#1424 日の丸検索エンジンに無断リンク禁止機構を」を書いたが、よく考えたら、海外のメジャーな検索エンジンでも robots.txt や meta name="robots" content="noindex" などの取り決めで無断リンクを防止できるのだった。「無断リンク禁止機構」を組み込まなければならないのは、検索エンジンの側ではなく、ネット初心者の側である。

meta name="robots" の記述例

<meta name="robots" content="noindex" />
<meta name="robots" content="nofollow" />
<meta name="robots" content="noindex,nofollow" />

noindex - そのページを検索対象としない
nofollow - そのページからのリンク先を検索対象としない。
noarchive - Google などのキャッシュ保存を拒否する。

robots.txt の記述例

User-Agent: *
Disallow: /cgi-bin/
Disallow: /private/

/cgi-bin/ と /private/ にある全てのファイルを検索対象としない。

注)robots.txt はルートに置く。
○ http;//hogehoge.jp/robots.txt
× http;//hogehoge.jp/~abc/robots.txt

行儀の良い検索エンジンならば、これらを書いておくだけで「無断リンク」しなくなる。ただし、「ここは見ないで!」と言われると見たくなるのが人間の心理で、行儀の悪い検索エンジンや、好奇心の強い人間に対して逆効果になることもあるので、不特定多数に見られて困る情報を上記の方法で保護したつもりにならないこと!

参考

http://allabout.co.jp/internet/hpcreate/closeup ..
http://tech.bayashi.net/pdmemo/robots.html

*