Bot除けタグ追加

x中のコンテンツをキャッシュという名の下に引き抜かれないよう、GoogleやMSNなどのメジャーどころのクローラーを回避するタグを記述している。

ところが、最近名も知れないマイナーなクローラーが来ることがある。

1日のアクセス数やリンクの数が増えるとそういうクローラーを呼び込むことになる。

それでこのサイトは深く静かに潜行しているので、まずは来るはずがないのだけど、何故か最近増えている。

どうやらマイナーな検索エンジンにサイトを登録されてしまったらしく、(メジャーでないのでそこから来る人数も少数だけど)本当に迷惑な話である。

予防線として先日のメタタグに追記して加えて、除け用のテキストファイルを設置した。

<meta name=”robots” content=”none”/>

<meta name=”googlebot” content=”none”/>

<meta name=”Googlebot-Image” content=”none”/>

<meta name=”slurp,msnbot” content=”nofollow”/>

<meta name=”robots” content=”noindex,nofollow”>

<meta http-equiv=”Cache-Control” content=”no-cache”/>

<meta name=”Baiduspider+(+http://www.baidu.jp/spider/)” content=”none”/>

<meta name=”BaiduImagespider(+http://www.baidu.jp/spider/)” content=”none”/>

<meta name=”DoCoMo/2.0 P05A(c100;TB;W24H15) (compatible; BaiduMobaider/1.0; +http://www.baidu.jp/spider/)” content=”none”/>

今後発覚次第また増やしてゆくが、いちいちこんな物を追記するのも、再構築するのも面倒なのだが、かかる火の粉は払わなくてはならない。