必要があってSSLの証明書(自己署名)を作成しなおしました。
暗号化だけが必要なオレオレ証明書なので適当に入力して作ったんですがFirefoxで試しにアクセスしてみたら「sec_error_bad_signature」というエラーが・・・。
まて、これは前回も見たことがあるような・・・。
全く同じ罠にはまっている気がします。
とりあえず忘れないように結論だけ書いておきます。
CAとServerの[Organization Name]が同一だとダメ
まぁ確かに本物の場合、同じ会社名ってのはおかしいですよねえ。。。
Webのハードウエアリソース配分考えていて気づいたんですが、最近Googlebotからのクロールがきっついすね。。
PCサイト向けGooglebot/2.1;のクロールがたった1日で36,222Page/Dayもありました。
そしてGooglebot-Mobile、何故かDoCoMo/2.0 N905iを偽装のクロールが26,146/Day。
同じくGooglebot-MobileでSAMSUNG-SGH-E250を偽装しているものが12,370/Day。
機種別に違う内容を返すサイトのためにそれぞれ設定しているんでしょう。
その数合わせて74,738Page。転送量は500M前後にも及ぶ。
いや、もう割合で言ったら全体の80%くらいです。
てか、このサイトそんなにページ数あったっけ・・・。
site:www.knonline.netでググってみるとかなりのページ数がインデックスされてるようなので間違ってはいないのかもしれませんが・・・。
日記の日付、例えばxxx/?20090313とかまでクロールするのは仕方ないというか、そうして欲しいのですが、それ以外にもリンクとして存在するものは舐めるようにクロールしていくようですね。
これだけクロールされるとリソースのほんとんどをGoogleのbot向けに費やしているということに・・・。
いくらなんでも多すぎる、とおもって(よりによって)Googleで検索してみると、Googleのクロールはそういうもんみたいですね。
そのくせ、こっちからGoogle検索を連続で機械的にリクエストすると途中からアクセス拒否食らうんですけどね・・。
そういえば、かなり昔に設置して最近まで使っていたやや重めのcgiが、たまに物凄い負荷になってコケていたのを思い出しました。
負荷を考えて撤去したんですが、もしかしたらGooglebotからのアクセスはじけば良かっただけなのかも・・・・。
今後何かしらの動的コンテンツで負荷が高いページが必要になるときは、そのページだけ検索ロボットからのアクセスを拒否するか、静的コンテンツ返すかなどの対策が必要だと思います。
世界中のネットワーク資源の半分くらいはGoogle絡みなんじゃないだろうかと本気で思いました。
Googleさんパネェっす。
平素はAmazon.co.jpをご利用いただき、ありがとうございます。
お客様からの2008/12/22のご注文#xxx-xxxxxxx-xxxxxxxにつきまして、当 サイトのシステムの不具合により、ご登録のクレジットカードへの9980円の請求が未完了であることがわかりました。現在この商品の代金をお支払いいただいていない状態となっており、大変申し訳ないのですが、一両日中にご登録のクレジットカードに請求させていただきますので、よろしくご理解くださいますようお願い申し上げます。
このたびの不具合につきましては、お客様に多大なご迷惑をおかけいたしておりますことを、重ねてお詫び申し上げます。今後、担当部署にてサービスの改善に努めて参りますのでで、今回の件につきましてはなにとぞご容赦いただきますようお願い申し上げます。
Amazon.co.jpをご利用いただき、ありがとうございました。
Amazon.co.jpカスタマーサービス
Amazon.co.jp Customer Service.
去年の話ですか・・・。
もちろん全く気づいてなかったし、このメール来なかったら今勝手に引き落とされても気づかないと思いますけどね・・・。
Amazonさんもずっと気づかなかったら良かったのに。
最近、携帯電話のキャリア会社ですら「ケータイ」という言葉を使っていますね。
僕はどうしても「携帯」と聞いても携帯電話を連想できず、PDAとか、もしくは鞄とかそういうものを連想してしまいます。
むしろ僕が「携帯」で連想する電話はワイドスターとかです・・・。
ウィキペィアをウィキと略したり、ケーブルテレビをケーブルと略すとかに通じるものがある気がしますが・・・それぞれ独立した単語だっただけに略したら違う意味じゃん、みたいな。
さすがに「携帯」については慣れてきましたが、自分からはなかなか「携帯」という単語が出てこず単に「電話」って言ってしまうんですよね。
恐るべし自分の社会適用力の無さ。
§ Takayuki Okazaki [Google Web Master Toolでクロールの頻度を下げる方向には設定ができますよ。]
§ Suika [>Takayuki Okazakiさん おお、こりゃ面白いですね!]
§ Suika [先日サイトを運用しているOSがWindowsからFreeBSDに変わったのですが、その直後にすごいクロールが来ていま..]