BOTとは？
クローラー（ロボット）のこと
BOTにインデックス化されたくない場合、「robots.txt」でそれを知らせます。
fdfdkll.htmlの怪
googlebotのアクセスログを見てみると、ドメインのルートに対してfdfdkll.htmlへのアクセスが試みられていた。何故に？と思ってぐぐって見たら、エラーレスポンスを見るためではないかという書き込みがあった。なるほｄ、fdfdkll.htmlなどというページ名はありえないものとしてトライしているわけか。もしあったら、どうなるんやろ？笑
インデックス化のスピード
適切に内部リンクを張っていれば遅かれ早かれクロールされてインデックス化されると思っていたが、YAHOOはなかなか深い階層に潜ってくれない。日常的に更新しているブログからページへ直リンクを張ると、そういうページがインデックスされやすい。実験では２日ほどでインデックス化されることが判明した。