Yahooのインデックス200億ページ？

容量のないURLだけのキャッシュを見るとなんか疑っちゃいます。。

そうなると、キャッシュしたページ数はかぁーんたんに膨らますことは出来るが、200億ページのうちの一部（どれくらいかは、はてな）は中身は無いことになりゃせんかい？？
ページ数だけ一気に増やしてそれぞれのページクロール＆中身のキャッシュは徐々にしていくのではないかなぁ？？
クロールするためのURLのリスト（それもかなり強引な集め方のモノも含め）さえページキャッシュだと言い張っているのではないか？？

普通の検索結果にはほとんど出てこない。。URL直打ちの検索なら出てくる。。

なんとなくの勝手な予想です。まぁ、クロールの仕方とすれば順繰りにたどってクロール＆キャッシュしますなんてことは言っていないわけだから、ロボットの種類というか性能というか動き方によってはこういう方式のほうが効率がいいのかもしれない。。ってかそれが普通なのかもしれないが（Google Sitemapsなんかのことを考えると。。）

また、勝手な予想と疑問だから200億ページのキャッシュに「容量のないURLだけのキャッシュページ」も含まれているかどうかも分からない。

しかし、少なくともそういう方式でのクロール＆キャッシュだと前のエントリーでも書いたようにページ中のMETAタグを無視した状態でキャッシュすることもありうることになってしまう。

まぁ、どちらにしても総ページ数ではなく（だけではなく？かな）検索結果の質で争っていただけたらと思う。。自分のサイトが上のほうに来ればなおウレシ(爆。。