検索エンジンの仕組みについて

How Search Works – Inside Search – Google
http://www.google.com/insidesearch/howsearchworks/

ボットによるクロールや、順位付けのアルゴリズムについての解説です。
スパムについての解説はSEOを意識している人は一読しておいた方がよいかもしれません。

Yahoo!Googleで上位ランクするための 新版 SEO完全計画