クローラとは、Webサイトを自動で巡回し、リンクをたどって情報収集するプログラムのことです。
検索エンジンによってはロボット、スパイダーなどとも呼ばれるようです。

キャッシュとは、クローラが収集した情報のことをキャッシュと呼びます。
このキャッシュはインデックスサーバに格納されます。