クローラには巡回できないページがあります。
このようなページはインデックスサーバに格納されないため、修正を検討すべきです。
以下、巡回できないページの例です。

• Flashで生成されたページ
• javascriptによるプルダウンメニューなどのページ
• フォーム遷移後のページ