クローラー

クローラーとは、検索エンジンを巡回し、Web上の文書や画像などを定期的に取得し、自動的にデータベース化するプログラムを指します。Webサイトを這う（クロールする）ことからこのような名称がつけられました。検索ロボットとも呼ばれ、クローラーがページを探し出す手段や検索の対象となるファイルの種類はさまざまである。Googleなどの全文型検索エンジンでは、アップロードされたWebページの情報を検索エンジン側のデータベースに保存しておき、検索された際にそのデータベースを検索して結果を提供しています。またデータベースに収録されていないWebページや新たに更新されたWebページを発見し、結果をデータベースに反映させています。クローラーがアクセスできるファイルや情報はすべてデータベース化され、誰でも検索できるようになるため、機密情報をネットワーク上にアップロードするにはアクセス権を設定するなどの注意が必要です。