Специальная программа (поисковый робот, автомат, агент, паук, червяк, crawler) постоянно обходит сеть и собирает информацию с веб-страниц (индексирует их). Процесс индексации - это секрет поисковой машины. Но чаще всего робот обращает внимание на описание документа, заголовки, иногда просматривает текст документа и пытается понять, какие слова и словосочетания являются ключевыми. Основной объект индексации - тексты. Однако существуют роботы, позволяющие индексировать картинки, mp3, архивы программ, новости и т.д.