Certains moteurs de recherche utilisent également des robots web d'adresses e-mail de récolte et pour les tâches de maintenance, en plus de recueillir des informations sur un site web. Chaque moteur de recherche a ses propres robots d'indexation individu et de chaque moteur de recherche a des variations sur la façon dont ils recueillir information.Webmaster devrait avoir une certaine indication de la façon dont chaque moteur de recherche classe les pages, afin de comprendre pourquoi un document est classé plus haut que l'autre.
Bien que les moteurs de recherche gardent leurs algorithmes un secret, en partie pour rendre la vie plus difficile pour les webmestres Black Hat SEO, devraient essayer de leur mieux pour acquérir une certaine compréhension de la façon dont la stratégie de recherche d'optimisation de moteur devrait fonctionner.