Nous Don définitivement t veulent à la fois de ces pages pour être analysé et finissent par le moteur de recherche avec vous clouer pour spam à cause de la teneur en double dans les deux versions similaires de l'une des raisons de page.Another vous pouvez dire aux araignées pas à l'araignée d'un la page serait d'économiser de la bande passante en excluant une partie des images, feuilles ou javascript style. Avec le fichier robots.txt vous pouvez être très précis sur ce que vous voulez spidered et non spidered.What ne fichier robots.txt vraiment dire? Le fichier robots.
txt est un fichier texte (pas de HTML) que vous mettez sur votre site Web pour informer les robots de recherche les pages de votre site que vous souhaitez explorées et ceux qui vous ne voulez les araignées à ramper. Placer un fichier robots.txt dans votre site ne soit pas mandaté par les moteurs de recherche, cependant, les moteurs de recherche seront normalement suivre vos instructions vous mettriez dans ce fichier. Ce processus est similaire à mettre un signe sur votre site web en disant Do Not Enter sur une porte non verrouillée.
Ce fichier est pas un mur de feu pour le moteur de recherche peut encore araignée votre chemin site.Another vous pourriez dire les moteurs qui les fichiers et dossiers à ne pas araignée serait avec l'utilisation d'une balise META robots. Certains moteurs don t lu metatags, afin que l'information dans la balise META robots ne seraient pas vus du tout par certains moteurs. La meilleure façon d'être spécifique à tous les moteurs seraient à l'utilisation du fichier robots.txt .... pas des robots metatags.Where vous placez votre fichier robots.txt est d'une importance vitale.
Il doit être dans le répertoire principal ou les moteurs de recherche ne sera pas trouver le fichier. Les moteurs ne recherchent pas l'ensemble du site, ils regardent dans le répertoire principal et si elles don t trouver le fichier, le moteur assumeraient qu'il n'y a pas un tel fi