L'importance de l'robots.txt File

ncorrect. Si le dossier est refusé /privé, assurez-vous que votre fichier robots.txt ne mentionne pas le dossier comme /Privé. Il semble comme un problème très mineur, mais il peut causer des problèmes si mal fait. Enfin, il n'y a pas de commande Autoriser. Vous ne pouvez pas dire à la webcrawler ce qu'il faut regarder, seulement ce que de ne pas regarder at.If vous êtes encore curieux sur le fichier robots.txt vous pouvez trouver de nombreux autres exemples complexes en ligne. Juste essayer l'un de vos sites Web préférés et retrouver leur fichier robots.txt.

Par exemple, vous pouvez aller à https://www.cnn.com/robots.txt. Si vous avez besoin d'aide pour créer un fichier robots.txt pour votre site, il ya beaucoup d'endroits en ligne qui permettra de créer le fichier pour vous gratuitement. Un exemple est https://www.seochat.com/seo-tools/robots-generator/. Malgré son apparence de simplicité, ce fichier peut faire ou défaire les chances de votre site avec les moteurs de recherche. Assurez-vous que vous avez votre fichier robots.txt en place et correctement formaté aujourd'hui.