Sometimes ne peuvent pas provenir autant de plaisir à la récolte automatisé de leurs données. Webmasters ont appris à interdire grattoirs web l'accès à leurs sites Web en utilisant des outils ou méthodes qui bloquent certaines adresses IP à partir de la récupération de contenu de site Web. Grattoirs de données sont laissés avec le choix soit de cibler un autre site Web, ou pour déplacer le script de la récolte d'un ordinateur à l'aide d'une adresse IP différente à chaque fois et d'extraire autant de données que possible jusqu'à ce que tous les ordinateurs de la raclette sont finalement blocked.
Thankfully il est une solution moderne à ce problème. La technologie proxy de données Grattage résout le problème en utilisant des adresses IP proxy. Chaque fois que vos données de grattage programme exécute une extraction à partir d'un site web, le site pense qu'il provient d'une adresse IP différente. Pour le propriétaire du site, les données proxy grattant simplement ressemble à une courte période de l'augmentation du trafic de partout dans le monde.
Ils ont des moyens très limités et fastidieuses de bloquer un tel script, mais plus important encore - la plupart du temps, ils vont tout simplement pas savoir qu'ils sont scraped.The évidente question suivante est: «Où puis-je obtenir de sollicitation de procurations données Grattage technologie pour mon projet?" La solution "do-it-yourself" est, plutôt, malheureusement, pas simple.
Mise en place d'un réseau de grattage de données proxy prend beaucoup de temps et nécessite que vous êtes le propriétaire soit un tas d'adresses IP et les serveurs appropriés pour être utilisés comme des procurations, pour ne pas mentionner le gourou de l'informatique dont vous avez besoin pour obtenir tout configuré correctement.
Vous pourriez essayer de louer des serveurs proxy auprès de certains fournisseurs d'hébergement, mais cette option a tendance à être assez cher, mais mieux que l'alternative: dangereuse