Définition de Web Spidering et Web Crawlers

Les araignées sont des programmes (ou des scripts automatisés) qui «explorent» le Web à la recherche de données. Les araignées voyagent à travers des URL de sites Web et peuvent extraire des données de pages Web comme des adresses électroniques. Les araignées sont également utilisées pour alimenter les informations trouvées sur les sites Web aux moteurs de recherche.

Les araignées, également appelées «robots d'exploration Web», effectuent des recherches sur le Web et toutes ne sont pas amicales dans leur intention.

Spammers Websites Spider pour collecter des informations

Google, Yahoo!

et d'autres moteurs de recherche ne sont pas les seuls à s'intéresser à l'exploration de sites Web, tout comme les escrocs et les spammeurs.

Les spammeurs utilisent les araignées et d'autres outils automatisés pour trouver des adresses électroniques (sur Internet, cette pratique est souvent appelée «récolte») sur des sites Web, puis les utilisent pour créer des listes de spams.

Les araignées sont aussi un outil utilisé par les moteurs de recherche pour trouver plus d'informations sur votre site Web mais laissé décoché, un site Web sans instructions (ou «autorisations») sur la façon d'explorer votre site peut présenter risques de sécurité de l'information. Les araignées voyagent en suivant les liens, et ils sont très habiles à trouver des liens vers des bases de données, des fichiers de programme et d'autres informations auxquelles vous ne voulez peut-être pas qu'ils aient accès.

Les webmasters peuvent voir les logs pour voir ce que les araignées et autres robots ont visité leurs sites. Cette information aide les webmasters à savoir qui indexe leur site, et à quelle fréquence.

Cette information est utile car elle permet aux webmasters d'affiner leur SEO et de mettre à jour leur robot. fichiers txt pour interdire à certains robots d'explorer leur site à l'avenir.

Conseils pour protéger votre site Web contre les robots robots indésirables

Il existe un moyen assez simple de garder les robots non désirés hors de votre site Web. Même si vous n'êtes pas préoccupé par les araignées malveillantes qui explorent votre site (une adresse électronique obscurcie ne vous protégera pas de la plupart des robots d'exploration), vous devrez toujours fournir aux moteurs de recherche des instructions importantes.

Tous les sites Web doivent avoir un fichier situé dans le répertoire racine appelé robots. fichier txt. Ce fichier vous permet de demander aux robots d'indexation Web de rechercher des pages d'index (sauf indication contraire dans les métadonnées d'une page spécifique pour qu'elles ne soient pas indexées) s'il s'agit d'un moteur de recherche.

Tout comme vous pouvez dire aux robots d'exploration voulus où vous voulez qu'ils naviguent, vous pouvez également leur dire où ils ne peuvent pas aller et même bloquer des robots spécifiques de votre site Web.

Il est important de garder à l'esprit qu'un robot bien monté. Le fichier txt aura une valeur énorme pour les moteurs de recherche et pourrait même être un élément clé dans l'amélioration des performances de votre site Web, mais certains robots d'exploration ignorent toujours vos instructions. Pour cette raison, il est important de garder tous vos logiciels, plugins et applications à jour en tout temps.

Articles et informations connexes

En raison de la prévalence de la collecte d'informations utilisée à des fins malveillantes (pourriel), une législation a été adoptée en 2003 pour rendre certaines pratiques illégales. Ces lois de protection des consommateurs relèvent de la loi CAN-SPAM de 2003.

Il est important que vous preniez le temps de lire la loi CAN-SPAM si votre entreprise s'engage dans un envoi de masse ou de collecte d'informations.

Pour en savoir plus sur les lois anti-spam et sur la façon de gérer les spammeurs, lisez ce qui suit:

• CAN-SPAM Act 2003
• CAN- Règles SPAM Act pour les organismes sans but lucratif
• 5 Règles CAN-SPAM Les propriétaires de petites entreprises doivent comprendre