L’indexation, comment ça marche ?
Jeudi 31 mai 2007Les crawlers
Un crawler est un robot (aussi appelé bot ou spider) qui parcourt le web et récupère automatiquement les pages web visitées. Les moteurs de recherche ont donc des crawlers qui se chargent de ce travail d’indexation. Le crawler de Google s’appelle GoogleBot alors que celui de Yahoo s’appelle Yahoo Slurp.
A chaque fois qu’un crawler visite une page web, il en fait l’analyse, en extrait les liens vers d’autres pages web et les indexe dans sa base de données.
Connaître leur fonctionnement, permet de lever tout obstacle susceptible de freiner l’indexation de votre site web. Le but ici est de leur faciliter la tâche.
La soumission manuelle
La manière la plus conventionnelle pour signaler votre site web à un moteur de recherche est la soumission manuelle. Ci-dessous les adresses des formulaires de soumission :
- pour Google, http://www.google.fr/addurl/ ,
- pour Yahoo, http://fr.docs.yahoo.com/info/ajouter.html ,
- pour MSN, http://beta.search.msn.fr/docs/submit.aspx?FORM=WSDD2 .
Il n’y a plus qu’à remplir les formulaires en y indiquant l’adresse des pages de votre site web.
Dois-je soumettre toutes les pages de mon site web ?
Vous pouvez ne soumettre que votre page d’accueil. Dans ce cas, vous devrez compter sur le travail du moteur pour indexer le reste de vos pages. En général, il ne tarde pas à la visiter, à en faire l’analyse, à en extraire les liens qui pointent vers l’intérieur de votre site web et à les indexer dans sa base. Si tout se passe bien, quelque temps plus tard, il fait de même avec les liens indexés à l’étape précédente, et ainsi de suite, jusqu’à crawler l’intégralité de votre site web. Avec un peu de patience, l’intégralité de votre site web sera crawlé.
Vous pouvez aussi soumettre toutes les pages de votre site web. Le travail est fastidieux mais vous aurez, en contrepartie, la certitude de leur indexation. Bon courage !
Faites comme bon vous semble ! (en fait, ne faîtes ni l’un, ni l’autre)
L’indexation naturelle
Rien ne vaut une indexation naturelle. Nous verrons dans le prochain article que ce n’est pas tout à fait vrai, qu’il est possible de parfaire l’indexation naturelle.
Le mieux reste d’être recommandé par un autre. Si un site web fait un lien vers le votre et que celui-ci est indexé par les moteurs de recherche, l’indexation du votre site web ne tardera pas à commencer. Il vous faut donc pour ce faire, vous faire remarquer par d’autres. C’est doublement efficace. D’une part, les liens signaleront votre site aux moteurs de recherche de manière naturelle. D’autre part, ces mêmes liens vous octroieront un début de popularité. En effet, ces liens ne sont ni plus, ni moins que des backlinks.
Comment vous faire remarquer ?
En publiant des articles sur d’autres sites populaires par exemple. En faisant des échanges de liens avec d’autres sites web apparentés, en créant un buzz autour d’un événement, etc… Il existe de multiples méthodes qui ne sont pas vraiment l’objet de cet article. Ces méthodes relèvent davantage du Web marketing.
L’indexation par le Google Toolbar
Google concentrant de nombreux intérêts, il est intéressant de noter le rôle particulier que peut avoir la Google Toolbar. Lorsque celle-ci affiche le pagerank d’une page, elle envoie à Google l’adresse de la page et la lui soumet indirectement par ce biais. En générant du trafic sur votre site web, vous augmenterez la possibilité d’avoir des visiteurs ayant la fameuse toolbar. Ils soumettront donc les pages de votre site à Google à leur insu. Ce n’est certes pas sa vocation première, néanmoins les spécialistes sont plutôt de cet avis.
