Comment utiliser WordPress robots.txt - Meilleures pratiques et exemples

Le fichier WordPress robots.txt est indispensable pour améliorer le référencement de votre site. Comprendre et configurer correctement un fichier robots aide les moteurs de recherche à mieux interagir avec votre site Web WordPress.

Dans cet article, nous vous présenterons les bonnes pratiques et fournirons des exemples pour garantir que les moteurs de recherche explorent efficacement votre contenu. En vous concentrant sur des domaines clés, vous pouvez améliorer les performances et la visibilité de votre site dans les résultats de recherche.

WordPress est livré avec une fonctionnalité intégrée qui génère un fichier robots.txt de manière dynamique : il ne s’agit pas d’un fichier physique stocké sur votre serveur. Cela signifie que WordPress crée automatiquement un fichier virtuel lors d’une demande d’exploration provenant d’un robot d’un moteur de recherche.

Bloquer l’exploration d’une page dans robots.txt ne signifie pas explicitement que Google ne l’indexera pas s’il existe d’autres pages qui y renvoient. De plus, Google recommande d’utiliser d’autres méthodes (telles que “nofollow“) pour restreindre l’exploration des pages.

Que contient le fichier robots.txt ?

Le fichier robots.txt par défaut généré par WordPress est conçu pour permettre aux robots des moteurs de recherche d’explorer la plupart de votre site Web. Dans le même temps, il restreint l’accès aux zones qui ne sont pas bénéfiques au référencement WordPress ou contiennent des informations sensibles.

Le contenu robots.txt virtuel par défaut fourni par WordPress ressemble à ceci :

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

Voici ce que signifient ces règles par défaut :

• User-agent : * : cette ligne applique les règles à tous les robots d’exploration Web et robots, indiqués par l’astérisque (*).
• Disallow : /wp-admin/ : indique aux robots de ne pas explorer la zone d’administration de WordPress. Ce répertoire n’est pas nécessaire à l’indexation des moteurs de recherche et contient des informations privées.
• Allow : /wp-admin/admin-ajax.php : Bien que le répertoire wp-admin soit interdit, cette ligne autorise explicitement les robots à accéder au fichier admin-ajax.php. Il est utilisé pour traiter les requêtes asynchrones sur le front-end, même si elles proviennent de la zone d’administration.

Impact du fichier robots.txt en SEO

Le fichier robots.txt joue un rôle crucial dans le référencement des sites WordPress, guidant les moteurs de recherche sur la manière d’explorer le contenu. Un WordPress robots.txt  correctement configuré garantit que seules les pages clés sont explorées, améliorant ainsi leur présence dans les résultats des moteurs de recherche.

Bien que le fichier robots.txt n’affecte pas directement le classement ou la vitesse des pages, il influence les pages Web indexées. Les propriétaires de sites peuvent l’utiliser en combinaison avec la balise méta robots pour empêcher les moteurs de recherche d’indexer des pages ou des sections WordPress spécifiques.

De plus, en contrôlant le trafic d’exploration, robots.txt peut aider à maintenir les performances du site. De plus, il prend indirectement en charge Core Web Vitals – un ensemble de mesures qui mesurent l’expérience utilisateur des pages Web et influencent le référencement. Pour des informations détaillées, lisez ce guide complet sur Core Web Vitals.

Comment localiser le fichier robots.txt de WordPress

WordPress dispose d’un fichier txt robots par défaut qui est virtuel et non présent dans le répertoire racine de votre site Web. Cela signifie que vous ne pouvez pas y accéder à l’aide d’un gestionnaire de fichiers ou d’un client FTP.

Cependant, vous pouvez le visualiser en accédant à une URL similaire dans votre navigateur Web.

https://yourdomain.com/robots.txt

Si vous préférez définir vos propres règles pour les robots d’exploration Web, vous pouvez créer un fichier robots.txt physique.

Une fois que vous aurez téléchargé ce fichier physique dans le répertoire racine de votre site, il remplacera le fichier virtuel généré par WordPress.

Accès via le plugin Yoast SEO

L’utilisation d’un plugin simplifie le processus de gestion de votre fichier robots.txt. Cette méthode est plus accessible aux propriétaires de sites qui ne sont peut-être pas aussi férus de technologie ou qui préfèrent une approche centralisée du référencement de leur site.

Vous pouvez créer et accéder à votre fichier robots.txt à l’aide de Yoast SEO. Pour ce faire, suivez les étapes ci-dessous.

1. Connectez-vous à votre tableau de bord WordPress.
2. Installez et activez l’extension depuis Extensions > Ajouter nouveau.
   

   

3. Accédez à Yoast SEO > Outils et cliquez sur Éditeur de fichiers.
   

   

4. Créez un fichier robots.txt à l’aide du bouton.
   

   

5. Modifiez le fichier et Enregistrez les modifications.
   

   

Comment créer et modifier un fichier Robots.txt dans WordPress

Le fichier robots.txt est un simple fichier texte (.txt) utilisé par les sites WordPress pour guider l’exploration des agents utilisateurs. Si vous souhaitez personnaliser les directives du robots.txt virtuel par défaut, vous pouvez créer votre propre fichier manuellement.

Gardez à l’esprit que le fichier robots.txt que vous créez remplacera le fichier virtuel de WordPress.

Pour créer votre fichier robots.txt manuellement, suivez les étapes ci-dessous :

1. Créez un fichier texte brut à l’aide de n’importe quel éditeur de texte, par exemple Bloc-notes. Ou connectez-vous simplement au Gestionnaire de fichiers de votre hébergement WordPress pour utiliser sa fonctionnalité d’édition de fichiers.
2. Localisez le dossier racine de votre site (public_html) et créez un fichier en cliquant sur Nouveau fichier option.
   

   

3. Nommez le fichier robots.txt et enregistrez-le.
4. Modifier le fichier robots.txt.
   

   

5. Dans le fichier vide, collez ces instructions du robot :

User-agent: *

Disallow:

Une fois que vous serez prêt, vous pourrez modifier le fichier robots.txt de votre hébergement WordPress à partir du même chemin de répertoire. Vous pouvez également utiliser une connexion FTP pour modifier le fichier robots.txt.

Comment utiliser le fichier Robots.txt dans un site WordPress – Bonnes pratiques

La maîtrise de votre fichier robots.txt est une étape cruciale vers un référencement WordPress réussi. Dans cette partie, nous aborderons les meilleures pratiques qui orientent efficacement les robots de recherche. Mettez-les en œuvre pour améliorer la présence de votre site dans l’index de Google.

Restez avec nous pour découvrir comment les bons mouvements de robots.txt peuvent améliorer vos performances de recherche.

Autoriser l’accès complet aux robots des moteurs de recherche

Autoriser les robots des moteurs de recherche à accéder pleinement au fichier robots.txt garantit qu’ils peuvent explorer et indexer chaque partie de votre site Web. Cela peut améliorer la visibilité et la capacité de recherche de votre site. L’accès complet aide les moteurs de recherche à comprendre la structure et le contenu de votre site, ce qui peut potentiellement conduire à un meilleur classement et à davantage de trafic.

Si vous souhaitez autoriser les moteurs de recherche à indexer toutes les pages de votre site, ajoutez la règle suivante à votre robots.txt :

User-agent: *

Allow: /

Ou

User-agent: *

Disallow:

Autoriser l’accès à un fichier particulier dans un dossier non autorisé

Si vous souhaitez autoriser les robots à accéder à un fichier spécifique dans un dossier non autorisé, utilisez un extrait similaire.

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

Dans l’exemple, nous autorisons les robots à explorer le fichier admin-ajax.php, situé sous le répertoire wp-admin.

Empêcher les robots d’explorer les résultats de recherche WordPress

Pour que votre site WordPress reste optimisé pour le référencement, il est sage d’empêcher les robots d’explorer les résultats de recherche WordPress. Ces pages peuvent créer du contenu en double et consommer votre budget d’exploration, offrant peu ou pas de valeur pour votre classement dans les recherches.

User-agent: *

Disallow: /?s=

Cette directive garantit que le temps et les ressources des robots de recherche sont consacrés à l’exploration du contenu principal de votre site, et non aux résultats de recherche éphémères du site.

Bloquer l’accès des robots des moteurs de recherche à l’intégralité de votre site

Si vous souhaitez empêcher les robots des moteurs de recherche d’indexer votre site, utilisez l’extrait ci-dessous.

User-agent: *

Disallow: /

La ligne « Disallow : // » indique aux robots qu’ils ne sont autorisés à accéder à aucune partie du site Web. La barre oblique (/) représente le répertoire racine du site et tout ce qui suit, qui correspond essentiellement à l’intégralité du site.

Empêcher un agent utilisateur spécifique d’explorer votre site Web WordPress

Il peut arriver que vous souhaitiezempêcher un robot spécifique d’explorer votre site. Chaque agent utilisateur accède à votre site Web avec l’intention d’indexer le contenu.

Cependant, certains robots peuvent consommer trop de ressources serveur. Il existe également des robots malveillants qui visent à récupérer votre contenu ou à rechercher des vulnérabilités à attaquer.

Ainsi, il est mieux de bloquer l’accès des robots à ces robots en utilisant le code ci-dessous dans votre fichier robots.txt.

User-agent: MJ12bot

Disallow: /

Notez que si vous envisagez de bloquer plusieurs agents utilisateurs, la meilleure pratique consiste à utiliser une règle d’interdiction distincte pour chacun dans le fichier robots.txt. Cette règle doit inclure le nom de l’agent utilisateur et le interdit répertoire.

Empêcher l’accès à un dossier ou un fichier spécifique

Lorsque vous souhaitez empêcher les robots d’accéder à des pages ou des fichiers spécifiques, déposez une autre ligne Disallow dans le fichier robots.txt, spécifiant le chemin du fichier/dossier.

User-agent: *

Disallow: /wp-admin/

Disallow: /wp-login.php

Les propriétaires de sites bloquent des pages ou des fichiers spécifiques pour exclure le contenu sensible ou non essentiel des résultats de recherche. Cette approche ciblée préserve la bande passante et améliore le référencement en mettant en évidence les zones les plus importantes du site.

Spécifiez l’emplacement de votre sitemap XML pour les moteurs de recherche

Dirigez les moteurs de recherche vers le plan de votre site Web en spécifiant l’emplacement de votre sitemap dans votre fichier robots.txt. Cela aide les moteurs de recherche comme Google à trouver et à utiliser votre sitemap pour indexer votre site plus rapidement et plus efficacement. Ajoutez simplement une ligne comme celle ci-dessous, en précisant l’emplacement de votre sitemap.xml.

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

Sitemap: https://testsgdomain.com/wp-sitemap.xml

Vous pouvez également inclure plusieurs liens sitemap dans votre fichier robots.txt pour aider les moteurs de recherche à indexer différentes zones de contenu de votre site. Ajoutez des lignes telles que Sitemap : http://www.yourdomain.com/sitemap-posts.xml et Sitemap : http://www.votredomaine.com/sitemap-pages.xml. Cela fournit un index clair de votre contenu pour une exploration plus efficace.

Test et dépannage de votre fichier WordPress Robots.txt

Votre WordPress robots.txt navigue dans les robots des moteurs de recherche. Ainsi, vous voulez vous assurer que votre site est accessible et que les robots comprennent ce qu’ils peuvent consulter et ce qui est interdit. De plus, Googlebot doit être en mesure de récupérer votre fichier robots.txt avec succès pour une meilleure indexation.

Vous pouvez tester si votre WordPress robots.txt  est accessible en tapant l’URL https://www.votredomaine.com/robots.txt dans le navigateur. Une autre option consiste à faire une requête Curl au fichier depuis votre terminal, comme dans la capture d’écran ci-dessous.

Pour vérifier que les agents utilisateurs peuvent traiter votre fichier robots.txt, testez-le avec Testeur robots.txt de Google. En plus de récupérer votre fichier, l’outil vous indique s’il y a des problèmes avec celui-ci. Les étapes sont les suivantes:

1. Connectez-vous à votre compte Google Search Console en appuyant sur Démarrer Bouton Maintenant.
   

   

2. Accédez à Paramètres et faites défiler jusqu’à Ouvrir le rapport pour votre robots.txt
   

   

3. Vérifiez si le fichier robots.txt d’un site particulier dans votre liste est récupéré et si Google Search Console détecte tout problème avec celui-ci.
   

   

4. Cliquez sur le fichier pour vérifier comment Google lit votre robots.txt.
   

   

Dépannage du fichier WordPress robots.txt

Lorsque vous dépannez votre fichier robots.txt, assurez-vous que les robots de recherche ne sont pas exclus par inadvertance du contenu essentiel. Un fichier robots.txt trop restrictif peut faire passer des pages importantes inaperçues. Google Search Console peut vous montrer si vous avez bloqué quelque chose d’important.

• Assurez-vous que la syntaxe de votre robots.txt est correcte pour éviter les problèmes de traitement des fichiers dus à des règles incorrectes.
• Vérifiez si votre fichier WordPress robots.txt permet d’accéder à des ressources clés telles que CSS et images, qui sont essentielles à la présentation du site.
• Les directives doivent être précises et cibler uniquement les robots concernés pour éviter les problèmes de communication.
• De plus, compte tenu de la prévalence de la navigation mobile, vérifiez que vos paramètres robots.txt sont optimisés pour les robots d’exploration mobiles.

Gardez un œil dessus et vous serez prêt à partir !

Conclusion

En conclusion, n’oubliez pas que les directives user-agent de votre fichier WordPress robots.txt guident les robots des moteurs de recherche à travers votre site. Les instructions par défaut répondent aux besoins de la plupart des sites WordPress. Cependant, vous pouvez les adapter pour optimiser la façon dont les moteurs de recherche interagissent avec votre contenu.

Assurez-vous que votre robots.txt est clair, qu’il autorise l’accès à vos sitemaps et qu’il restreint uniquement les zones qui doivent rester privées. Avec ces étapes, vous vous assurez que votre site est exploré efficacement pour une meilleure visibilité et des performances de référencement.