Эта статья рассказывает, как исправить ошибку дублирования страниц на PHPBB форуме и содержит точные директивы для файла robots.txt, которые можно использовать для вашего сайта.

Возможно, вы получали от Яндекс.Вебмастера письмо «На сайте … найдены страницы-дубли с разными GET-параметрами» и таким примерно содержанием:

Некоторые страницы вашего сайта … содержат одинаковый контент и отличаются только GET-параметрами в URL, дублируя контент. Из-за их обхода информация о важных для вас страницах может медленнее передаваться в поисковую базу, что может влиять на состояние сайта в поиске.

Если эти страницы действительно являются дублями, рекомендуем использовать директиву Clean-param в robots.txt, чтобы робот игнорировал незначащие GET-параметры и объединил все сигналы со страниц-копий на основной странице.

Вроде как ничего серьезного, сайт-то работает, страницы в поиске, но Яндекс воспринимает эту ситуацию как критичную ошибку, которая может негативно сказаться на позициях сайта, поэтому всё-таки лучше исправить. Тем более что это не так сложно.

При этом Яндекс рекомендует использовать директиву Clean-Param, и всё бы ничего, только Google воспринимает её как однозначную ошибку (не предупреждение), которая в свою очередь может негативно сказаться на результатах сайта, но уже в Google.

Google, в свою очередь, предлагает целый инструмент Параметры URL для управления тем, как обрабатываются URL с параметрами.

Проще всего исключить страницы-дубли из индекса добавлением директив Disallow, правильно прописав шаблон для URL.

Директивы Disallow для PHPBB

У меня дублирующиеся страницы на форуме были, например, такие:

https://nhutils.ru/forum/viewtopic.php?f=3&p=2723
https://nhutils.ru/forum/viewtopic.php?f=14&start=10
https://nhutils.ru/forum/viewtopic.php?f=3&t=2918

Поэтому чтобы отфильтровать (исключить из индекса) такие страницы, нужно их обозначать в robots.txt с помощью символов подстановки, например, viewtopic.php?*f=*p=

В какой раздел robots.txt вставлять эти директивы? Это зависит от его структуры. У меня есть отдельный раздел для Яндекс (User-agent: Yandex) и общий раздел для остальных роботов (User-agent: *), поэтому я вставляю эти директивы в оба раздела. Проще говоря, во все разделы User-agent

Если форум находится в отдельной папке сайта

Для ситуации, когда форум находится в своей папке (в данном случае forum), нужно указывать путь до файлов форума:

Disallow: /forum/viewtopic.php?*f=*p=
Disallow: /forum/viewtopic.php?*f=*start=
Disallow: /forum/viewtopic.php?*f=*t=

Если у вас форум находится в какой-то другой папке, то нужно вместо forum указать эту папку.

Если форум находится в корневой папке сайта

Когда у форума нет выделенной папки, то директивы записываются так, и в таком виде нужно вставить их в robots.txt:

Disallow: /viewtopic.php?*f=*p=
Disallow: /viewtopic.php?*f=*start=
Disallow: /viewtopic.php?*f=*t=

Как проверить действие robots.txt

После исправления файла, конечно, нужно проверить, правильно ли он работает – это можно сделать в Яндекс.Вебмастере и Google Search Console, подробнее см. Как проверить robots.txt.

Если всё корректно для обеих поисковых систем, то в Вебмастере надо отметить исправление проблемы – нажать кнопку Проверить.

Проблема дублирования страниц с GET-параметрами и кнопка Проверить в Яндекс.Вебмастере

Затем, через указанное под кнопкой время, надо проверить, признана ли проблема решенной.

Узнать больше

GET-параметры (Яндекс.Справка)

Использование файла robots.txt (Яндекс.Справка)

Как создать файл robots.txt (Центр Google Поиска)

нлайн инструменты веб-разработчика

Удалось ли вам решить проблему страниц-дублей и как быстро? Напишите комментарий внизу страницы.

Как исправить дубли страниц PHPBB в robots.txt
Метки:

Добавить комментарий

Ваш адрес email не будет опубликован.