Эта статья рассказывает, как исправить ошибку дублирования страниц на PHPBB форуме и содержит точные директивы для файла robots.txt, которые можно использовать для вашего сайта.
Возможно, вы получали от Яндекс.Вебмастера письмо «На сайте … найдены страницы-дубли с разными GET-параметрами» и таким примерно содержанием:
Некоторые страницы вашего сайта … содержат одинаковый контент и отличаются только GET-параметрами в URL, дублируя контент. Из-за их обхода информация о важных для вас страницах может медленнее передаваться в поисковую базу, что может влиять на состояние сайта в поиске.
Если эти страницы действительно являются дублями, рекомендуем использовать директиву Clean-param в robots.txt, чтобы робот игнорировал незначащие GET-параметры и объединил все сигналы со страниц-копий на основной странице.
Вроде как ничего серьезного, сайт-то работает, страницы в поиске, но Яндекс воспринимает эту ситуацию как критичную ошибку, которая может негативно сказаться на позициях сайта, поэтому всё-таки лучше исправить. Тем более что это не так сложно.
При этом Яндекс рекомендует использовать директиву Clean-Param, и всё бы ничего, только Google воспринимает её как однозначную ошибку (не предупреждение), которая в свою очередь может негативно сказаться на результатах сайта, но уже в Google.
Google, в свою очередь, предлагает целый инструмент Параметры URL для управления тем, как обрабатываются URL с параметрами.
Проще всего исключить страницы-дубли из индекса добавлением директив Disallow, правильно прописав шаблон для URL.
Директивы Disallow для PHPBB
У меня дублирующиеся страницы на форуме были, например, такие:
https://nhutils.ru/forum/viewtopic.php?f=3&p=2723
https://nhutils.ru/forum/viewtopic.php?f=14&start=10
https://nhutils.ru/forum/viewtopic.php?f=3&t=2918Поэтому чтобы отфильтровать (исключить из индекса) такие страницы, нужно их обозначать в robots.txt с помощью символов подстановки, например, viewtopic.php?*f=*p=
В какой раздел robots.txt вставлять эти директивы? Это зависит от его структуры. У меня есть отдельный раздел для Яндекс (User-agent: Yandex) и общий раздел для остальных роботов (User-agent: *), поэтому я вставляю эти директивы в оба раздела. Проще говоря, во все разделы User-agent
Если форум находится в отдельной папке сайта
Для ситуации, когда форум находится в своей папке (в данном случае forum), нужно указывать путь до файлов форума:
Disallow: /forum/viewtopic.php?*f=*p=
Disallow: /forum/viewtopic.php?*f=*start=
Disallow: /forum/viewtopic.php?*f=*t=
Если у вас форум находится в какой-то другой папке, то нужно вместо forum указать эту папку.
Если форум находится в корневой папке сайта
Когда у форума нет выделенной папки, то директивы записываются так, и в таком виде нужно вставить их в robots.txt:
Disallow: /viewtopic.php?*f=*p=
Disallow: /viewtopic.php?*f=*start=
Disallow: /viewtopic.php?*f=*t=Как проверить действие robots.txt
После исправления файла, конечно, нужно проверить, правильно ли он работает – это можно сделать в Яндекс.Вебмастере и Google Search Console, подробнее см. Как проверить robots.txt.
Если всё корректно для обеих поисковых систем, то в Вебмастере надо отметить исправление проблемы – нажать кнопку Проверить.
Затем, через указанное под кнопкой время, надо проверить, признана ли проблема решенной.
Узнать больше
GET-параметры (Яндекс.Справка)
Использование файла robots.txt (Яндекс.Справка)
Как создать файл robots.txt (Центр Google Поиска)
нлайн инструменты веб-разработчика
Удалось ли вам решить проблему страниц-дублей и как быстро? Напишите комментарий внизу страницы.
