Semalt Expert: руководство по предотвращению сканирования Google старых файлов Sitemap

По мере роста вашего сайта вы будете стараться изо всех сил, чтобы найти способы улучшить его видимость и авторитет в Интернете. Иногда последствия того, как работали наши сайты, остаются позади, и это то, на что мы должны обратить внимание.

Перейдите к следующим советам Макса Белла, менеджера по работе с клиентами компании Semalt , чтобы запретить Google сканировать старые сайты.

Несколько недель назад один из моих клиентов сказал мне, что у него есть сайт электронной коммерции. Он претерпел различные изменения: от структуры URL до карты сайта, все было изменено, чтобы сделать сайт более заметным.

Клиент заметил некоторые изменения в своей консоли поиска Google и обнаружил там ошибки сканирования. То, что он заметил, было большое количество старых и новых URL, которые генерировали поддельный трафик. Некоторые из них, однако, показывали ошибки Access Denied 403 и Not Found 404.

Мой клиент сказал мне, что самой большой проблемой у него была старая карта сайта, которая существовала в корневой папке. Его сайт ранее использовал множество плагинов Google XML Sitemaps, но теперь он полагался на WordPress SEO от Yoast для карты сайта. Однако различные старые плагины карты сайта создавали для него беспорядок. Они присутствовали в корневой папке с именем sitemap.xml.gz. Поскольку он начал использовать плагины Yoast для создания карт сайтов для всех постов, категорий страниц и тегов, он больше не нуждался в этих плагинах. К сожалению, этот человек не отправил sitemap.xml.gz в консоль поиска Google. Он только представил свою карту сайта Yoast, и Google сканировал его старые карты сайта.

Что ползти?

Человек не удалил старую карту сайта из корневой папки, так что он также был проиндексирован. Я вернулся к нему и объяснил, что карта сайта - это только подсказка того, что следует сканировать в результатах поиска . Вы, вероятно, думаете, что удаление старых карт сайта не даст Google сканировать несуществующий URL, но это не так. Мой опыт говорит, что Google пытается индексировать каждый старый URL несколько раз в день, проверяя, что 404 ошибки реальны, а не случайны.

Робот Google может хранить память о старых и новых ссылках, которые он найдет в карте сайта вашего сайта. Он посещает ваш сайт через регулярные промежутки времени, обеспечивая правильную индексацию каждой страницы. Робот Google пытается оценить, являются ли ссылки действительными или недействительными, чтобы у посетителей не возникало никаких проблем.

Очевидно, что веб-мастера будут сбиты с толку, когда количество их ошибок сканирования увеличивается. Все они хотят уменьшить это в значительной степени. Как сообщить Google игнорировать все старые карты сайта? Вы можете сделать это, убив все нежелательные и нечетные обходы файла Sitemap. Ранее единственным способом сделать это были файлы .htaccess. Спасибо WordPress за предоставление нам некоторых плагинов.

Веб-сайты WordPress имеют этот файл в своих корневых папках. Итак, вам просто нужно получить доступ к FTP и включить скрытые файлы в cPanel. Перейдите к опции «Диспетчер файлов», чтобы редактировать этот файл в соответствии с вашими требованиями. Вы не должны забывать, что неправильное редактирование может повредить ваш сайт, поэтому вы всегда должны делать резервные копии всех данных.

После добавления фрагмента в файл все просроченные URL-адреса исчезнут из ваших ошибок сканирования в кратчайшие сроки. Вы не должны забывать, что Google хочет, чтобы вы поддерживали работу своего сайта, уменьшая вероятность 404 ошибок.

mass gmail