Как удалить из яндекса всю информацию о себе. Как убрать страницы из индекса Google и Яндекс Как убрать из поиска

(2)

Практически каждый вебмастер, особенно на начальном этапе создания проекта, сталкивался с необходимостью удаления страниц веб-сайта из индекса поисковиков. Даже не взирая на то, что процедура, на первый взгляд, довольно простая, у многих все же возникают трудности.

Порой владельцу веб-ресурса приходиться скрывать документ от поисковиков по следующим причинам:

• сайт находится в стадии разработки и попал в выдачу совершенно случайно;
• контент на странице больше неактуален;
• документ дублирует другую страницу, которая уже есть на сайте;
• в индекс попали служебные страницы, где размещены личные данные клиентов.

Во избежание таких случаев, сегодня мы поговорим о 4 эффективных способах удаления страницы из индекса поисковых систем.

Как закрыть страницу от поисковиков с помощью панели вебмастера?

Данный метод закрытия доступа к страницам вашего сайта для поисковых роботов считается одним из самых легких. Причем этот инструмент идеально подходит для тех случаев, когда определенные URL нужно удалить срочно.

Yandex

Для этого вам понадобится сервис Яндекс.Вебмастер . Как добавлять сайт на эту площадку для ускорения индексации, мы рассказывали . Перейдите по ссылке https://webmaster.yandex.ru/tools/del-url/ и добавьте в соответствующее поле адрес конкретной страницы, затем нажмите «Удалить».


С большой долей вероятности Yandex попросит вас ускорить процесс удаления страницы из базы данных системы. Для этого вам нужно предварительно закрыть ее от ботов через файл либо мета-тег robots, или сделать так, чтобы сервер выдавал ошибку 404. Про то, как это сделать, мы поговорим чуть позже.

Понадобится несколько часов или даже дней, прежде чем боты удалят документ из базы. Это связано с тем, что системе нужно будет отслеживать его статус и убедиться, что он уже не изменится.

Google

Авторизируйтесь на площадке Google Webmaster Tools . Предварительно добавьте свой сайт в индекс, если вы еще этого не сделали. Затем найдите там вкладку «Индекс Google», и под ним «Удалить URL адреса». В появившемся окне выберите опцию создания запроса на удаление, и укажите в поле адрес удаляемого документа. Затем отправьте запрос.

Ошибка 404 на сервере

Наверняка каждый пользователь, ища нужную информацию в Интернете, попадал на страницу, где выдавало ошибку 404 – «Страница не найдена» . Это значит, что искомый по вашему запросу документ был удален с ресурса.

Сделать это вебмастер может в панели управления сайтом, например, . Для поисковиков это означает, что вы настраиваете ответ сервер этой страницы так, чтобы на определенном адресе появился код 404 not found . И когда робот снова посетит данный URL, сервер сообщит ему, что страницы больше нет. Это дает понять поисковикам, что документ удален с сайта, и они уберут его из поисковой выдачи, чтобы посетители не заходили на него и не читали ошибку 404.

К характерным особенностям данного способа можно отнести:

1. Простую настройку всего за несколько кликов.
2. Полное исчезновение документа из веб-ресурса. Из-за этого не рекомендуется использовать данный метод в случае, когда из индекса нужно убрать служебную страницу (конфиденциальную информацию клиентов и пр.).
3. Также стоит прибегнуть к другому варианту скрытия страницы, например, 301 редирект, если на нее ведут входящие ссылки.

Важно! Страница выпадает из поискового индекса не за счет ее удаления с ресурса, а за счет дальнейшей переиндексации. Поэтому для ее удаления вам придется ждать около 2ух недель, пока бот вновь не посетит ресурс.

Для вебмастеров такой метод является одним из самых удобных, а вот посетителю ошибка 404 может не понравиться, и есть риск того, что пользователь, увидев ее, перестанет заходить на сайт. Но выход есть и из этой ситуации.

На заметку. Очень часто сайтостроители занимаются интересным оформлением страницы, на которой вылетает ошибка 404 not found. Они выкладывают туда полезную информацию и предлагают посетить другие страницы ресурса, которые непременно привлекут внимание посетителя. Так вы сделаете эту страницу более привлекательной для пользователя, что непременно положительно скажется на его рейтинге и узнаваемости.

Изменение файла robots.txt

Еще один распространенный метод, к которому прибегают вебмастера. Он позволяет скрыть отдельные документы и целые разделы. В файле robots вы можете не только запретить, но и разрешить поисковым ботам индексировать сайт или определенные страницы. Подобные команды обеспечиваются применением директивы Disallow.

Для скрытия страницы от поисковых машин, вам нужно получить доступ к корневой папке сайта. В документе robots.txt в основном содержатся 2 строки:

1. User- agent. Здесь указывается имя робота определенного поисковика, которому вы запрещаете сканировать страницу, или же прописывается код User-agent: * , применимый сразу для всех ботов.
2. Disallow. Тут прописывается URL удаляемой страницы.

Вместе они создают команду для поисковых машин, касающуюся указанного URL. Если требуется, вы можете в одном файле скрыть сразу несколько документов на одном ресурсе, и они никак не будут влиять друг на друга.

Например, вот так мы укажем всем поисковым роботам, чтобы они не индексировали страницы index и password на нашем сайте

User-agent: * Disallow: /index Disallow: /password

Когда вы пропишите данную команду, нужно будет ждать следующей индексации. Вам стоит знать, что все изменения в файле robots несут для поисковиков рекомендательный характер, поэтому не удивляйтесь, если объект по-прежнему останется в индексе, но с пометкой о скрытии через robots.txt. Но если через определенный промежуток времени статус документа не изменится, он все же будет удален из базы данных поисковых систем.

Важно! Если на удаленных страницах есть внешние ссылки, то они останутся доступными для перехода именно по ним. Это связано с тем, что команды в файле robots не удаляют объект из поисковой выдачи фактически, а лишь скрывают его из результатов.

Мета-тег Robots

Если не вдаваться в подробности, то этот способ аналогичен вышеуказанному, вот только все команды прописываются в html-коде сайта внутри тегов head:

Все изменения также будут произведены после индексации. Преимущество использования мета-тега robots заключается в том, что посредством него из поиска можно удалить множество URL без необходимости изменения самого файла robots. Данный способ идеально подходит для начинающих сайтостроителей, которые постепенно создают новые страницы.

Также это отличный вариант тогда, когда вам нужно закрыть страницу от индекса Яндекса, но при этом оставить ее доступной в Google. Или же когда вы хотите удалить объект из поиска, но оставить информацию доступной на самом сайте.

Пример закрытия URL только для Яндекса:

Важно! Прописывание мета-тегов отличается от изменения robots.txt тем, что с их помощью вы сможете удалить объект из поиска, даже если на него ведут внешние ссылки. Этому способствует мета-тег noindex. Однако если ваш сайт создан не на базе WordPress, то процедура будет более сложной. Дело в том, что в WP есть специальный плагин Yoast SEO, который и позволяет удалять страницы мета-тегами.

Заключение

Если у вас вдруг появилась необходимость удалить отдельную страницу своего сайта из поискового индекса, вы с легкостью можете воспользоваться всеми указанными в данной статье методами. Выбирайте тот, который для вас более удобный, но при этом учитывайте характерные особенности каждого из них. Вообще, если вы хотите закрыть документ в максимально кратчайшие сроки, используйте сразу несколько вариантов.

Здравствуйте! Сегодня пост о наболевшем для большинства из начинающих сайтостроителей. Мне приходилось очень часто в комментариях отвечать на один и тот же вопрос — как удалить страницы из поиска , которые были проиндексированы ранее, но в силу сложившихся обстоятельств были удалены и больше не существуют, но по-прежнему находятся в индексе поисковых систем. Или же в поиске находятся страницы запрещенные к индексации.

В комментариях особо не развернешься, поэтому после очередного вопроса решил уделить данной теме отдельное внимание. Для начала давайте разберемся, каким образом такие страницы могли оказаться в поиске. Примеры буду приводить исходя из собственного опыта, так что если я что-то забуду, то прошу дополнить.

Почему закрытые и удаленные страницы есть в поиске

Причин может быть несколько и некоторые из них я постараюсь выделить в виде небольшого списка с пояснениями. Перед началом дам пояснение что подразумеваю под «лишними» (закрытыми) страницами: служебные или иные страницы, запрещенные к индексации правилами или мета-тегом.

Несуществующие страницы находятся в поиске по следующим причинам:

• Самое банальное — страница удалена и больше не существует.
• Ручное редактирование адреса web-страницы, вследствие чего документ который уже находится в поиске становится не доступным для просмотра. Особое внимание этому моменту нужно уделить новичкам, которые в силу своих небольших знаний пренебрежительно относятся к функционированию ресурса.
• Продолжая мысль о структуре напомню, что по-умолчанию после установки WordPress на хостинг она не удовлетворяет требованиям внутренней оптимизации и состоит из буквенно-цифровых идентификаторов. Приходится на ЧПУ, при этом появляется масса нерабочих адресов, которые еще долго будут оставаться в индексе поисковых систем. Поэтому применяйте основное правило: надумали менять структуру — используйте 301 редирект со старых адресов на новые. Идеальный вариант — выполнить все настройки сайта ДО его открытия, в этом может пригодиться локальный сервер.
• Не правильно настроена работа сервера. Несуществующая страница должна отдавать код ошибки 404 или с кодом 3хх.

Лишние страницы появляются в индексе при следующих условиях:

• Страницы, как Вам кажется, закрыты, но на самом деле они открыты для поисковых роботов и находятся в поиске без ограничений (или не правильно написан robots.txt). Для проверки прав доступа ПС к страницам воспользуйтесь соответствующими инструментами для .
• Они были проиндексированы до того как были закрыты доступными способа.
• На данные страницы ссылаются другие сайты или внутренние страницы в пределах одного домена.

Итак, с причинами разобрались. Стоит отметить, что после устранения причины несуществующие или лишние страницы еще долгое время могут оставаться в поисковой базе — все зависит от или частоты посещения сайта роботом.

Как удалить страницу из поисковой системы Яндекс

Для удаления URL из Яндекс достаточно пройти по ссылке и в текстовое поле формы вставить адрес страницы, которую нужно удалить из поисковой выдачи.

Главное условие успешного запроса на удаление:

• страница должна быть закрыта от индексации правилами robots или мета-тегом noindex на данной странице — в том случае если страница существует, но не должна участвовать в выдаче;
• при попытке обращения к странице сервер должен возвращать ошибку 404 — если страница удалена и более не существует.

При следующем обходе сайта роботом запросы на удаление будут выполнены, а страницы исчезнут из результатов поиска.

Как удалить страницу из поисковой системы Google

Для удаления страниц из поступаем аналогичным образом. Открываем инструменты для веб-мастеров и находим в раскрывающемся списке Оптимизация пункт Удалить URL-адреса и переходим по ссылке.

Перед нами специальная форма с помощью которой создаем новый запрос на удаление:

Нажимаем продолжить и следуя дальнейшим указаниям выбираем причину удаления. По-моему мнению слово «причина» не совсем подходит для этого, но это не суть…

Из представленных вариантов нам доступно:

• удаление страницы страницы из результатов поиска Google и из кэша поисковой системы;
• удаление только страницы из кэша;
• удаление каталога со всеми входящими в него адресами.

Очень удобная функция удаления целого каталога, когда приходится удалять по несколько страниц, например из одной рубрики. Следить за статусом запроса на удаление можно на этой же странице инструментов с возможностью отмены. Для успешного удаления страниц из Google необходимы те же условия, что и для . Запрос обычно выполняется в кратчайшие сроки и страница тут же исчезает из результатов поиска.

Статьи в этой же категории

О х уж эти ошибки роста…

В моей практике был случай. Писал статьи, старался изо всех сил, написано на тот момент было статей шестьдесят и вдруг!

Нахожу такую деталь, мои настроены на блоге не совсем корректно, вы можете посмотреть как нужно в этой статье.

Ну а сами понимаете, блог в индексе и посетители приходят по запросам из выдачи поисковиками. Некоторые статьи в ТОПе на вторых –пятых позициях держатся и приводят кучу народа на блог.

И вот, засада, значит надо переделывать все ссылки? Обратился к опытным СЕОшникам, говорят этот вопрос все время в дискуссиях, а структура, как не крути, нарушена. Как бы вроде и так работает…

Но знакомый блогер сказал, что у него за 170 статей было, и стало колбасить, и он переделывал.

А всего лишь в конце URLа каждой статьи не слэш [ / ] должен быть, а [ .html ] !!!

Подумал-подумал и взялся. И переделал. Конечно, посещаемость упала, потом постепенно начала расти, но вот проблема.

Страницы со слэшем в индексе остаются и посетители из поисковиков естественно идут ко мне и натыкаются на 404 страницу. Нет мол тут такой статьи, бля… Какого хера…

Вот мы и пришли к сути статьи, надо убрать из индекса эти УРЛы.

Удаление страниц из индекса поисковых систем

Изучив этот вопрос, принялся за дело. Оказывается, что несуществующие страницы могут оказаться по многим причинам.

Почему же закрытые и удаленные страницы остаются в поиске

Причин несколько. Поясню, под закрытыми страницами подразумеваются служебные и другие страницы, запрещенные к индексации правилами robot.txt или метатэгами.

Несуществующие страницы существуют в поиске по причинам:

— Удаленные, а значит не существующие
— по причине ручного редактирования адреса вэб-страницы. Этого делать нельзя категорически, он сразу становится недоступным.
— не правильно настроена работа сервера, в связи с этим несуществующая страница будет выдавать 404 ошибку.

Лишние страницы образуются в индексе при условии:

— Страницы закрыты, но на самом деле они находятся в поиске и открыты для поисковых роботов (не правильно настроен robots.txt)
— были проиндексированы ранее, чем они были закрыты
— на эти страницы ссылаются другие сайты или на них ссылаются внутренние страницы.

Ну коли причины нам известны, диагнос поставлен, можно и приступить к лечению.

Не лишним стоит упомянуть, что сделав работу по устранению всех косяков, они еще какое-то время будут существовать в поиске. Все зависит от частоты прохода роботов по вашему сайту.

Как удалить страницу из поиска в Яндексе

Отправили и при следующем заходе робота запрос на удаление будет выполнен.

Как удалить из индекса в поисковой системе Google

В Гугле открываем инструменты вэбмастера в списке Оптимизация Удалить URL адреса по ссылке https://www.google.com/webmasters/tools/url-removal?hl=ru&siteUrl=http://www.сайт/

Или наберите в поиске Гугла «Инструмент для вебмастеров» и в верхней кликните по верхней строчке.

Откроется окно Search Console, где кликните на URL вашего сайта, если он там есть. Если нет, добавьте свой ресурс (слева кнопка).

Затем слева будет меню, на нем путь Индекс Google —> Удалить URL-адреса.

Жмите на кнопку Временно скрыть, и внесите адрес для удаления в окно. Кнопка Продолжить.

Затем выберите причину и Отправьте запрос. Запрос о статусе отобразится.

И через какое-то время страница уйдет из индекса.

Ну вот и вся история)))

Бывает ситуации, когда нужно не быстро проиндексировать страницы, а убрать их с результатов поиска.

Например, когда вы купили доменное имя, и создаете на нем совершенно новый сайт, который никак не связан с предыдущим. Или в индекс попали страницы, которые там не должны быть. Или вы просто решили закрыть раздел на сайте, который больше не актуален.

Сегодня речь про то, как убрать страницы из индекса поисковых систем Google и Яндекс .

Мы детально рассмотрим основные способы, с помощью которых можно быстро убрать страницы из результатов поиска.

Давайте сразу перейдем к делу!

Способы убрать страницы из индекса поисковых систем:

1. Удаление в инструментах Вебмастеров

Самым простым вариантом удаления страниц из индекса является удаление через и .

Удаление страниц из поиска Google

Заходим в:

После чего отправляем запрос на удаление страницы.

Сразу возникает вопрос, а сколько ждать?

Удаление страниц происходит очень быстро. Вот тот же сайт, через 8 часов, после добавления:

Даже при не малом объеме страниц, можно убрать их из индекса крайне быстро. Например, тот же сайт, немногим ранее:

То есть было более 1200 страниц, потом стало пару десятков. А сейчас осталась практически одна главная страница.

Удаление страниц из поиска Яндекса

Добавляем нужный адрес страницы, который необходимо удалить.

В итоге можем получить такой ответ:

То есть, все равно придётся сделать ниже описанные моменты, которые ускорят процесс удаления страниц из индекса Яндекса.

За не индексацию или исключение страниц или разделов отвечает функция: «Disallow:».

Можно закрывать от индексации, как отдельные страницы, так и целые разделы сайта. То есть то, что вы не хотите индексировать поисковыми системами. Robots.txt учитывается Google и Яндекс.

Например – закрытие раздела:

Закрытие страницы:

Disallow: /stranica1.html

Закрытие страниц поиска:

Disallow: /сайт/?s*

Про robots.txt скоро будет очень объемный пост с многими техническими моментами, которые как минимум стоит знать и применять для решения задач сайтов.

3. 404 ошибка

Так же важно создать страницу 404 ошибки, чтобы сервер отдавал 404. Тогда при очередной индексации сайта поисковыми ботами они выкинут эти страницы из индекса.

Ответ сервера 404 ошибки создается по умолчанию, так как если ее не делать, на сайте может быть множество дубликатов страниц, которые плохо повлияют на рост трафика.

Хочу заметить, что удаление страниц из индекса таким способом может занять время, так как нужно дождаться ботов поисковых систем.

Это основные моменты, которые могут повлиять на удаление страниц из индекса поисковых систем.

В практике очень редко использует другое, как:

— мета тег robots

— X-robots-Tag

Но чтобы убрать нужные страницы из индекса наверняка, то лучше использовать все 3 выше описанные методы. Тогда это будет на порядок быстрее.

Так же можно просто удалить страницы и оставить лишь заглушку сайта, но не факт, что страницы пропадут из индекса очень быстро, поэтому лучше им в этом помочь.

Как временно удалить свои страницы из результатов поиска Google

Этот инструмент позволяет временно блокировать страницы вашего сайта в результатах поиска Google. О том, как удалить из Google Поиска страницы, которые вам не принадлежат, читайте .

Важные примечания

Как временно исключить страницу из результатов поиска Google

1. URL должен относиться к принадлежащему вам ресурсу в Search Console. Если это не так, вам нужно следовать другим инструкциям .
2. Перейдите к инструменту удаления URL .
3. Нажмите Временно скрыть .
4. Укажите относительный путь к нужному изображению, странице или каталогу. При этом учитывайте следующие требования:
   • Регистр символов в URL имеет значение. URL example.com/Stranitsa и example.com/stranitsa не одинаковы.
   • Путь должен относиться к корневому каталогу вашего ресурса в Search Console.
   • Варианты с префиксами http и https, а также с субдоменом www и без него означают одно и то же. Следовательно, если говорить об example.com/stranitsa , то:
     • https://example.com/stranitsa не отличается;
     • http://example.com/stranitsa не отличается;
     • https://www.example.com/stranitsa не отличается;
     • http://www.example.com/stranitsa не отличается;
     • http://m.example.com/stranitsa отличается . Субдомены m. и amp. (а также все прочие) делают URL неравнозначными.
   • Чтобы скрыть целый сайт , не указывайте путь и на следующем шаге выберите вариант Очистить кеш и временно скрыть все URL, которые начинаются с… .
5. Нажмите Продолжить .
6. Выберите нужное действие из перечисленных ниже.
7. Нажмите Отправить запрос . На его обработку может потребоваться до суток. Мы не гарантируем, что запрос будет выполнен. Проверяйте статус запроса. Если он был отклонен, нажмите Подробнее , чтобы посмотреть дополнительные сведения.
8. Отправьте дополнительные запросы, указав все URL, по которым может открываться та же страница, а также варианты URL с измененным регистром, если ваш сервер их поддерживает. В частности, на одну и ту же страницу могут указывать следующие URL:
   • example.com/mypage
   • example.com/MyPage
   • example.com/page?1234
9. Если вы хотите удалить URL из результатов поиска окончательно , ознакомьтесь со следующим разделом.

Удаление навсегда

Инструмент удаления URL позволяет удалять страницы только на время . Если вы хотите удалить контент из результатов поиска Google навсегда, примите дополнительные меры:

• Удалите или измените контент сайта (изображения, страницы, каталоги) и убедитесь, что сервер возвращает код ошибки 404 (не найдено) или 410 (удалено) . Файлы, формат которых отличен от HTML (например, PDF), должны быть полностью удалены с сервера. Подробнее о кодах статуса HTTP ...
• Заблокируйте доступ к контенту , например установите пароль.
• Запретите сканирование страницы с помощью метатега noindex . Этот метод менее надежен, чем остальные.

Отмена удаления URL

Если нужно восстановить страницу в результатах поиска раньше окончания временной блокировки, откройте страницу статуса в инструменте и нажмите Включить повторно рядом с выполненным запросом на удаление URL. Обработка запроса может занять несколько дней.

Использование инструмента не по назначению

Инструмент удаления URL предназначен для срочного блокирования контента, например в тех случаях, если случайно оказались раскрыты конфиденциальные данные. Использование этого инструмента не по назначению приведет к негативным последствиям для вашего сайта.

• Не используйте инструмент для удаления ненужных элементов , например старых страниц с сообщением об ошибке 404. Если вы изменили структуру своего сайта и некоторые URL в индексе Google устарели, поисковые роботы обнаружат это и повторно просканируют их, а старые страницы постепенно будут исключены из результатов поиска. Нет необходимости запрашивать срочное обновление.
• Не используйте инструмент для удаления ошибок сканирования из аккаунта Search Console. Эта функция препятствует показу адресов в результатах поиска Google, а не в аккаунте этого сервиса. Вам не нужно вручную удалять URL. Со временем они будут исключены автоматически.
• Не используйте инструмент удаления URL при полной переделке сайта "с нуля". Если в отношении сайта действуют меры, принятые вручную, или он приобретен у прежнего владельца, рекомендуем подать запрос на повторную проверку . Сообщите при этом, какие изменения вы внесли и с какими проблемами столкнулись.
• Не используйте инструмент для "отключения" сайта после взлома. Если ваш сайт был взломан и вы хотите удалить из индекса страницы с вредоносным кодом, используйте инструмент блокировки URL для блокировки новых URL, созданных злоумышленником, например http://www.example.com/buy-cheap-cialis-skq3w598.html. Однако мы не рекомендуем блокировать все страницы сайта или те URL, которые нужно будет проиндексировать в будущем. Вместо этого удалите вредоносный код, чтобы роботы Google могли повторно просканировать ваш сайт.
• Не используйте инструмент удаления URL для индексации правильной "версии" своего сайта. На многих ресурсах один и тот же контент и файлы можно найти по разным URL. Если вы не хотите, чтобы ваш контент дублировался в результатах поиска, прочитайте . Не используйте инструмент удаления URL, чтобы заблокировать нежелательные версии URL. Это не поможет сохранить предпочитаемую версию страницы, а приведет к удалению всех версий URL (с префиксами http или https, а также с субдоменом www и без него).

Эта информация оказалась полезной?

Как можно улучшить эту статью?