Файлы Sitemap. Создание Sitemap Sitemap для яндекса и гугла

Предположим у вас есть сайт, забитый уникальным контентом, на котором проведена SEO оптимизация и сидите вы, потирая ладошки в ожидании, когда же ваше детище начнет посещаться поисковым роботом, индексироваться и приносить заветный трафик. Идет время, а результат ваших стараний не особо-то и виден. В чем же дело? Возможно, что-то все же было упущено из виду, что-то да забылось в погоне за ништяками. Предположим, что сайт по-прежнему уникальный и оптимизаторы из вас хоть куда. Тогда нужно разбираться, почему поисковик так неохотно вас посещает и по какой причине все происходит так медленно.

Каждый web-проект должен иметь два важных, а может и основных файла: это роботс (robots.txt) и карта сайта (). Если какой-то из них отсутствует или неверно заполнен, велика вероятность, что ресурс не даст того результата, на который вы рассчитывали. Ведь у поисковых ботов есть заданные ограничения как по времени нахождения на ресурсе, так и по количеству документов, которые они могут проверить и занести в базу. А это все к тому, что если вами не были заданы пути перемещения для поискового робота, то он может добраться до контента очень нескоро, перед этим побродив в файлах движка.

Чтобы избежать подобной неразберихи, в файле роботс мы говорим, на что ботам не стоит тратить время, а с помощью карты сайта, наоборот, подсказываем куда следует заглянуть и где побродить.

Предположим, что у нас все срослось и поисковики начали индексировать наш проект, а вот отсутствие второго может затянуть достижение поставленных целей. А теперь подробнее про создание sitemap.

XML и HTML версии карты сайта

Sitemap.html выступает в роли навигации для гостей нашего ресурса, которая помогает понять структуру сайта и найти интересующий их раздел.

Sitemap.xml подсказывает и помогает поисковым ботам обнаружить и начать индексировать страницы нашего проекта. Если мы имеем большой уровень вложенности и многочисленное количество веб-страниц на сайте, XML гарантирует, что боты не упустят из вида, то что нужно проиндексировать. Как приятный бонус мы получаем плюсик к карме в виде увеличения доверия к ресурсу со стороны поисковиков.

Положительные стороны присутствия sitemap. xml на сайте

• ускоренное индексирование недавно созданных страниц;
• стопроцентная вероятность того что поисковик отыщет необходимые страницы;
• возможность указать приоритеты при проверке, частоту и дату последнего обновления страницы;
• немного увеличивается доверие к ресурсу.

Важно!

• используйте для карты сайта кодировку UTF-8 ;

• вес файла должен быть не более 10 MB и его содержание не должно быть больше 50 тысяч URL .

Как создать и добавить sitemap. xml на сайт

Берем любой текстовый редактор, например Notepad++, и начинаем творить.

Первым блоком идет стандартная часть, в которой мы указываем:

http://Наш сайт.ru/ 2016-05-23T23:45:36+00:00 daily 1.0

Значения тегов:

• «loc» - в него мы заключили адрес страницы нашего сайта, которую в скором времени должны проиндексировать поисковые роботы;
• «lastmod» - отображается последняя дата обновления страницы указанной в первом теге;
• «changefreq» - показывает как часто будет обновляться контент (в нашем случае каждый день);
• «priority» - задает приоритетность к индексации страницы (от 0 до 1)

Сохраняем получившийся файлик в формате XML и помещаем его в . Далее указываем путь к нему в robots. txt прописывая данную строчку:

http://Наш сайт/sitemap.xml

Либо мы можем использовать один из онлайн-генераторов. Например, , который рассчитан на создание не больше чем 500 страниц. Но зачастую больше и не надо, поэтому работаем с ним.

В первую строку вписываем полный URL нашего сайта с http://Наш сайт.

Вторая строка, которая называется « Change frequency», показывает поисковым роботам, как часто будут обновляться веб-страницы. Можем выбрать: never, weekly, daily, hourly, monthly, yearly.

Третья строка « Last modification » показывает, когда последний раз обновлялась страница, можем выбрать либо дату когда мы решили создать карту сайта, либо выбрать « Use server’s response » - тогда генератор автоматически внесет дату последнего изменения.

И четвертая строка « Priority», как мы уже ранее обсуждали позволяет выбрать приоритет к индексации, выбираем « Automatically Calculated Priority ».

Нажимаем кнопку «Start» и ждем когда сгенерируется карта сайта в формате XML , после опять проделываем манипуляции с помещением в корень и указания пути в robots.txt.

Как сообщить о файле sitemap после создания Google и Яндекс

Заходим в Вебмастер и действуем следующим образом.

Выбираем проверку карты сайта:

И задаем путь к нашему файлу sitemap.

Проверяем что получилось:

Убеждаемся, что все в порядке и отправляемся на поклон к Google.

Для того чтобы попасть в Search Console Гугл, в которой, собственно, и можно сообщить о нашей карте, переходим

Обновляем страницу - перед нами результат проверки и если в колонке «Проблемы» стоит прочерк, значит, мы все сделали правильно.

Подведем итоги

Создать и разместить файл sitemap. xml на ресурсе по факту минутное дело, для этого можно использовать любой текстовый редактор или онлайн-генератор. Если у вас есть карта сайта на своем ресурсе вы ускоряете и упрощаете жизнь поисковому роботу, который следует по указанному пути и индексирует нужные страницы. Это значит, что результат вашей работы по оптимизации имеет шанс быстрее стать заметным. Но важно не забывать про карту сайта и периодически ее обновлять, т.к. страница может перестать участвовать в продвижении, а боты будут продолжать ее посещать, что отразится на позициях. Также наш XML-проводник может служить помощником не только роботам, но и воришкам контента, ведь в sitemap мы указываем нужные нам документы, что значительно упрощает жизнь копипастерам. Поэтому рекомендуем периодически проверять контент вашего ресурса на уникальность. Соблюдая эти правила вы повышаете доверие поисковых систем Google и Яндекс к своему ресурсу.

Use the Sitemap file to inform Yandex about the current structure of the site: specify a special directive in robots.txt or add it in Yandex.Webmaster.

With Yandex.Webmaster, you can:

Uploading Sitemap

Choose the site from the list.

Enter the file URL. For example, https://example.com/sitemap.xml .

Click the Add button.

The file is put into the processing queue. The robot will download it within two weeks. Every added file, including the ones listed in the Sitemap index file , is handled by the robot separately.

Once the file is downloaded you will see one of the statuses:

Updating Sitemap

If you changed Sitemap file added to Yandex.Webmaster, there is no need to delete it and upload it again. The robot regularly checks the file for updates and errors.

To speed up the file indexing, click the icon. If you use the Sitemap index file , you can launch the processing of each file listed in it. The robot will download the data within two weeks. You can use this function up to 10 times for each host.

When you run out of all attempts, you will be able to try again 30 days after the first try. The exact date is shown in Yandex.Webmaster.

Removing Sitemap

Files added on the Sitemap files page can be removed from Yandex.Webmaster.If the Sitemap directive was added in the robots.txt file , delete it. After making changes, information about Sitemap disappears from the robot database and Yandex.Webmaster within a few weeks.

FAQ

Sitemap is displayed in the service as an excluded page with the “Invalid document format” status.

The Sitemap file (and other XML files) is displayed as excluded pages. This is, however, only for information purposes and doesn"t affect the site indexing or the Sitemap processing.

The Sitemap file can be displayed in a group of excluded pages if the robot tried to index it as a regular page, while the XML files aren"t indexed in the Yandex search engine and aren"t included in the search results.

The “Unknown tag” error occurred while processing Sitemap

The Sitemap file may contain only certain XML elements . If Yandex.Webmaster finds other elements in the file (for example, a reference to the mobile or multilingual version, image URLs), it displays the \"Unknown tag\" error. The robot ignores unsupported elements when processing Sitemap and takes into account the data from the supported elements. Therefore, you don"t need to change the Sitemap file.

If the file content is changed, the information in Yandex.Webmaster is updated within two weeks.

The Sitemap file has the “Not indexed” status.

The Sitemap file may be not indexed for several reasons:

The robot crawled the Sitemap file recently and didn"t process it yet. Wait for two weeks. If you use the Sitemap index file with multiple files, they may take longer to process than a single Sitemap file.

Яндекс Вебмастер позволяет:

• добавить Sitemap;
• обновить;
• удалить;
• анализировать.

Как добавить Sitemap в Яндекс Вебмастер

Чтобы добавить файл Sitemap в очередь на индексирование, вам нужно, как и всегда, зайти в сервис Вебмастера – webmaster.yandex.ru. Далее:

1. В разделе «Индексирование» вы найдете пункт «Файлы Sitemap».
2. Добавьте полный адрес файлы Sitemap, например, https://сайт/sitemap.xml.
3. Нажмите «Добавить».
4. Ждите, пока Яндекс Вебмастер проверит файл.

После добавления, файл попадает в очередь на обработку. Робот добавит его в течение двух недель. Каждый добавленный файл, в том числе вложенный в индекс Sitemap, обрабатывается роботом отдельно.

После загрузки напротив каждой карты сайта вы увидите в Яндекс Вебмастере один из статусов:

Обновить Sitemap

Когда в Sitemap происходят изменения, его не нужно удалять из Яндекс Вебмастера и добавлять заново. Поисковик время от времени сам проверяет его на изменения и ошибки.

Если ваш Sitemap не проиндексирован, то это можно ускорить. Нужно зайти в раздел «Индексирование», далее в пункт «Файлы Sitemap». Нажать на значок обновления напротив нужноq карты сайта. Яндекс загрузит данные в течение трех дней. Использовать функцию можно до 10 раз для одного хоста.

Когда вы израсходуете все попытки, следующая будет доступна через 30 дней после первой. Точная дата отображается в интерфейсе Вебмастера.

Удалить Sitemap из Вебмастера

В интерфейсе Яндекс.Вебмастера можно удалить те файлы, которые были добавлены на странице «Файлы Sitemap» :

Если для Sitemap была добавлена директива в файле robots.txt, удалите ее. После внесения изменений информация о Sitemap пропадет из базы робота и Яндекс.Вебмастера в течение нескольких недель.

Поддерживаемые Яндекс Вебмастером форматы

Яндекс принимает Sitemap в форматах:

XML-формат Sitemap

Предпочтительней передавать в формате XML, т.к. в нем можно передать дополнительные данные.

Яндекс поддерживает протокол Sitemap . Используйте этот формат, если хотите сообщить о:

• дате последнего обновления страницы (элемент lastmod);
• частоте изменения страницы (элемент changefreq);
• значимости страницы (элемент priority) - робот загружает страницы поочередно с учетом наличия и значения коэффициента от 0.0 до 1.0. Укажите коэффициент для тех URL, которые наиболее важны для сайта.

https://сайт/ssylki-v-yandex-webmaster/ 2018-06-06 monthly 0.8 ...

TXT-формат Sitemap

В данном формате можно передать только адреса страниц. И всё. Да, грусть и печаль, лучше используйте XML 🙂

Используйте этот формат, чтобы сообщить только об адресах страниц.

Https://сайт/ssylki-v-yandex-webmaster/ https://сайт/zerkala-sajta-v-yandex-webmaster/

Чтобы передавать информацию о видео, в Sitemap укажите ссылки на XML-фиды (см. подробно в Помощи сервиса Я.Видео).
Поиск не поддерживает передачу информации об изображениях, RSS и Atom-фидов с помощью файла Sitemap.

В каких случаях нужен файл Sitemap

Яндекс разрабатывает специальные алгоритмы, по которым индексирующий робот узнает о сайте. Например, с помощью внутренних и внешних ссылок - переходя с одной страницы на другую. Иногда робот может пропустить страницы. Используйте Sitemap, если на сайте:

• большое количество страниц;
• отдельные страницы без навигационных ссылок;
• глубокая вложенность.

Как создать файл

Добавить Sitemap.xml в Яндекс Вебмастер – видео

Sitemap - это файл со ссылками на страницы сайта, который сообщает поисковым системам об актуальной структуре сайта. Яндекс поддерживает форматы XML и TXT. Формат XML позволяет передавать дополнительную информацию .

Примечание. Яндекс не гарантирует, что все указанные в файле URL попадут в результаты поиска.

1. Требования к файлу
2. Вопросы и ответы

В каких случаях нужен файл Sitemap

Яндекс разрабатывает специальные алгоритмы, по которым индексирующий робот узнает о сайте. Например, с помощью Ссылка, которая связывает страницы одного сайта. Страницы могут\n находиться в разных каталогах одного домена или на поддоменах.

большое количество страниц;

отдельные страницы без навигационных ссылок;

глубокая вложенность.

Поддерживаемые Яндексом форматы

Ограничение. Поиск Яндекса не поддерживает передачу RSS и Atom-фидов с помощью файла Sitemap .

Требования к файлу

Максимальный размер файла в несжатом виде - 50 МБ.

Разместите файл на том же домене, что и сайт, для которого он составлен.

При обращении к файлу сервер должен возвращать HTTP-код 200.

Как создать файл и сообщить о нем Яндексу

При необходимости вы можете удалить информацию о Sitemap .

Вопросы и ответы

Sitemap отображается в сервисе как исключенная страница со статусом «Неверный формат документа»

Отображение файла Sitemap (как и других XML-файлов) как исключенных страниц имеет только информативный характер и никак не влияет на индексирование сайта или обработку Sitemap .

Файл Sitemap может отображаться в группе исключенных страниц, так как робот попытался проиндексировать его как обычную страницу, в то время как файлы формата XML не индексируются в поисковой системе Яндекса и в результатах поиска не участвуют.

При обработке Sitemap возникла ошибка «Неизвестный тег»

Файл Sitemap может содержать только определенные XML-элементы . Если Вебмастер обнаружит в файле другие элементы (например, указание на мобильную или мультиязычную версию, адреса картинок), в Вебмастере появится ошибка «Неизвестный тег». Неподдерживаемые элементы игнорируются роботом при обработке Sitemap , при этом данные из поддерживаемых элементов учитываются. Поэтому менять файл Sitemap необязательно.

Если содержимое файла будет изменено, потребуется до двух недель на обновление информации в Вебмастере.

Файл Sitemap находится в статусе «Не проиндексирован»

Файл Sitemap может быть не проиндексирован по нескольким причинам:

Робот обошел файл Sitemap недавно и еще не успел обработать его. Подождите две недели. Если вы используете файл индекса Sitemap с несколькими файлами, то их обработка может занять больше времени, чем одного файла Sitemap .

Сайт ранее был недоступен для индексирующего робота. Необходимо дождаться следующего посещения сайта роботом.

Карта сайта Sitemap XML

Карта сайта (Sitemap) – это специальный файл в формате.xml, хранящийся в корневой директории сервера. Владельцы сайтов нередко интересуются – зачем нужен Sitemap и влияет ли наличие/отсутствие этого документа на поисковое продвижение? Чтобы ответить на эти вопросы, рассмотрим назначение и структуру карты сайта.

Итак, зачем нужен xml Sitemap, что он собой представляет? Карта сайта – это своеобразный каталог, состоящий из перечня ссылок, ведущих на все разделы и страницы сайта. Файл Sitemap помогает поисковым системам более быстро и качественно индексировать интернет проект. Это особенно важно в том случае, если объем web-ресурса исчисляется тысячами или десятками тысяч страниц.

Больше видео на нашем канале - изучайте интернет-маркетинг с SEMANTICA

Это важно! В карту сайта следует включать только те страницы, которые должны быть в поисковом индексе. Документы с запрещенной к индексированию или служебной информацией не следует вносить в Sitemap. В карту сайта также не включают страницы с тегами и динамические URL-адреса.

Влияет ли Sitemap на продвижение?

Поисковики не будут пессимизировать интернет проект за отсутствие этого файла. Теоретически, робот должен самостоятельно просканировать все страницы сайта и включить их в поиск. Однако нужно учитывать, что система может дать сбой и не найти некоторые web-документы. Обычно «проблемными местами» становятся разделы, в которые можно попасть только по длинной цепочке ссылок, и динамически создаваемые URLы.

С точки зрения SEO, Sitemap имеет определенное влияние, поскольку карта сайта значительно ускоряет индексацию. К тому же повышается вероятность, что web-страницы попадут в индекс до того, как недобросовестные конкуренты успеют скопировать и опубликовать контент. Поисковые системы отдают предпочтение первоисточнику, тогда как копипаст подвергается пессимизации.

Как создать сайт мап

Проще всего воспользоваться одним из специализированных сервисов. К примеру, online-генератор http://www.mysitemapgenerator.com/ позволяет бесплатно сделать карту сайта, размером до 500 страниц. Предусмотрена возможность платной генерации Sitemap без каких либо ограничений. Вебмастеру потребуется всего лишь указать адрес своего сайта, а затем поместить полученный файл в корневой папке сервера.

Можно воспользоваться программой SiteMap Generator. В поле http:// следует завести адрес стартовой страницы сайта, кликнуть по клавише «start» и подождать, пока будет сформирована карта сайта. Затем нужно перейти на вкладку «Google Sitemap/XML», скопировать полученный код и вставить его в файл формата.xml.

Файл sitemap xml – доступные директивы

• Параметр Lastmod указывает роботу, когда документ последний раз обновлялся.
• Тег priory указывает на приоритет документа, по отношению к другим страницам сайта.
• Параметром loc обозначают URL адрес страницы.
• Тег changefreq используется для обозначения динамичности страниц (документы с параметром «0» робот будет посещать очень редко).

Как сообщить поисковику о карте сайта

Чтобы оповестить Яндекс, можно добавить директиву sitemap в файл robots.txt. Код будет выглядеть следующим образом:

Sitemap: http://yoursite.ru/sitemap.xml

Кроме того, можно передать карту сайта через интерфейс Яндекс.Вебмастер. Для этого нужно перейти на вкладку «Настройка индексирования» >> «файлы Sitemap», а затем указать системе адрес карты сайта.

Аналогичным образом можно оповестить Google. В панели инструментов для вебмастеров нужно перейти на вкладку «Сканирование» >> «файлы Sitemap».