Sitemaps – что это такое?

Категория: (Cоветы новичкам, META-теги Seo, SEO статьи, Советы по seo) Автор: admin Опубликовано: 07-07-2010

Sitemaps - что это такое?

Sitemaps — это XML-файл с информацией для поисковых систем (таких как Google, Yahoo, Ask.com, MSN, Яндекс) о страницах веб-сайта, которые подлежат индексации. Sitemaps может помочь поисковикам определить местонахождение страниц сайта, время их последнего обновления, частоту обновления и важность относительно других страниц сайта для того, чтобы поисковая машина смогла более разумно индексировать сайт.
Использование протокола Sitemaps не является гарантией того, что веб-страницы будут проиндексированы поисковыми системами, это всего лишь дополнительная подсказка для сканеров, которые смогут выполнить более тщательное сканирование Вашего сайта.

Содержание:

1 Формат протокола Sitemap
2 Пример XML-файла Sitemap
3 Использование файлов индекса Sitemap
4 Другие форматы файла Sitemap
5 Местоположение файла Sitemap
6 Проверка файла Sitemap
7 Уведомления для сканеров поисковых систем 
8 Использование файла robots.txt
9 Использование HTTP-запроса
10 Примечания
11 Ссылки
 
Формат протокола Sitemap

Формат протокола Sitemap состоит из XML-тегов. В файле необходимо использовать кодировку UTF-8.

Пример XML – файла Sitemap

Ниже приведен пример файла Sitemap, в котором содержится только один URL-адрес и использованы все необязательные теги.

<?xml version=”1.0″ encoding=”UTF-8″?>
<urlset xmlns=”http://www.sitemaps.org/schemas/sitemap/0.9“>
   <url>
      <loc>http://example.com/</loc>
      <lastmod>2005-01-01</lastmod>
      <changefreq>monthly</changefreq>
      <priority>0.8</priority>
   </url>
</urlset>

Использование файлов индекса Sitemap

Можно предоставить несколько файлов Sitemap, однако в каждом из этих файлов должно быть не более 50000 URL, а размер каждого из этих файлов не должен превышать 10 МБ. При необходимости файл Sitemap можно сжать с помощью архиватора gzip, чтобы его размер не превышал 10 МБ, и тем самым уменьшить требования к пропускной способности канала.
Если необходимо перечислить более 50000 URL, следует создать несколько файлов Sitemap, при этом необходимо перечислить каждый из этих файлов в файле индекса Sitemap (Sitemap index). Формат файла индекса Sitemap похож на формат файла Sitemap.

Подробная информация об использовании файлов индекса Sitemap на официальном сайте: sitemaps.org.

Другие форматы файла Sitemap

Канал синдикации (RSS 2.0, а также Atom 0.3 или 1.0)
Текстовый файл (в текстовом файле в каждой строке должен быть только один URL)
Местоположение файла Sitemap
Рекомендуется располагать файл Sitemap в корневой директории сервера, чтобы ссылка выглядела примерно так:

http://example.com/sitemap.xml.

Все ссылки, перечисленные в файле Sitemap, должны находиться в том же домене, что и сам Sitemap.
Например, если файл Sitemap находится по адресу http://www.example.com/sitemap.xml, то он не может включать в себя ссылки страниц с доменов http://subdomain.example.com или http://example.com.
Ссылки в файле Sitemap должны указывать на страницы, находящиеся в том же каталоге (или его подкаталогах), что и сам файл Sitemap.
Например, если файл Sitemap находится на http://www.example.com/catalog/sitemap.xml то он не может включать в себя ссылки на страницы http://www.example.com/page.html или http://www.example.com/dir/page.html.
Ссылки, указанные в файле Sitemap должны использовать тот же протокол (например, HTTP), по которому доступен файл Sitemap.
Это значит, что если файл Sitemap находится на http://www.example.com/sitemap.xml, то он не может содержать ссылки типа https://www.example.com/page.html и ftp://www.example.com/file.doc.

Проверка файла Sitemap

Для определения элементов и атрибутов, которые могут появляться в файлах Sitemap, используются следующие XML-схемы:

Для файлов Sitemap: http://www.sitemaps.org/schemas/sitemap/0.9/sitemap.xsd
Для файлов индекса Sitemap: http://www.sitemaps.org/schemas/sitemap/0.9/siteindex.xsd
Уведомления для сканеров поисковых систем
После того, как файл Sitemap создан и размещен на веб-сервере, необходимо сообщить о местонахождении этого файла поисковым системам, поддерживающим этот протокол.
 
Это можно сделать следующим образом:
с помощью интерфейса поисковой системы
указав местоположение файла Sitemap в файле robots.txt
выслав HTTP-запрос
Затем поисковые системы смогут извлечь файл Sitemap и разрешить своим сканерам доступ к URL-адресам.

Использование файла robots.txt

Чтобы сообщить поисковым системам местоположение файла Sitemap, можно в robots.txt добавить строку вида:

Sitemap: <sitemap_location>
Где <sitemap_location> — полный URL файла Sitemap, например: http://www.example.com/sitemap.xml.

Использование HTTP-запроса

Можно указать поисковым системам местонахождение файла Sitemap при помощи HTTP-запроса, используя таблицу:

Поисковая система Адрес Описание
 
Google http://google.com/webmasters/sitemaps/ping?sitemap= Обновление файла Sitemap
Яндекс http://webmaster.yandex.ru/wmconsole/sitemap_list.xml?host= Файлы Sitemap
Yahoo! http://search.yahooapis.com/SiteExplorerService/V1/updateNotification?appid=SitemapWriter&url=
http://search.yahooapis.com/SiteExplorerService/V1/ping?sitemap= Does Yahoo! support Sitemaps?
Ask.com http://submissions.ask.com/ping?sitemap= Q: Does Ask.com support sitemaps?
Live Search http://webmaster.live.com/ping.aspx?siteMap= Bing Webmaster Center

Где <sitemap_location> необходимо заменить на полный URL файла Sitemap.
Например, чтобы добавить файл http://www.example.com/sitemap.xml в поисковик Google, нужно отправить  http://www.google.com/webmasters/sitemaps/ping?sitemap=http://www.example.com/sitemap.xml.

Источник информации: www.wikipedia.org

Правильная кодировка meta “ТЕГА РОБОТС”

Категория: (META-теги Seo, SEO статьи, Поисковая система) Автор: admin Опубликовано: 22-06-2010

Правильная кодировка meta "ТЕГА РОБОТС"

Существует два варианта остановить или разрешить работу поисковика, какие странички на сайте нужно индексировать, а какие ненадо.
Это один из очень важных мета тегов, который способен ограничеть полностью, или частично доступ роботам к индексации и перехода к ссылкам сайта.
Либо создание в корневой папке сайта файла «robots. txt».

Краткое объяснение ТЕГА на его влияние на индексацию и продвижения сайта в SEO:

 

FOLLOW – открывает проход робату к ссылкам сайта.

ALL – тоже самое, INDEX, FOLLOW

NOFOLLOW – закрывает доступ робату к ссылкам.

NOINDEX – полностью закрывает доступ роботу к информации сайта.

NONE – так же, как – NOFOLLOW, NOINDEX    

INDEX – доступ роботу к индексации страницы сайта открыт.

Разные значение кодировки (meta name=”Robots”)

<meta name=”ROBOTS” content=”noindex, nofollow”>
Сайт полностью закрыт для доступа к ссылкам и индексации 

<meta name=”ROBOTS” content=”index, nofollow”>
Индексация к тексту открыта, доступ к ссылкам для поисковых роботов закрыт

<meta name=”ROBOTS” content=”noindex, follow”>
Доступ только к ссылкам

<meta name=”Robots” content=”INDEX, FOLLOW”>
Сайт полностью открыт для поисковых роботов

Мета тег name=”Robots” не может открыть доступ поисковым системам к определенным страницам вашего сайта, есле в файле robots.txt указаны запреты к отдельным страницам.

Команда seo-gid.com