Что такое индексация пенсий простыми словами: ответы экспертов

Как управлять поисковым роботом

Поисковая система скачивает информацию с сайта, учитывая robots.txt и sitemap. И именно там вы можете порекомендовать поисковику, что и как скачивать или не скачивать на вашем сайте.

Файл robots.txt

Это обычный текстовый файл, в котором указаны основные сведения — например, к каким поисковым роботам мы обращаемся (User-agent) и что запрещаем сканировать (Disallow).

Указания в robots.txt помогают поисковым роботам сориентироваться и не тратить свои ресурсы на сканирование маловажных страниц (например, системных файлов, страниц авторизации, содержимого корзины и т. д.). Например, строка Disallow:/admin запретит поисковым роботам просматривать страницы, URL которых начинается со слова admin, а Disallow:/*.pdf$ закроет им доступ к PDF-файлам на сайте.

Также в robots.txt стоит обязательно указать адрес карты сайта, чтобы указать поисковым роботам ее местоположение.

Чтобы проверить корректность robots.txt, загрузите его в специальную форму на странице Яндекс.Вебмастер или воспользуйтесь отдельным инструментом в .

Файл Sitemap

Еще один файл, который поможет вам оптимизировать процесс сканирования сайта поисковыми роботами ― это карта сайта (Sitemap). В ней указывают, как организован контент на сайте, какие страницы подлежат индексации и как часто информация на них обновляется. 

Если на вашем сайте несколько страниц, поисковик наверняка обнаружит их сам. Но когда у сайта миллионы страниц, ему приходится выбирать, какие из них сканировать и как часто. И тогда карта сайта помогает в их приоритезации среди прочих других факторов. 

Также сайты, для которых очень важен мультимедийный или новостной контент, могут улучшить процесс индексации благодаря созданию отдельных карт сайта для каждого типа контента. Отдельные карты для видео также могут сообщить поисковикам о продолжительности видеоряда, типе файла и условиях лицензирования. Карты для  изображений ― что изображено, какой тип файла и т. д. Для новостей ― дату публикации. название статьи и издания. 

Чтобы ни одна важная страница вашего сайта не осталась без внимания поискового робота, в игру вступают навигация в меню, «хлебные крошки», внутренняя перелинковка. Но если у вас есть страница, на которую не ведут ни внешние, ни внутренние ссылки, то обнаружить ее поможет именно карта сайта. 

А еще в Sitemap можно указать:

• частоту обновления конкретной страницы — тегом <changefreq>;
• каноническую версию страницы ― атрибутом rel=canonical;
• версии страниц на других языках ― атрибутом hreflang.

Карта сайта также здорово помогает разобраться, почему возникают сложности при индексации вашего сайта. Например, если сайт очень большой, то там создается много карт сайта с разбивкой по категориям или типам страниц. И тогда в консоли легче понять, какие именно страницы не индексируются и дальше разбираться уже с ними. 

Проверить правильность файла Sitemap можно на странице Яндекс.Вебмастер, а также в Google Search Console вашего сайта в разделе «Файлы Sitemap». 

Итак, ваш сайт отправлен на индексацию, robots.txt и sitemap проверены, пора узнать, как прошло индексирование сайта и что поисковая система нашла на ресурсе. 

Документальное оформление индексации

Любое изменение условий трудового договора возможно только по письменному соглашению его сторон. Поэтому, если решение об индексации принято, необходимо оформить ряд документов.

Так, если индексация зарплаты в локальных нормативных актах организации (например, Положении об оплате труда или коллективном договоре) не была предусмотрена, их нужно дополнить соответствующим разделом.

Как правило, инициатива о внесении такого пункта исходит от представителей трудового коллектива, например профкома. Члены профкома на своем собрании формулируют соответствующее предложение. Не исключен вариант, что инициативу проявит администрация. В любом случае это предложение выносится на общее собрание трудового коллектива (или конференцию его представителей). Одобрение предложения об индексации общим собранием (конференцией) является основанием для внесения соответствующего положения в коллективный договор.

В нормативных актах или коллективном договоре следует прописать порядок увеличения оплаты труда с учетом роста цен, уровня инфляции и т. п., а также указать:

• периодичность индексации (месяц, квартал, полугодие, год) или дату ее проведения;
• какие конкретно выплаты в рамках системы оплаты труда подлежат индексации (оклад, премии, доплаты);
• порядок выбора (определения) коэффициента индексации.

Некоторые организации устанавливают основания ограничения размера индексации или отказа от ее проведения (например, финансовые трудности). Но если такие основания не указаны, работодатель не вправе в одностороннем порядке отказаться от индексации зарплаты или произвольно уменьшить коэффициент.

Факт индексации руководитель должен закрепить в приказе. На основании этого документа изменения вносятся в штатное расписание. При проведении индексации в нем нужно отразить новые размеры окладов.

Рассмотрим на условном примере порядок расчета, если коэффициент повышения соответствует величине инфляции, заложенной в бюджете на текущий год.

Пример

Согласно штатному расписанию, действующему с 1 января, оклад старшего бухгалтера — 45 000 руб. Коэффициент индексации соответствует величине инфляции, заложенной в бюджете на следующий год, — 1,06.

Новый оклад будет равен:45 000 руб. х 1,06 = 47 700 руб.

Последовательно используя данную формулу ко всем должностям и профессиям, перечисленным в штатном расписании, получим новые оклады по всем работникам штата.

Увеличение размера оклада влияет на размер связанных с ним выплат. Рассмотрим на примере, как проведение индексации отразится на величине других выплат, начисляемых работнику.

Пример

Оклад работника — 20 000 руб. Ежемесячно, помимо начислений по окладу, работник получает:

— премию за выполнение плана в размере половины оклада с учетом отработанного времени;

— премию за качество продукции. Она установлена в диапазоне значений от 10 до 30% от оклада. Премия начисляется при условии выполнения плана по объему продукции и не зависит от фактически отработанного времени. При выборе конкретного значения учитывается процент допущенного брака. Если брак составляет менее 1% , то 30% от оклада, от 1 до 2% — 20%, от 2 до 4% — 10%, свыше 4% — премия не назначается;

— надбавку за наставничество — 3000 руб. в месяц пропорционально фактически отработанному времени.

Начиная с 1 октября оклады всех сотрудников проиндексированы на 1,061%. Работнику начисляется заработная плата за ноябрь. При этом месяц отработан им не полностью (из 20 рабочих дней — 19), план по выпуску продукции выполнен, доля брака составила 1,1%.

Определим величину оклада после индексации. Она равна: 20 000 руб. х 1,061 = 21 220 руб.

За ноябрь работнику будет начислено:

— оклад — 20 159 руб. (21?220 руб. : 20 раб. дн. х 19 раб. дн.);

— премия за выполнение плана — 10 079,5 руб. (21 220 руб. х 50% : 20 раб. дн. : 19 раб. дн.);

— премия за качество продукции — 4244 руб. (21?220 руб. х 20%);

— надбавка за наставничество — 2850 руб. (3000 руб. : 20 раб. дн. х 19 раб. дн.).

Общая сумма заработной платы за ноябрь составит:20 159 + 10 079,5 + 4244 + 2850 = 37 332,5 руб.

Как проводится индексация зарплаты

Разберемся, кому положена индексация зарплаты, как часто и в каком порядке ее надо проводить.

Увеличение окладов (тарифных ставок) ведет к росту расходов на оплату труда, сокращению облагаемой базы по налогу на прибыль. Эти факты могут заинтересовать как представителей налоговой инспекции, так и собственников предприятия. Во избежание проблем при оформлении документов по индексации следует сделать ссылку на нормы статей130 и 134 Трудового кодекса, а также запастись статистическими данными по инфляции, например, за предыдущий год, росту цен в регионе, изменению стоимости потребительской корзины и т. д.

Согласно Определению КС РФ от 17.06.2010 № 913-О-О индексация зарплаты производится всем лицам, работающим по трудовому договору. Никаких исключений законодательством не предусмотрено.

Как правило, индексация зарплаты производится путем повышения на определенный коэффициент тарифных ставок или должностных окладов. Это самый распространенный, но не единственный вариант. В федеральных государственных учреждениях индексируют в целом фонд оплаты труда, а в некоторых коммерческих организациях работникам начисляют дополнительные выплаты. Мы остановимся на первом варианте — применение повышающего коэффициента к окладам работников.

В статье 134 Трудового кодекса необходимость индексации увязывается с ростом потребительских цен на товары и услуги. Но в отсутствие единого порядка работодатель вправе принять решение о выборе коэффициента индексации самостоятельно. Величина индексации зарплаты может соответствовать:

• официально установленному (по итогам определенного периода, например квартала, полугодия, года) индексу потребительских цен по стране или в отдельном регионе;
• величине инфляции, зафиксированной в ежегодном федеральном законе о федеральном бюджете или бюджете соответствующего региона, на территории которого работает организация;
• росту прожиточного минимума трудоспособного населения.

При расчете коэффициента индексации отправной показатель (индекс потребительских цен, инфляции и т. п.) не является обязательной величиной. Например, при прогнозируемой инфляции в 6% заработная плата сотрудников может быть проиндексирована на 4 или 7%. Работодатель может выбрать другую произвольную величину (если другой порядок не определен трудовыми или коллективным договором). Соответственно индексация зарплаты будет проведена на эту величину.

Периодичность индексации зависит исключительно от добросовестности работодателя и финансовых возможностей организации. В зависимости от того, какой коэффициент повышения будет выбран, индексацию можно проводить ежемесячно, ежеквартально, ежегодно. В последнее время чаще проводят ежегодную индексацию. Можно ли приурочить ее не к 1 января? Да, можно. Дата изменения окладов может определяться самим работодателем или коллективным договором.

Пошаговая инструкция по настройке индексации

Перед тем, как отправить сайт на индексацию поисковыми системами, необходимо произвести предварительную подготовку. Связано это с несколькими моментами:

• Грамотная предварительная работа исключит индексацию роботом поисковой системы лишней или не до конца оформленной и прописанной информации.
• При обнаружении роботом недочетов — непрописанных мета-данных, грамматических ошибок, незакрытых неинформативных ссылок — поисковая система ответит владельцу сайта низким рейтингом, некорректной подачей материала в выдаче и т.п.
• Пока производится подготовительная к демонстрации «поисковикам» работа, необходимо скрыть информацию от роботов и индексации соответствующей записью в файле robots.txt.

Правильная подготовка к индексации будет включать в себя:

1.Разработку мета-тегов, description и title страниц:

• Title должен содержать не более 60 знаков. Это основной заголовок страницы и самый важный из тегов.
• Description состоит из читабельных фраз, позиционирующих данную страницу, то есть необходимо прописать основные тезисы, о чем именно пойдет речь в данном материале.
• Тег keywords предполагает прописывание всех возможных слов по данному вопросу. В последнее время ценность этого тега уменьшилась в глазах поисковых систем, поисковых подсказок.
• Мета-тег revisit (или revisit-after) будет говорить о том сроке, когда планируются обновления сайта, это своего рода просьба-рекомендация оптимизатора для робота, указывающая оптимальный промежуток времени до следующей проверки ресурса.

2. Сокрытие внутренних и неинформативных разделов сайта. Производится эта робота также в файле robots.txt. «Поисковик» считает такого рода информацию «сорной», а потому это будет минусом в процессе проверки ресурса.

3. Необходимо также скрыть и ссылки на разделы служебного характера, которые расположены в содержимом сайта. Для этого используются команды noindex (для Яндекса) и nofollow (для всех «поисковиков»).

4. Незакрытые внешние ссылки на другие сайты могут привести к снижению веса сайта. Поэтому их тоже необходимо скрывать от роботов.

5. К выделению ключевых слов и основных моментов жирным необходимо относиться аккуратно, поскольку поисковая система расценивает эти слова как самые важные, что не всегда является так фактически.

6. Все имеющиеся изображения необходимо подписать тегом alt.

7. Необходимо проверить тексты на количество ключевых слов и оборотов в тексте, чтобы робот не проигнорировал информацию в связи с высоким показателем тошноты текста.

8. Обязательным пунктом перед подачей заявки в поисковые системы на индексацию ресурса является проверка орфографии, ошибок грамматического и стилистического характера. При наличии таковых в дескрипшн система выдаст информацию именно в таком виде, что может отсеять большой процент желающих посетить сайт еще на этапе выдачи по запросу.

Для того, чтобы ресурс вышел в числе других в выдаче по поисковому запросу пользователя, необходимо настроить индексацию в основных используемых поисковых системах:

2. Яндекс.Вебмастер:

Помимо индексации в основных системах, не стоит забывать и о чуть менее известных «поисковиках»:

• Рамблер ориентируется на индексацию ресурса в Яндексе, поэтому для добавления в его базу индекса достаточно пройти индексацию в основной поисковой системе.
• Индексацию в Mail.ru производят здесь: http://go.mail.ru/addurl
• Трафик русской поисковой системы Nigma.ru составляет около 3000000 в сутки. Подать заявку на индексацию в этой системе можно здесь: http://www.nigma.ru/index_menu.php?menu_element=add_site.

Почему не индексируется сайт?

Бывают ситуации, когда вебмастер ведет работу над SEO-оптимизацией сайта: активно наполняет его контентом, наращивает ссылки, а количество страниц в поисковой выдаче Google или «Яндекс» не увеличивается. Или что еще хуже — в поиске нет ни одного документа с сайта. С чем это связано? Самые распространенные причины:

«Яндекс» и Google не знает о вашем сайте

Если это новый ресурс, и вы только недавно открыли его для поисковых роботов, то, возможно, они просто его еще не нашли. Но эту проблему легко решить, выполнив несколько простых манипуляций:

• Добавить сайт в «Яндекс.Вебмастер» и Google Webmasters.
• Направить поисковых роботов на страницы сайта.

В «Яндекс.Вебмастер» («Индексирование» — «Переобход страниц»):

В Google Webmasters («Проверить URL» — Добавить адрес страницы — «Запросить Индексирование»):

Нужно будет немного подождать, пока робот обойдет страницы сайта. Как правило, на это уходит 1-2 часа (хотя может затянуться на несколько дней).

Сайт или страницы закрыты от индексации в файле robots.txt

Порой вебмастера, работая над сайтом, забывают открыть его для индексации. Но это легко исправить. Добавьте следующую команду в файл:

Это означает, что ресурс открыт для всех поисковых роботов. Но не забывайте, что нужно закрыть дубли на сайте, ведь не все содержимое должно принимать участие в поиске. Поэтому уделите заполнению файла robots.txt достаточно времени.

Настройки приватности

Если сайт управляется CMS WordPress, то по умолчанию в нем выставлены настройки приватности, которые запрещают индексацию поисковыми роботами. Авторизуйтесь в админке, перейдите в «Настройки — Чтение — Видимость для поисковых систем» и снимите галочку:

Сайт закрыт от поисковых роботов в мета-тегах

Запретить индексировать содержание страниц можно и с помощью мета-тега:

Как решить проблему:

• Посмотрите, нет ли такого тега на странице.
• Удалите код или добавьте другие мета-теги follow и index.

Ошибки сканирования

Проблемы с индексацией возникают и в том случае, если робот, обращаясь к ресурсу, не может просканировать его содержимое.

Проверьте все ли в порядке:

• Авторизуйтесь в Google Webmaster.
• Откройте «Сканирование» — «Ошибки сканирования»: 

В идеале не должно быть никаких ошибок.

Сайт закрыт от роботов в .htaccess

В этом файле содержится правило 301 редиректа. Но помимо него, может быть прописана команда не индексировать сайт.

Чтобы проверить, выполните следующее:

• Найдите и откройте файл файл .htaccess на сервере.
• Проанализируйте содержимое кода.

Нестабильная работа сервера или хостинга

Выбирайте стабильный хостинг с хорошей репутацией. В противном случае, если роботы будут обращаться к сайту, он будет часто недоступен, а их попытки станут все реже. Через некоторое время они и вовсе откажутся заходить к вам на сайт.

Проблемы с индексацией AJAX/JavaScript

Поисковым роботам сложнее просканировать содержимое AJAX и JavaScript, чем HTML. Если вы допустите ошибки при оптимизации, то Google и «Яндекс» не проиндексируют определенные страницы или даже весь сайт.

Дубли контента внутри сайта

За дублирование контента поисковые системы наказывают санкциями, но это тоже одна из причин плохой индексации. К дублям может относиться одинаковый контент, открывающийся на разных страницах, мета-теги или даже страницы, если они доступны под двумя адресами (с www и без; http и https). Если не исправить проблему своевременно, то она негативно скажется на дальнейшем SEO-продвижении.

Плохая скорость загрузки

При плохой скорости загрузки ресурса, он может плохо индексироваться и потерять позиции, так как этот показатель относится к факторам ранжирования. Проверить насколько быстро загружается ваш сайт можно с помощью специального инструмента — Google Page Speed: 

Поработайте над улучшением скорости загрузки сайта, учитывая рекомендации инструмента.

Домен с баном

Случается, что вебмастер выбирает и регистрирует созвучное имя для сайта, наполняет ресурс и ждет, когда он проиндексируется, но ничего не происходит. После анализа домена, выясняется, что домен ранее использовался и находится в бане поисковых систем. 

Исправить такую ситуацию не просто. Придется написать в тех. поддержку «Яндекс», чтобы они пересмотрели ресурс или указали причину бана (если вы ее не знаете). Заниматься ли развитием сайта на этом домене — решать вам. Ориентируйтесь на то, что ответит вам техническая поддержка. Часто бывает проще начать все на новом домене.

Отсутствует sitemap

Не самая распространенная причина плохой индексации, но не стоит ее исключать. Создайте карту сайта и не забудьте добавить ее в сервисы для вебмастеров от Google и «Яндекс»: 

В «Гугл вебмастер»: 

Особенности работы с поисковыми системами

Яндекс и Гугл – два наиболее популярных поисковика в России и СНГ. В основном люди, работающие с информационными проектами, стараются оптимизировать их именно под эти сервисы.

Когда вы только создаете свой сайт, то поисковые системы еще ничего не знают о нем. Поэтому для того, чтобы ресурс попал в поисковую выдачу, вы должны каким-то образом сообщить сервисам о том, что он существует.

Для этого можно использовать два способа:

Способ 1. Разместить ссылку на каких-то сторонних проектах.

В этом случае проект будет проиндексирован максимально быстро. Поисковик посчитает, что ваш сайт полезный и интересный, поэтому он сразу направит роботов для анализа содержимого.

Способ 2. Сообщить поисковикам о ресурсе при помощи специальных инструментов.

В Яндексе и Гугле есть специальные сервисы для вебмастеров. С их помощью вы сможете отслеживать состояние своих ресурсов относительно поисковых систем: смотреть статистику, количество показов, кликов, добавленные или удаленные страницы и т. д.

При добавлении сайта в эти инструменты вы сообщаете поисковикам о том, что проект существует. И если нет никаких запретов через Robots.txt или мета-теги, то он будет проиндексирован и добавлен в выдачу.

Срок добавления сайта в базу данных может быть разным: от нескольких дней до недели. Но обычно с этим не затягивают, особенно если ресурс добавлен в Yandex.Webmaster и Search Console.

Не забывайте, что добавление в базу данных – еще не означает, что материалы сайта сразу будут доступны по определенным запросам. Для этого может понадобиться дополнительное время. Роботы тщательно изучат содержимое проекта, и только после этого статьи будут доступны к показу по запросам.

Если вы решите не открывать ресурс сразу, а подождать, пока он заполнится определенным количеством материалов, то после отправки на анализ может пройти чуть больше времени. То есть, чем больше информации на проекте, тем дольше придется ждать полной индексации.

В среднем между отправкой сайта в сервис и появлением статей в выдаче проходит 1 – 2 недели.

Помимо вышеописанных способов добавления ресурса в поисковую базу, существует еще один, менее эффективный. Вам просто нужно ввести в поисковую строку следующие команды:

• Для Яндекса: Host: Название + site.ru.
• Для Google: Site: Название + site.ru, где site.ru – ваш домен.

Также вы можете попробовать добавить ресурс при помощи автоматических сервисов. Какой будет результат – неизвестно. Но я полагаю, что эти сервисы просто воспользуются командами или размещением ссылки где-либо.

Индексирование

Используйте инструмент для проверки URL (бывший Fetch & Render)

Google сам предоставляет вебмастерам инструменты для ускорения индексации. Самый простой и быстрый из них – инструмент проверки URL в новом интерфейсе Search Console. Это – новый аналог Fetch&Render, оставшегося только в старой версии Search Console. С помощью URL Inspection Tool можно дать ссылкам приоритет в очереди Google на сканирование: Googlebot найдет и обработает их быстрее.

Файлы Sitemap

Если вы еще не используете файлы Sitemap, начните. Это – один из самых простых и быстрых способов проиндексировать страницу в Google. Добавляя ссылки в файл, вы, наверное, хотите, чтобы Google узнал, что они действительно там. Есть несколько техник, которые помогут оптимизировать этот процесс.

Первый и самый популярный способ – указать в robots.txt путь к файлам Sitemap. Просто пропишите в конце списка директив команду и укажите путь к файлу.

Второй способ – добавить Sitemap через Search Console, достаточно указать относительный URL файла на странице с отчетом о файлах Sitemap и нажать «Отправить». Обработка файла начнется сразу, однако для полного сканирования перечисленных URL может понадобиться время. В этом же отчете можно просмотреть историю отправок и сведения об ошибках в файле. То же самое доступно в Search Console API.

Третий, не очень популярный способ – оповестить Google о файлах Sitemap с помощью запроса ping. Это можно сделать в любом браузере, достаточно ввести в строку google.com/ping? и URL, по которому находится файл Sitemap. После этого Google мгновенно поставит Sitemap в очередь на сканирование, благодаря чему содержащиеся в нем URL проиндексируются быстрее, если они конечно отвечают стандартам качества Google.

Пример: https://www.google.com/ping?sitemap=https://example.com/sitemap.xml

Google Indexing API

Относительно недавно Google представил Indexing API, который позволяет напрямую уведомить Google о добавлении, изменении и удалении страниц. С его помощью можно за раз обрабатывать тысячи URL.

Google позиционирует Indexing API как инструмент исключительно для работы со страницами с разметкой для вакансий и онлайн-трансляций. Однако SEO-эксперт Девид Соттимано поэкспериментировал с инструментом и выяснил, что на самом он работает для разных типов контента.

Другие советы по ускорению индексирования:

Константин Орешников, Product Owner сервиса Rookee:

• Настраивайте правила автоматического добавления новых страниц в XML-карту и их обновление.
• Добавляйте новые страницы на принудительную индексацию в Яндекс.Вебмастер и Google Search Console. Метод актуален для небольших сайтов. Если на сайт ежедневно выкладываются десятки–сотни страниц, вручную их добавить не получится.

Артур Латыпов, руководитель SEO Интеллект: Ускорить индексацию также можно с помощью сервисов IndexGator и IndexMe.

Заключение

Для того, чтобы ваш сайт хорошо индексировался, вы должны соблюдать совсем несложные требования. Нужно просто добавить его в Яндекс Вебмастер и Search Console, следить за регулярным выходом качественных материалов, своевременно исправлять ошибки и не нарушать правил.

Все это гарант того, что ваш проект будет на хорошем счету у роботов. А это, в свою очередь, будет иметь материальное значение. Ваши статьи будут выше в выдаче, дохода будет больше.

Некоторым новичкам бывает очень сложно разобраться со всеми тонкостями SEO-оптимизации. Очень много разной информации и не всегда она правильная. Если вы один из таких новичков, то я рекомендую вам пройти курс Василия Блинова “Как создать сайт”.

Из материалов с этого курса вы сможете узнать о том, как создать собственный информационный проект под монетизацию. Там рассмотрены наиболее важные нюансы, которые должен учитывать каждый вебмастер.