По словам сотрудника Googlе Джона Мюллера, на любом сайте есть колебания в индексации и поисковик не сканирует абсолютно все, что есть на web-ресурсе. Обсуждение вопроса состоялось на видеовстрече веб-мастеров, где один специалист рассказал о том, что 20% страниц его сайта не индексируются. Мюллер определил это как норму и рассказал о возможных причинах.
Что влияет на индексацию:
- Технические факторы. Редкая причина, так как при использовании CMS сложно допустить ошибки.
- Качество Web-ресурса в целом. Может влиять, но это не обязательно связано с URL. Например, если в поисковую систему не добавлены сведения о пяти страницах, то это не говорит о том, что они плохого качества. Googlе не сканирует весь контент, если у всего ресурса низкая оценка.
По мнению Мюллера, ситуация, когда из 100 страниц индексируются 80, абсолютно нормальная. Когда ресурс станет больше, процент наоборот будет уменьшаться, например, из 200 проиндексируются 180.