Методы оптимизации сайта для индексации поисковыми системами

Общие рекомендации по позиционированию сайтов в поисковых системах 1.Составление семантического ядра 2.Оптимизация структуры сайта 3.Обеспечение корректной индексации страниц 4.Оптимизация страниц сайта 5.Работа с внешними факторами

На рейтинг сайта в ПС, влияет множество факторов, которые формируется при проведении оптимизации сайта: имя домена исследование и подбор ключевых слов/фраз, соответствующих тематике сайта; коррекция содержания страниц; оптимизация мета-тегов; улучшение структуры страниц и сайта в целом наличие тега Robots, файл robots.txt

Параметры, влияющие на релевантность HTML-документов: наличие ключевых слов в тегах Title, Keywords, Description, h1, h2, b, strong, alt и т.д. соответствие тематики страницы заявленным ключевым словам наличие ключевых слов во внешних ссылках на сайт и др.

Ключевые слова – набор слов, входящих в код HTML-документа и в предполагаемый запрос пользователя поисковой системы, ищущего информацию по тематике, совпадающей с тематикой документа

Поисковые машины рассчитывают релевантность текста на основании частотного ряда из слов Чем чаще слово встречается в тексте, тем большую, по отношению к запросу пользователя, релевантность оно получает Чем большую релевантность имеют ключевые слова, тем большую конкурентоспособность они придают документу

Количество ключевых слов зависит от уровня конкуренции и поставленной задачи (от 2-3 до 10) Чем на меньшее количество ключевых слов настроен документ, тем с большей частотой эти ключевые слова могут встречаться в тексте, и тем выше их релевантность

Высоко релевантные документы ориентируются на 2-3 ключевых слова, каждое из которых встречается в тексте в соотношении к 1 к 20 (5%) Ключевые слова, встречающиеся в тексте с большей частотой, поисковые системы воспринимают как спам

Ключевые слова подбирают с учетом частоты их использования, при поиске информации Как правило, люди используют первые пришедшие в голову слова. Именно на эти слова и нужно ориентироваться

Релевантность документа по запросу более высокая, когда совпадают не отдельные слова, а фразы При этом лучше, чтобы в ключевые фразы входили только ключевые слова

Ключевые фразы нужно выбирать с учетом вероятности их использования при поиске потенциальной аудиторией При отклонении от группы наиболее популярных ключевых слов происходит уменьшение размера потенциальной аудитории на несколько порядков (1 - 3)

Пример Общеупотребительные слова: автомобиль, книга, коммерция - ориентация на всех пользователей ищущих информацию по этим темам конкурировать со всеми ресурсами по данной теме Специализированные слова: карбюратор, фолиант, овердрафт - снизят уровень конкуренции и размер аудитории уменьшится

Длинная ключевая фраза снижает уровень конкуренции и влияет на уменьшения размера аудитории Рекомендуется составлять фразу более чем из 4 слов

На уровень релевантности влияют внешние факторы: популярность ресурса (посещаемость), количество внешних ссылок на ресурс необходимо использовать синонимы или слова близкие по смыслу

Содержание любой Web-страницы соответствует смыслу некоторой совокупности реальных поисковых запросов Смысловую связь между запросом и ответом называют – ядро запросов или семантическое ядро

Семантическое ядро - это список целевых запросов для данного сайта по которым отслеживается продвижение сайта Семантическое ядро – российский термин Keyword list (список ключевых слов) – западный

Для поисковой оптимизации нужно 1. Составить семантическое ядро 2. Разместить ключевые слова и фразы из семантического ядра на страницах сайта в зависимости от их содержания (в мета-тегах и в основном тексте) Наиболее популярные запросы целесообразно использовать при оптимизации главной страницы сайта

Для формирования семантического ядра необходима совместная работа: специалиста по продвижению сайта - поиск всевозможных формулировки целевых запросов поисковым системам специалиста в предметной области

Значимость типов запросов при составлении семантического ядра 1. коммерческие запросы (задаются потенциальным покупателем) 2. информационные запросы общего характера 3. малоцелевые нечеткие запросы 4. запросы с ошибкой Нижний порог популярности (спрос) для запросов из семантического ядра определяется для каждого сайта индивидуально

Ключевые слова должны быть релевантными Пример Основные принципы маркетинга: 1.описание товара, 2.преимущества товара, 3.регион продаж. Ключевые слова должны давать понять, что вы продаете и где вы продаете

В настоящее время под семантическим ядром понимают совокупность запросов, ответом на которые может служить информация, находящаяся на сайте в целом Технически, это список профильных запросов, по которым отслеживается продвижение сайта

В настоящее время существует множество открытых БД для анализа поисковых запросов и составления списка запросов Статистика запросов открыта на ПС Яндекс Рамблер Апорт (через Бегун) Google Mail.ru

Маска - это ключевое слово или словосочетание, обозначающее тему - наиболее частотный запрос

Пример Маска – автомобиль список запросов, в каждом из которых есть слово автомобиль : автомобиль ВАЗ автомобиль ГАЗ цена и т.п. Маска продажа автомобилей – запросы: продажа автомобилей продажа автомобилей в Барнауле продажа автомобилей в кредит продажа б/у автомобилей и т.п.

Три этапа составления списка запросов для продвижение 1.Составление списка масок 2.Расширение списка масок 3.Получение списка запросов

1.Составление списка масок Первичный список масок составляет веб-мастер Пример Автосалон продает и ремонтирует автомобили Фольксваген главная маска - слово фольксваген

Но слово фольксваген пользователи пишут, как минимум, 20 различными способами и сразу все варианты не придумать Для решения этой задачи в поисковых системах используют алгоритмы формирования ассоциативных связей

2. Расширение списка масок Пользователь формулирует несколько ассоциативных запросов в ПС Пример запрос пользователя фольцваген - удовлетворительный ответ не найден, но ПС показывает правильное название этого автомобиля и со второй попытки ввел уже фольксваген фольксваген - фольцваген ассоциируемые расширяется список масок

Поисковые системы предоставляют пользователю сервисы для вычисления синонимов, сопутствующих запросов, вариантов на латинице и др.

или Запрос фольксваген В ответе Рамблера строчка У нас также ищут... - ассоциативные формулировки Переход по ссылке еще >> - полный список ассоциативных формулировок

3. Получение списка запросов Для определения эффективных запросов для продвижения сайта, существует сервис Рамблера - Статистика по поисковым запросам Протокол HTTPS (SSL - Secure Sockets Layer) - обеспечивает безопасное взаимодействие с XML web-сервиса, разработанного на ASP.NET

или НИНИ-индекс - число, показывающее динамику изменения интересов пользователей Интернета (сумма абсолютных изменений интереса в процентах)

С 1 января 1999 г. по 1 января 2005 г. каждую неделю приводился список из десяти самых непостоянных слов: 5 слов, доля которых в запросах этой недели больше всего увеличилась по сравнению с предыдущей 5 слов, интерес к которым больше всего упал, т.е. доля в запросах уменьшилась

Статистика запросов пользователей

Блог - сетевой дневник одного или нескольких авторов, состоящий из записей в обратном хронологическом порядке Поиск по блогам - служба Яндекса, отражает настроения активной части пользователей сети, поэтому с помощью службы можно исследовать общественное мнение в интернете.

Для отображения статистики поисковых запросов на стартовой странице Яндекса следует нажать кнопку Все службы и в нижней части страницы перейти по ссылке Статистика поисковых запросов

Проверка поисковых слов на популярность для западных ПС – - WordTracker для российских ПС – - размещения контекстной рекламы на Яндексе - посмотреть варианты запросов пользователей У нас также ищут При нажатии ссылки «еще», Rambler выдает список слов и фраз - до 80 шт

Запрещение к индексации неинформативных или дублирующих страниц сайта Для более быстрой и полной переиндексации сайта, страницы, контент которых неинформативен (фотогалерея) или дублирует содержимое других страниц (различные режимы сортировки информации в таблицах) целесообразно запрещать к индексации Способы: 1.с помощью мета-тэгов 2. с помощью файла robots.txt

Файл robots.txt - это простой текстовый файл, который запрещает роботам посещать определенные страницы или области вашего сайта Например, есть область сайта, предназначенная для внутреннего пользования сотрудниками компании, можно запретить роботам посещать и анализировать ее Такой файл лучше создавать с помощью специальных программ, которые могут генерировать и редактировать robots.txt Например Page Promoter ( Robot-Manager (

Для запрета используется мета-тэг robots Значения атрибута content: noindex - запрещает индексацию документа, но разрешает переходить по ссылкам с него nofollow - запрещает переходить по ссылкам, но не запрещает индексировать документ

Совместная комбинация атрибутов: noindex, nofollow - запрещает индексировать документ и переходить с него по ссылкам:

Если требуется запретить к индексации раздел или группу файлов с однотипными именами, удобнее использовать robots.txt Файл robots.txt должен располагаться в корневой директории сервера Файл должен содержать одну или несколько записей, разделенных одной или несколькими пустыми строками имя_поля:[пробелы]значение[пробелы]

Пробелы являются не обязательными Регистр значения поля не учитывается Могут использоваться комментарии - символ # означает начало комментария, конец строки - конец комментария Запись должна начинаться с одной или нескольких строк User-Agent, следом должна быть одна или несколько строк Disallow Нераспознанные строки игнорируются

В строке User-Agent указывается имя робота поисковой системы, для которой запрещаются к индексации страницы: Яндекс – yandex Рамблер – StackRambler Апорт – aport Google – googlebot

Если роботов, для, которых требуется наложить одинаковый запрет несколько, то надо поместить в записи несколько строк User-Agent одну за другой, в каждой указав имя соответсвующего робота Если страницы необходимо запретить от индексирования всеми роботами, то необходимо использовать символ * Запись, с полем "User-agent: *" может быть в файле robots.txt только одна.

В каждой записи, также, должно быть хотя бы одно поле Disallow В нём указывается указывается частичный или полный путь (URL), запрещаемых страниц В строках с полем Disallow записываются относительные префиксы, т.е. в этом поле не должно указываться доменное имя сайта - Если значение Disallow не указано, то это означает, что может индексироваться всё

Пример User-Agent: * Disallow: /sript/ Запись запрещает всем роботам индексировать файлы, ссылки на которые содержат путь к директории /sript/. Для полного запрета индексации используется символ /

Запрет Яндексу индексировать сайт: User-agent: yandex Disallow: / Чтобы запретить роботу посещение динамических страниц, можно использовать частичный путь

Возвращаясь к идентификаторам сессий, для запрета страниц содержащих их в адресе можно использовать подобную конструкцию: User-agent: * Disallow: /page3.php;phpessionid Страница page3.php будет нормально проиндексирована, а все её копии, начинающиеся на page3.php;phpessionid будут запрещены к индексации

Наличие robots.txt на сервере не является обязательным, его отсутствие, как и пустой файл robots.txt, или неправильно составленный, будет интерпретироваться роботом как разрешение на полную индексацию сайта Полная документация по протоколу файла robots.txt

… - область заголовка 1. служит только для формирования общей структуры документа 2. задает его глобальные свойства Информация этого раздела является служебной

… - обязательный элемент Если отсутствует, браузер генерирует его из названия файла Рекомендуется минимальная длина и информативное содержание

… - представляет информацию о содержимом документа и области, к которой он относится Метаданные: задание кодовой страницы набор ключевых слов для индексации страницы поисковыми системами информацию об авторе документа и др.

Атрибут http-equiv используется сервером для создания дополнительных полей при выполнении запроса - автор документа Петров

(кириллица - KOI8-R) - документ хранится в кодировке кириллица - windows-1251

Контроль за кэшированием документа Может принимать значения: Public - доступен для любого кэширования no-store - не сохраняется no-cache - не сохраняется в кэш Private - кэшируется в частных кэшах

Значение Expires атрибута Namе определяет дату, после которой документ считается устаревшим

Значение Refresh – указывает на период обновления документа в окне браузера - обновление через каждые 10 сек.

Для индексации страницы поисковыми системами:

Атрибут name используется браузером для получения дополнительной информации о документе

Продвижение сайтов в поисковых системах 1. Предварительный анализ Составление семантического ядра сайта: - список ключевых слов и словосочетаний, которые используют пользователи поисковых машин для нахождения информации по тематике ресурса. -оценивается популярность каждого ключевого слова, проверяется соответствие этого ключевого слова интересам целевой аудитории сайта. - на основе этих данных делается вывод о включении фразы в семантическое ядро сайта. - выполняется оценка размер целевой аудитории сайта и потенциальная посещаемость сайта, которую может обеспечить его успешное продвижение в поисковиках.

1.2. Анализ usability сайта (usability удобство использования). - оценивается удобство навигации по сайту, -скорость загрузки документов, совместимость ресурса с наиболее распространенными браузерами. - анализируются «продающие» факторы сайта (рекламные слоганы и заголовки, наличие телефонов и т.д.). - проверка орфографии, грамматики и стилистики

1.3. Анализ конкуренции в поисковых системах по заданным целевым запросам Проводится анализ конкуренции в поисковых системах по запросам, входящим в семантическое ядро. Далее составляется список мероприятий, необходимых для достижения хорошей позиции в выдаче конкретной поисковой системы по каждому конкретному ключевому слову Анализ сайтов-конкурентов (имеющих хорошие позиции в поисковых системах по целевым запросам) Оценивается структура и контент, источники трафика, влияние поисковых систем на увеличение трафика.

2. Оптимизация сайта (работа с внешними и внутренними факторами) Оптимизация структуры сайта - улучшение структуры сайта. - проверка работы внутренних ссылок. - замена ссылок, неиндексируемых поисковыми роботами (java- script, flash), на индексируемые - создание карты сайта для быстрой индексации всех разделов ресурса - избавление от редиректов (принудительных переходов на другую страницу); - запрещение к индексации неинформативных страниц и разделов сайта (гостевые книги, блоги); - вынесение емких разделов сайта (доски объявлений, форумы) на отдельные поддомены, это позволяет более грамотно использовать квоту на индексацию в поисковых системах; - формирование корректных http-заголовков страниц (код состояния, кодировки и даты модификации)

2.2. Оптимизация страниц сайта -размещение ключевых фраз оптимальным образом в тексте страниц - составление наиболее актуальных служебных тэгов: заголовки страниц, meta-теги "keywords" и "description". -выработка рекомендаций по наполнению сайта высокорелевантным содержанием.

2.3. Работа с внешними факторам (регистрация сайта в поисковых системах, каталогах, простановка ссылок) поисковые системы при определении релевантности документа запросу придают значение внешним факторам: - цитируемость документа другими документами, находящимися в базе поисковой машины (технология PageRank), - наличие ключевых слов из запроса в тексте ссылок на документ (ссылочное ранжирование) и другие. - некоторые поисковики (например, Яндекс) учитывают при поиске описание сайта в своих собственных каталогах. - регистрация во всех известных поисковых системах (Яндекс, Рамблер, Апорт, Google) и каталогах (Яндекс-Каталог, DMOZ.org). - обмен ссылками с родственными тематическими ресурсами также способствует улучшению видимости сайта в поисковиках по заданному ключевому слову.

3. Мониторинг позиций сайта в поисковых машинах Мониторинг позиций сайта в поисковых машинах. позволяет оперативно реагировать на изменения в алгоритмах ранжирования поисковых машин 3.2. Анализ входящего трафика и целевой аудитории сайта. Устанавливаются и налаживаются системы сбора статистики (Spylog, Hotlog, Rax и др.)

Рекомендации по оптимизированию сайта для поисковых систем 1.Располагать ключевые слова как можно ближе к тэгу, т.к. большинство поисковых систем индексируют первые несколько строк, идущих сразу после тэга, ключевые слова находятся на рисунке распознают графические объекты, поэтому если, то используйте атрибут alt тэга img. 2.Размещать ключевые слова в тегах -,, 3.Не набирать ключевые слова в р а з р я д к у, иначе документ по ним не находится. 4.Не набирать ключевые слова БОЛЬШИМИ буквами. 5.Точки и запятые ставить сразу после слова, а затем пробел.

6. - для всех поисковых систем заголовок имеет приоритет перед keywords и description. Задавайте уникальные заголовки документов, вкратце описывающие сайт и текущий документ (но не более слов). Слова в заголовках имеют больший вес, чем остальные. Давайте каждому документу описание в тэге description 7.Для увеличения рейтинга сайта ключевые слова, которые написаны в и тэгах "keywords" и "description" должны встречаться в основном тексте на странице сайта несколько раз. 8.По возможности не использовать фреймовую структуру, т.к. у поисковых систем возникают сложности при индексации. 9. Разбивайте длинные документы на более короткие. Чем длиннее документ, тем менее заметны в нем будут слова, заданные в запросе и страница будет ниже в результатах поиска 10.Используйте стандартные кодировки

Рекомендации по регистрации сайта в поисковой системе Яndex 1.Добавлять верхнюю страницу вашего сайта - остальные Яndex найдет сам по ссылкам. 2.Не регистрировать в поисковике недоконченные или пустые страницы, страницы без дальнейших ссылок - они имеют низкий приоритет в очереди робота. 3.Анализировать ответ, который выдает вам программа AddURL. При ошибке (например, в адресе, и такой страницы не существует), то AddURL сообщит об этом. 4.Создать файл robots.txt, если хотите закрыть какие-то разделы от индексирования (например, секретные). 5.Если страница сайта была проиндексирована, а затем ее содержание изменено или она удалена, робот автоматически проиндексирует ее (в случае, если страница больше не существует, она будет исключена из базы и, следовательно, из поиска). 6.Проверить, проиндексирован ли ресурс через несколько дней после добавления в базу Яndex.

Заголовок страницы сайта

В эти два тэга можно скопировать содержание заглавия тэгов …. - Данный тэг позволяет обнавлять страницу через заданное количество секунд, в данном случае Этот тэг похож на предыдущий, но в нём после указанного времени можно добавить какой либо адрес, то по истечению этого времени автоматически загрузится указываемая страница

- этот тэг используется для определения браузером кодировки языка, на которой написана страница. - при использовании этого тэга, документ не будет кэшироваться браузером. - Этот тэг задает периодичность переиндексации сайта поисковыми машинами. В данном случае это 30 дней, это число можно изменять. - Дата создания страницы. - используется для указания имени автора и дополнительной информации о нём. - используют для указания авторских прав.

Параметры, определяющие положение сайта в списке результатов при поиске при запросе по одному слову 1.Частотные характеристики Частота слова в базе Частота слова в документе Размер базы Размер документа 2.Привилегированное положение слова в документе (например, заголовок) и/или наличие его в списке ключевых слов 4.Присутствие слова в "авторитетных" ссылках на данный документ 5."Взвешенный индекс цитирования" документа 6.Количество и ранг ("авторитетность") всех страниц сайта с этим словом

Пример частоты слово отдых в каких сочетаниях при поиске в Яndex отдых, 6057 крым, 612 дом, 581 сочи, 411 подмосковье, 344 море, 295 туризм, 277 турция, 222 детский, 190 болгария, 149

Используя эту информацию, Яндекс дает советы посетителям

Средняя длина запроса в Яndex - 2,5 слова, и количество слов в запросе постепенно растет. Запросы из одного слова задают, примеры: реферат 9018 порно 4886 секс 3706 mp sex 2717 эротика 2292 знакомство 2215 чат 2197 анекдот 1705 porno 1537 погода 1465 халява 1442 гороскоп 1436 игра 1322 москва 1279 работа 1243