МПХИ 20111 Некоторые даты из истории возникновения Интернета структура Интернета основная терминология поисковые запросы поисковые сервисы каталоги поисковые. - презентация

1 МПХИ_20111 Некоторые даты из истории возникновения Интернета структура Интернета основная терминология поисковые запросы поисковые сервисы каталоги поисковые системы

2 МПХИ_ г ARPA 1958 г создание агентства ОАПИП (Оборонное Агентство Передовых Исследовательских Проектов)– DARPA (Defense Advanced Research Projects Agency) г г.начало истории Интернета (коммуникационная система - двумерную самоуправляемую сеть равноправных компьютеров, передача данных фрагментами - пакетами – файлами, file – дело, досье, ходить гуськом, ряд, шеренга, скоросшиватель, картотека 1967 г г.для создания сети передачи данных было решено использовать разбросанные по всей стране компьютеры ARPA, соединив их обычными телефонными проводами г (сент.) 1969 г (сент.) передано первое компьютерное сообщение ДР!! 4 октября 1957 г. 4 октября 1957 г. запуск космического спутника в СССР появление электронной почты (программист Ray В адресе впервые был использован - коммерческое at сделано коммерческое приложение к ARPANet – Telnet

3 К марту 1972 года Рэй Томлинсон модернизировал свою почтовую программу, адаптировав ее для использования в сети ARPANET, предшественнице нынешней сети Интернет. Именно в это время в адресах электронной почты стал использоваться – эт коммерческий или в просторечии собака, собачка. Есть данные о том, что этот значок означал объем одной амфоры. Лигатура по прозвищу «собачка» В Германии его дословно называют "обезьяна с цепким хвостом", но немецкое слово Klammeraffe имеет также второе, переносное, значение. Так называют пассажира на мотоцикле, сгорбившегося на втором сиденье за спиной водителя. В Голландии - обезьяний хвост. В Финляндии - кошкин хвост. Во Франции - улиточка. В Венгрии - гусеничка или червячок. В Норвегии - "канельболле", спирально закрученная булочка с корицей, то есть та же плюшка. В Израиле - штрудель. В англоязычных не имеет шутливого прозвища, а просто читается at (эт), что переводится на русский предлогами у, около, на, в, по.

4 МПХИ_20114 Один из самых больших парадоксов Интернет – полезной информации в WWW становится все больше, но найти что-то необходимое все сложнее

5 МПХИ_20115 Топология Web-пространства – BOW-TIE (1999 г.) Andrei Broder et al. Alta Vista, IBM, Compaq (200 млн. веб-страниц) (по материалам сайта ) SCC- Компоненты сильной связности (Strong Contact Components) Д. Ландэ Затерянный ВЭБ

6 МПХИ_20116 Интернет Open Internet Открытый (Open Internet) Находящийся на поверхности (поверхностный) Surface Web Hidden Internet Скрытый (Hidden Internet) Глубинный (Deep) Web Джилл Иллсворт (Jill Ellsworth) 1994 г. «Единственный способ найти – знать точный адрес» Скрытый секретный (Структура русского глубинного ВЭБа) InvisibleWeb.htmlhttp:// InvisibleWeb.html (Invisible or Deep Web: What it is, How to find it, and Its inherent ambiguity) (платная услуга!)

7 МПХИ_20117 M. Bergman Deepwebwhitepaper.pdf

8 МПХИ_20118 Основатель BrightPlanet Майкл Бергман выделил 12 разновидностей «скрытых» веб-ресурсов, относящихся к классу он-лайновых баз данных: Патенты Медицина Финансы Объявления о поиске работы Чаты Библиотеки Справочники Специализированные поисковые системы Быстро обновляемая информация – новости, конференции, он-лайн журналы Системы интерактивного взаимодействия с пользователями – обучение помощь консультации Формат документа! Чаще других – это pdf. Flash-формат также принято относить к «скрытым форматам». Китайский сектор WWW

9 МПХИ_ в 2004 г. опередил Google по объему трафика и занял 4 в мире по этому показателю, он охватывает 95% китайских пользователей в Сети

10 МПХИ_201110

11 МПХИ_ / peep - пристально разглядывать

12 МПХИ_ В. Степанов Интернет в профессиональной информационной деятельности // Интерактивный учебник, М., 2003 (последнее обновление год) А.А. Рагойша Поиск химической информации в Интернете. Поисковые системы и тематические каталоги, 2003 А.А. Рагойша Интернет для начинающих и не только…, Минск, изд. «Красико-Принт», 2004 А.А. Рагойша Поиск химической информации в Интернете: научные публикации, Минск, БГУ, 2007 ( ) В. Гусев Google: эффективный поиск. Краткое руководство, изд. «Вильямс», 2005, 240 с. И.М. Печищев Поиск информации в интернете Д.В. Ландэ Поиск знаний в Интернет, Издательский Дом «Вильямс», с. А.А. Рагойша Cтатьи в формате Enhanced HTML на сайте Royal Society of Chemistry pdf А.А. Рагойша. Гипертекстовая структура статей в журналах American Chemical Society

13 МПХИ_ Inter – меж, среди Net - сеть tële – вдаль, далеко (греч.) file – скоросшиватель, регистратор, дело, досье (англ.) prötokollon – первый лист с обозначением даты и имени писца, приклеивался к списку prötos – первый (греч.) (прототип, протон, протоплазма) kollâö – клею (греч.) hyper – сверх (греч.) link – связь, соединение (англ.) wide – широкий, открытый, далекий (англ.) web – паутина (англ.) domain – территория, зона, область, сфера интересов, владение, собственность (англ.) телнет (telnet, tele – вдаль, далеко (греч.)) - управление процессами на удаленных компьютерах (первый метод работы в сети, конец 60-х) Интернет - сеть, объединяющая много компьютерных сетей (начало 60-х) Протокол - это свод правил, в соответствии с которыми передаются и принимаются данные. FTP (file transfer protocol) –протокол для переноса файлов с одного компьютера на другой, который до сих пор используется при извлечении информации из многочисленных общедоступных ftp-архивов. HTTP протокол (начало 90-х годов, английский ученый Т. Бернерс-Ли) - алгоритм обмена информацией -(HyperText Transfer Protocol), HTTPS – расширение HTTP, предоставляющее большую защиту при передаче данных от пользователя к серверу. World Wide Web ("Всемирная Паутина"), или WWW, или Web, или W3 – новая гипертекстовая форма функционирования Сети Hyperlink, или просто link - слово, которое является органической частью одного информационного блока и направляет читателя к иному информационному блоку, дает начало гиперсвязи между документами. Документ, который содержит в своем теле гиперсвязи, или ссылки, называется гипертекстовым (hypertext ). Каждый сервер имеет свой числовой IP (internet protocol)- адрес (например, , часто его бывает видно, когда сеть медленно работает), по которому компьютеры находят друг друга. Человеку же более удобна буквенная запись, поэтому серверу, кроме IP-адреса, приписывается уникальное название - доменное имя (domain). Например

14 МПХИ_ Семантический ВЭБ: Алгоритмы для Интернета Ю. Лифшиц, 2006, лекции

15 МПХИ_ Россия:.рф.ru,.com.ru,.org.ru,.net.ru,.pp.ru,.edu.ru,.ac.ru,.int.ru,.msk.ru,.spb.ru,.рф ex-СССР и СНГ:.su,.ua,.com.ua,.net.ua,.org.ua,.edu.ua,.gov.ua,.kz,.by,.am,.az,.Национальные:.us,.ca,.co.uk,.me.uk,.org.uk,.ltd.uk,.plc.uk,.de,.com.fr,.at,.be,.cc,.is,.it, ARPA – технические COM – коммерческие EDU - образовательные GOV - правительственные (только США) INT - международные организации MIL - военные организации (только США) NATO - НАТО NET - сетевые организации ORG - некоммерческие организации MUS – музеи BIZ – коммерческие учреждения INT -международные организации INFO -информационные ресурсы AERO -организации, работающие в области аэронавтики NAME –имя MUSEUM -музеи COOP -кооперирующиеся организации Общие домены первого уровня (международные)

16 МПХИ_ Пермский государственный университет Полоцкий государственный университет Поморский государственный университет им. Ломоносова Приднестровский государственный университет им. Шевченко – Penn (Pensylvania) State University – Play Station Universe ПГУ PSU

17 МПХИ_ Serve – служить, быть полезным, обслуживать, управлять (англ.); server – обслуживающее устройство (англ., комп.) site – местоположение, местонахождение (англ.) resourse – ресурсы, средства, запас, возможности (англ.) веб-сервер (web-server)– компьютер(ы), в котором хранится информация сайт (site) – информационный массив, находящийся на сервере; автономные тематические разделы. Home Page - Главная страница сайта, от которой разрастается система гиперсвязей (аналог титульного листа, оглавления и краткой аннотации). Веб-страница (Web page), или просто страница - документ, который можно получить в ходе одного обращения к серверу (1-3 экрана монитора).

18 МПХИ_ URL [Universal, (иногда - Uniform) Resource Locator] – идентификатор веб-страницы, её адрес в сети; в некоторой степени URL выполняет функции библиографического описания, применяющегося в печатной литературе. Иногда, внимательно изучив, составные части URL можно почерпнуть сразу очень много информации.. bin/search.pl?type=abstract&name=anchem&number=1&year=97&page=35. При печати статьи прямо из Интернета, внизу лист всегда пропечатывается этот адрес. bin/search.pl?type=abstract&name=anchem&number=1&year=97&page=35 common – общий gateway – ворота, вход interface – поверхность раздела, стык, устройство сопряжения, связующее звено (между человеком и машиной) bin – корзина, закрома browser - человек, перелистывающий книги, браузер, web- обозреватель; окно просмотра; программа просмотра (комп.) script – система письма, сценарий CGI - Common Gateway Interface - это интерфейс, позволяющий веб- серверу по запросу браузера (browser) запускать на себе какие-либо программы и результат их работы отдавать браузеру. - адрес домашней страницы химического раздела виртуальной библиотеки Ливерпульского у-та - адрес домашней страницы проф. Томаса Джонса locator – локатор; то, что определяет место (англ.) URI

19 МПХИ_ Размер доменного имени ограничивается по административным и техническим причинам. Обычно разрешается регистрация доменов длиной до 63 символов. Но это не останавливает. Имя самого длинного домена зарегистрировано на Украине (г. Львов) 11 июня 2005 года общественной организацией «Столица Мира», на котором размещена информация о чудаках и з Львова, которые хотели создать в своём городе «Международный центр чудес». Главный активист – А. Косянчук, известен как автор- составитель «Энциклопедии курьезов». Ниже приведено имя домена world-records-welcomes-all-inhabitants.of-the-planet-and-invites- them-to-visit-our-ancient-city.yours-faithfully-chairman-of- government-anatolij-kosjanchuk.epak.infocom.lviv.ua world-records-welcomes-all-inhabitants.of-the-planet-and-invites- them-to-visit-our-ancient-city.yours-faithfully-chairman-of- government-anatolij-kosjanchuk.epak.infocom.lviv.ua. llantysiliogogogoch.com/ llantysiliogogogoch.com/ - Уэльс, о-в Англси, деревня, в названии - 59 букв Есть сайты, доменное имя которых состоит из одной буквы, например, украинский сайт каталог очень разной направленности. Есть сайты без доменного имени, например, российский сайт Russia on the Net – каталог ресурсов о России в Интернете.

20 МПХИ_ Задача - Найти иголку в стоге сена – означает многое Найти известную иголку в известном стоге сена. Найти неизвестную иголку в известном стоге сена Найти неизвестную иголку в неизвестном стоге сена; Найти любую иголку в любом стоге; Самую острую иголку в стоге сена; Большую часть самых острых иголок в стоге; Все иголки в стоге; Доказать, что иголок в стоге нет; Что-нибудь похожее на иголки в любом стоге. Сообщить, когда в стоге появятся иголки. Иголки, стога – в общем, что-нибудь; А где эти стога?!!!! Мэтью Колл (M. Koll)

21 МПХИ_ «Паук» (spider) - ЗАГРУЖАЕТ Программа, которая загружает в поисковую машину web-страницы. Работает аналогично браузеру, установленному на компьютере пользователя, но ничего не отображает ни на каком экране. Передает в поисковую систему HTML- код документа. «Червяк» (crawler) – ИЩЕТ Программа, способная найти на web- странице все ссылки на другие страницы. Ее задача – определить, куда дальше должен «ползти» «паук», руководствуясь ссылками или заранее заданным списком адресов. «Паук» и «червяк» - РОБОТ Первые две программы, работающие «в связке», часто называют поисковый робот или HTTP-робот.

22 МПХИ_ Индексатор (Indexer) – РАЗБИРАЕТ - АНАЛИЗИРУЕТ Программа, которая «разбирает» web- страницу на составные части и анализирует их. Вычленяются и анализируются заголовки, ссылки, текст документов. Отдельно анализируется текст, набранный полужирным шрифтом, курсивом и т.п. База данных (database) - ХРАНИТ Хранилище всех данных, которые поисковая система загружает и анализирует. Требует огромных ресурсов как для хранения, так и для последующей обработки. Алгоритмы поиска Каждая ПС использует свой алгоритм поиска и его детали представляют собой ноу-хау разработчиков поисковика. Алгоритм поиска – метод, руководствуясь которым ПС принимает решение, включать или не включать ссылку на web-страницу в результаты поиска.

23 МПХИ_ Полнота поиска в базе данных найдено P документов, соответствующих запросу предъявлено для просмотра всего N документов то полнота системы П определяется по формуле : Релевантность (relevancy)– формальное соответствие информации, выдаваемой системой, запросу. Пусть, N –число найденных документов, N1 – число документов, соответствующих запросу, N2 – число документов не соответствующих запросу, то есть N = N1 + N2, то релевантность P и шум S Однако на практике чаще используется такое понятие как пертинетность – соотношение объема полезной для пользователя информации к объему полученной информации. Допустим, исходный массив содержит 100 документов, из которых 50 соответствуют запросу. Если в результате поиска будет выдан 1 документ, который при этом соответствует сделанному пользователем запросу, то релевантность выдачи составит 100%, шум – 0, полноты – всего 2% (1/50 х 100%). Если будут выданы 100 документов, то релевантность составит 50%, а полнота поиска – 100%. То есть, чем выше в системе релевантность, тем ниже полнота, и, соответственно, чем ниже релевантность, тем полнота поиска, выполненная данной ПС выше. Формальная релевантность

24 МПХИ_ Поисковые запросы Поисковый запрос исходная информация для осуществления поиска с помощью поисковой системы. Формат поискового запроса зависитпоисковой системы как от устройства поисковой системы, так и от типа информации для поиска. Чаще всего поисковый запрос задаётся в виде набора слов или фразы, иногда используя расширенные возможности языка запросовязыка запросов поисковой системы. Поисковый запрос – последовательность символов, которые пользователь поисковой системы использует для поиска той или иной информации.

25 МПХИ_ Поисковые запросы могут быть структурированы по целевому назначению, частотности, конкурентности, количеству слов, входящих в запрос, элементам классификации, связанным с предметной областью, необходимости проведения по ним работ для конкретного сайта.

26 МПХИ_ Информационные запросы отражают желание пользователя поисковой системы получить ту или иную информацию, причем ценность информации в данном случае первична, а объект (товар), характеризуемый информацией вторичен. Транзакционные запросы первично желание совершить транзакцию, связанную с объектом (товаром). Под транзакцией может подразумеваться приобретение, заказ услуги, присоединение к чему-либо, то есть совершение действия, направленного на принесение выгоды поставщику объекта. Навигационные запросы целью является обнаружение определенного адреса в сети Интернет для выполнения каких-либо дальнейших действий на обнаруженном ресурсе.

27 МПХИ_ Общие запросы – запросы, стоящие в корне, либо близко к корню тезаурусов коммерчески привлекательных тем, являющиеся гиперонимами по отношению к большинству других запросов темы. В качестве примера можно привести запросы: «бытовая техника», «мебель», «автомобили». Тезаурус - словарь языка, ставящий задач полного отражения всей его лексики - словарь или свод данных, полностью охватывающий термины, понятия какой-то специальной сферы Гипероним – слово, объединяющее класс понятий Низкочастотные запросы – от единиц до нескольких десятков переходов из поисковиков в месяц Среднечастотные запросы – от нескольких десятков до сотен переходов. Высокочастотные запросы – сотни и тысячи переходов в месяц. "Маска" - это ключевое слово или словосочетание, обозначающее тему – наиболее частотный запрос.

28 МПХИ_ Конкурентность запроса Это наиболее значимая характеристика поискового запроса с точки зрения продвижения. Удобной мерой конкурентности запроса является ориентировочный ежемесячный бюджет, необходимый для выведения и удержания сайта по запросу в первых десяти результатах выдачи выбранной поисковой системы. Низкоконкурентные запросы – бюджет от единиц до десятков условных единиц. Среднеконкурентные запросы – от десятков до сотен условных единиц. Высококонкурентные запросы – от сотен до тысяч условных единиц.

29 МПХИ_ Количество слов в запросе Запросы естественным образом разделяются на однословные, двухсловные, трехсловные и так далее. Наблюдается некоторая связь количества слов в запросе и его конкурентностью. Запросы, содержащие меньше слов, скорее всего, будут более конкурентными. Связано это в первую очередь с естественным желанием пользователя поисковой системы выполнить меньше действий для получения желаемого результата. То есть, с желанием набирать меньше символов в строке поиска. Стоит отметить, что со временем происходит смещение конкурентности в сторону более многословных запросов. Основных причин этого явления две: повышение поисковой грамотности пользователей поисковых систем, использующих более точные запросы, и введение в действие более совершенных механизмов подсказок.

30 МПХИ_ Переколдовка Термин «переколдовка» (переформулирование) в широком смысле характеризует способность поисковых систем считать соответствующими запросу пользователя документы, содержащие неточную формулировку запроса. Практическим применением знаний или предположений о переколдовке конкретного запроса является возможность добиться большей эффективности продвижения. То есть, затрачивать меньше ресурсов для выведения сайта на высокие позиции выдачи поисковых систем по указанному запросу.

31 МПХИ_ Семантическое ядро поисковых запросов Семантическое ядро поисковых запросов Семантическое ядро сайта представляет собой набор (множество) точных формулировок запросов пользователей поисковых систем. В него включаются запросы, которые используются для получения информации, имеющей отношение к тематике сайта. Объем семантического ядра измеряется в количестве вошедших в него запросов. Объем ядра сильно зависит от тематики и направленности сайта, для которого ядро формируется. Часто встречаются семантические ядра различных объемов. Полноту семантического ядра можно определить как отношение значимости вошедших в него запросов к совокупной значимости всех запросов рассматриваемой темы. Значимость запроса может определяться различным образом. Наиболее распространенной и формализованной является оценка на основе использования прогнозного значения количества посетителей, которые перейдут на сайт по выбранному запросу, в случае успешного продвижения. Семантика – 1) то же, что семасиология 2) значение, смысл языковой единицы Семасиология – раздел языкознания, занимающийся значением языковых единиц Сема – единица смысла (от греч. sëma- знак)

32 МПХИ_

33 МПХИ_201133

34 МПХИ_

35 МПХИ_201135

36 МПХИ_ Cледующие основные сервисы: Яндекс: wordstat.yandex.ru Google: adwords.google.com/select/KeywordToolExternal Рамблер: adstat.rambler.ru Лайвинтернет: liveinternet.ruwordstat.yandex.ruadwords.google.com/select/KeywordToolExternaladstat.rambler.ruliveinternet.ru

37 МПХИ_ ОСНОВНЫЕ ПОИСКОВЫЕ ОПЕРАТОРЫ. Логические операторы « И» «AND» «+» «&». «ИЛИ» «OR» «|» «И НЕ» «NOT», «ANDNOT», «AND NOT», «BUT NOT» «~» « - » «!» Пробел И, но иногда ИЛИ «оператор по умолчанию».

38 МПХИ_ Chromium & phosphate | sodium & silicate Yandex

39 МПХИ_ (Chromium | sodium) +phosphate ~silicate Yandex

40 МПХИ_ Нужно найти информацию о бессиликатных покрытиях или связующих на основе фосфатов магния или хрома. Запрос должен содержать следующие слова: во-первых, слова – покрытие (coating) или связующее (binder), так как это термины, несущие основной смысл; во-вторых, слова магний (magnesium) и хром (chromium); в-третьих, слово – фосфат (phosphate); в-четвертых, ответ не должен содержать слово «силикат» (silicate), так как есть такие соединения на основе силиката. Варианты запрос будут выглядеть приблизительно так: (coating | binding) & (magnesium | chromium) & phosphate ~ silicate.

41 МПХИ_ (coating | binding) & (magnesium | chromium) & phosphate ~ silicate. Yandex

42 МПХИ_ Операторы расстояния (proximity operator). кавычки («») используются для обозначения неизменяемой фразы: «синтез 1,4-дикетонов» + метод Штеттера около или рядом (near или with), а затем указывается расстояние, то есть число слов, разделяющих два поисковых термина: термин 1 near/n термин 2 (electrolysis near/2 solution) или термин 1 with/n термин 2 (electrolysis with/2 solution), где n – количество слов, которые могут быть между эти двумя терминами и их может не менее, чем n. «Photolysis near/3 water при формулировании запроса следует учитывать: a) используются разные варианты написания операторов – w/n, with/n, with; near/n, near, /n, /+n, /-n b) операции with/n, near/n выполняются до операций not, and и or. c) при выборе оптимальной величины n следует помнить, что подсчитывая расстояние между терминами, программа обычно пропускает служебные слова (артикли, предлоги).

43 МПХИ_ ? « ? » * « * » - (усечение, truncation). Учет словоформ (stemming) (stem - основа). «boiling», boil, boiled, boiler, boilers.! Заставляет искать слово только в той форме, которая Вам нужна !boil case sensitive - Yandex, not case sensitive – Google: Washington, washigton, WAshInGtOn. Стоп - слова (stopwords) – предлоги, артикли и т.д. : a, the, of, в, из, над. Естественноязыкой поиск (free-text search, natural language query). Допустимо даже написание запросов типа – «Где найти информацию о …?» или «Что такое … ?». В ПС Google существует вполне формализованная команда – define: «комплексные соли». Использование подстановочных знаков

44 МПХИ_ Условно поисковые сервисы можно разделить на две основные группы: 1)тематические каталоги (иначе – справочники, рубрикаторы) - (directories); 2)поисковые системы (search engines) ПС Поисковые средства первой группы – это электронные справочники, имеющие четкую иерархическую систематическую или логико-тематическую структуру. Она во многом напоминает структуру систематического каталога в библиотеке. Работа со справочниками позволяет ориентироваться в ресурсах Интернет в пределах отдельных отраслей знаний, углубляясь от общего к частному, меняя иерархические ветви, возвращаясь на несколько шагов назад. Yahoo! Open Directory Abouthttp:// Апорт Weblisthttp:// List.ruhttp://list.mail.ruhttp://list.mail.ru Главной отличительной особенностью справочников является то, что все они сделаны вручную! Search. Работу в каталоге можно проводить либо в режиме Browse, либо в режиме Search. Мета-приставка, используемая для обозначения 1) перемены состояния 2)таких систем, которые служат для описания и исследования других систем

45 МПХИ_ Yahoo!Yahoo!Yahoo!Yahoo!

46 МПХИ_ Yahoo!

47 МПХИ_

48 МПХИ_ Open Directory Project ( )

49 МПХИ_201149

50 МПХИ_ «Легкий Апорт» apporter- принести Apport! - Принеси!

51 МПХИ_ Осуществляет поиск, используя Google, Live Search, Yahoo!, Ask, Learn More. Подзаголовок к этой поисковой системе –The Webs Top Search Engines Spun Together (spun – спряденный, скрученный). Это позволяет осуществлять объединенный поиск двумя поисковыми системами и выдавать одновременный результат, который выглядит как две колонки – справа – результат от поиска с помощью - Yahoo, слева – с помощью Google. Главное состоит в том, что практически всегда можно найти несовпадения.

52 МПХИ_201152

53 МПХИ_ Зарубежные лидеры ПС Google Yahoo! Searchsearch.yahoo.com AltaVistawww.altavista.com Allthewebwww.alltheweb.com Статистика (кол-во документов) Google более 8 млрд. Allthewebболее 600 млн. AltaVistaболее 550 млн. Yahoo! более 1.5 млн. (в каталоге) to google googling «Выгуглен», Scroogled Cory Doctorow

54 МПХИ_201154

55 МПХИ_ II. Поиск химической информации в Интернете: Основные правила поиска в ПС Yandex Основные правила поиска в ПС Google Сохранение запросов