Лекция 12. Поисковые системы сети Интернет как корпусные менеджеры. Специализированные корпусные интерфейсы к индексам глобальных поисковых систем В.П. - презентация

1 Лекция 12. Поисковые системы сети Интернет как корпусные менеджеры. Специализированные корпусные интерфейсы к индексам глобальных поисковых систем В.П. Захаров Санкт-Петербургский государственный университет

2 Лекция 12Корпусная лингвистика2 Проблемы создания корпусов Отбор и подготовка текстов; репрезентативность; хронологические рамки; разметка; разные задачи разные типы корпусов; трудоёмкость; специализированное программное обеспечение (corpus managers).

3 Лекция 12Корпусная лингвистика3 Web как корпус Интернет – огромный справочник, всемирная библиотека, всемирный архив текстовой информации. Объем: более 15 млрд. страниц ? Удваивается каждые 10 – 12 мес. Любые типы текстов Разные языки Динамика Но: проблема метаинформации; проблема поисковых средств.

4 Лекция 12Корпусная лингвистика4 Поисковые системы как корпус-менеджеры

5 Лекция 12Корпусная лингвистика5 Поисковые системы как инструмент лингвистического анализа Наиболее важными с точки зрения лингвистического анализа текстового материала представляются следующие особенности ИПС: работа со словоформами (лемматизация, «узнавание» точной формы); поиск слов с заданным или произвольным усечением, как правым, так и левым; индексирование полных текстов в полном объеме без исключения; работа со словосочетаниями: учет расстояния между элементами и порядка их следования; различение больших и малых букв.

6 Лекция 12Корпусная лингвистика6 Возможности поисковых систем для получения лингвостатистических данных о частоте

7 Лекция 12Корпусная лингвистика7 Примеры лингвистических "изысканий" "броузер" или "браузер" "Яндекс": статистика слов: броузер: , браузер: ; запросов за месяц: броузер: 2150, браузер: "офсайд" или "оффсайд" "Яндекс": "офсайд": словоупотреблений "оффсайд": 9867 словоупотреблений

8 Лекция 12Корпусная лингвистика8 Примеры частоты употребления отдельных лексем в Интернете

9 Лекция 12Корпусная лингвистика9 Яндекс

10 Лекция 12Корпусная лингвистика10 Языки запросов (Yandex) " изучение языка « Результат поиска: страниц 61986, сайтов не менее 1601 Запросов за месяц: изучение 44683, языка Всё для изучения языка программирования Турбо Паскаль "изучение языков Результат поиска: страниц , сайтов не менее 1620 Запросов за месяц: изучение 44683, языков Изучение языков в Интернете: лучшие методики и пособия изучение /1 языка Результат поиска: страниц , сайтов не менее 1479 Запросов за месяц: изучение 44683, языка Изучение языков в Интернете: лучшие методики и пособия Всё для изучения языков программирования изучение /2 языка Изучение английского языка … Изучение иностранных языков в Интернете: лучшие методики и пособия

11 Лекция 12Корпусная лингвистика11 Языки запросов (Google) Результаты из примерно для изучение языка. Результаты из примерно для изучение языков. Результаты из примерно для "изучение языка". Результаты из примерно для "изучение языков". Результаты из примерно для "изучение * языка". Результаты из примерно для "изучение * языков".

12 Лекция 12Корпусная лингвистика12 Дальнейшие возможности Грамматический поиск по образцам Ограничение области поиска определенными формальными признаками: вид информации страна язык время домен и др.

13 Лекция 12Корпусная лингвистика13 Выводы: В случае отсутствия подходящего корпуса определенные лингвистические данные можно получить из Интернета. И в ряде случаев результаты будут даже более представительны, чем на базе специализированных корпусов.

14 Лекция 12Корпусная лингвистика14 WebCorp

15 Лекция 12Корпусная лингвистика15 WebCorp – входной интерфейс (1)

16 Лекция 12Корпусная лингвистика16 WebCorp – входной интерфейс (2)

17 Лекция 12Корпусная лингвистика17 WebCorp – входной интерфейс (3)

18 Лекция 12Корпусная лингвистика18 Запрос (Google): изучение … языка

19 Лекция 12Корпусная лингвистика19 Запрос (WebCorp): изучение … языка (1) WebCorp output for search term изучение * языка Producing output Document Dated: 2004/04/23 15:50:34 (server header) Plain Text Word List 2241 tokens, 1186 types Plain TextWord List информационного обеспечения в отрасли, углубленное изучение иностранного языка, расширение перечня изучаемых прикладных управленческихизучение иностранного языка Document Dated: 2002/08/06 15:16:51 (server header) Plain Text Word List 219 tokens, 169 types Plain TextWord List владеть же ивритом и продолжить изучение английского языка вам помогут специальные молодежные программыизучение английского языка tml tml Document Dated: 1997/12/30 03:03:00 (server header) Plain Text Word List 5214 tokens, 2299 types Plain TextWord List путей создания тестов является глубокое изучение стандарта языка С++, в ходе которого выявляютсяизучение стандарта языка Statistics: Using the Google search engine WebCorp accessed 20 web pages, 3 of which returned errors.Google 5 concordances were generated.

20 Лекция 12Корпусная лингвистика20 Запрос (WebCorp): изучение … … языка (2) WebCorp output for search term изучение * * языка Producing output... Document Dated: 1999/12/28 11:40:15 (server header) Plain Text Word List 2170 tokens, 1132 types Plain TextWord List изучаемого языка, б) долгосрочная изучение и использование языка в общении. Язык является отражениемизучение и использование языка Document Dated: 2005/05/31 13:23:58 (server header) Plain Text Word List 527 tokens, 373 types Plain TextWord List Кроме того, институт предлагает студентам изучение второго иностранного языка. СТАЖИРОВКИ. Летние школы в зарубежныхизучение второго иностранного языка Sort Options Alphabetise concordance lines on :Position:Case Sensitive? : Sort by Date: Statistics Using the Google search engine WebCorp accessed 7 web pages, 2 of which returned errors.Google 2 concordances were generated.

21 Лекция 12Корпусная лингвистика21 WebCorp: [run] WebCorp output for search term r[u|a]n[ning|s|] Document Dated: 2005/01/01 00:00:00 (copyright) Plain Text Word List 980 tokens, 607 types Plain TextWord List kann. (more) Plot Outline: Lola runs. To save her boyfriend's liferuns his immediate death. Lola starts running immediately thinking of a millionrunning in her life and she runs and runs..... The quality ofruns life and she runs and runs..... The quality of cuts andruns Document Dated: 2005/01/01 00:00:00 (copyright) Plain Text Word List 582 tokens, 331 types Plain TextWord List matters 'crucial to improving my running' I knew I had stumbledrunning revolutionary book to hit the running community this decade. It willrunning is revolutionizing the sport of running. Success Stories Hi Irunning Now a 12 mile trail run is fun! Keep up therun

22 Лекция 12Корпусная лингвистика22 WebCONC

23 Лекция 12Корпусная лингвистика23 The Linguist's Search Engine Use the Linguist's Search Engine Log in to the Linguist's Search Engine You can use login: guest password: guest if you do not wish to register. Log in to the Linguist's Search Engine Register to use the Linguist's Search Engine You should register for an account if you want to build your own collections Register to use the Linguist's Search Engine User's Guide Also available in PDF format. User's GuidePDF format Project Information Information on the Linguist's Search Engine. Includes a Getting Started Guide. Project Information Getting Started Guide