Лекция 1. Введение в корпусную лингвистику Е.Ю. Калинина МГУ,

Лекция 1 Корпусная лингвистика2 Понятие корпуса Электронный массив языковых данных, подобранных специальным образом, с разметкой и поисковым интерфейсом.

Лекция 1 Корпусная лингвистика3 Словарные картотеки

Лекция 1 Корпусная лингвистика4 Электронные библиотеки и их разнообразие Корпус латинских текстов Персей. Корпус текстов Ф. М. Достоевского. Электронная энциклопедия "Брокгауз и Ефрон". Фундаментальная электронная библиотека. Российская виртуальная библиотека. Библиотека М. Мошкова. Электронная библиотека Химического фак-та МГУ. ………………………………………………… ……. и т.д.

Лекция 1 Корпусная лингвистика5 Корпус vs. электронная библиотека Тексты в корпусах рассматриваются прежде всего как образцы текстов. Тексты в электронных библиотеках, исходя из их назначения, правильнее всего называть произведениями со всеми характерными для них атрибутами. Лингвистический корпус текстов:Электронная библиотека: образцы текстовполные тексты лингвистическая разметкабиблиографические и историко- культурные элементы данных (если имеются) лингвостатистикаотсутствие статистики репрезентативность языкового материала"условная" полнота текстов электронной библиотеки отбор языкового материала на основе критериев репрезентативности, лингвистической и историко-культурной значимости отбор текстов, определяемый выбором составителей библиотеки

Лекция 1 Корпусная лингвистика6 Лингвистические корпусы Brown Corpus. Ланкастерский корпус английского языка (Lancaster- Oslo-Bergen Corpus, LOB). British National Corpus. International Corpus of English. Bank of English. Cobuild Corpus. Мангеймский корпус немецкого языка. Чешский национальный корпус. Уппсальский корпус русского языка. Национальный корпус русского языка. Корпусы китайского, турецкого, эстонского, албанского и многих других языков

Лекция 1 Корпусная лингвистика7 Корпусная лингвистика – раздел компьютерной лингвистики, занимающийся разработкой общих принципов построения и использования лингвистических корпусов (корпусов текстов) с использованием компьютерных технологий.

Лекция 1 Корпусная лингвистика8 Конкорданс Конкорданс – список всех употреблений данного слова в контексте (возможно, со ссылками на источник). Чешский национальный корпус: Поиск словоупотреблений слова holubí (голубиный).

Лекция 1 Корпусная лингвистика9 Предпосылки создания и использования корпусов Назначение языкового корпуса – показать функционирование лингвистических единиц в их естественной контекстной среде. На основе корпуса можно получить данные: о частоте словоформ, лексем, грамматических категорий, об изменениях частот об изменениях контекстов в различные периоды времени о поведении языковых единиц разных авторов о совместной встречаемости лексических единиц об особенностях их сочетаемости, управления и т.д.

Лекция 1 Корпусная лингвистика10 Репрезентативность Размеры и процентные соотношения: Жанры Стили Периоды Авторы Хронологические границы ……………………….

Лекция 1 Корпусная лингвистика11 Разметка Англ.: tagging, annotation. Разметка – приписывание текстам и их компонентам специальных меток. Виды разметки: экстралингвистическая (метаразметка) сведения об авторе и сведения о тексте: автор, название, год и место издания, жанр, тематика; структурная (глава, абзац, предложение, словоформа) собственно лингвистическая

Лекция 1 Корпусная лингвистика12 Лингвистическая разметка 1.морфологическая разметка part-of-speech tagging (POS-tagging) 2.синтаксическая разметка 3.семантическая разметка 4.анафорическая разметка 5.просодическая разметка и т.д.

Лекция 1 Корпусная лингвистика13 Типы корпусов Сбалансированные: корпуса, представляющие отдельный язык; Проблемные: корпуса, представляющие подъязык (жанр, стиль, язык определенной возрастной или социальной группы, язык писателя или ученого и т.п.) или созданные в расчете на изучение специальной проблемы.

Лекция 1 Корпусная лингвистика14 А.С. Пушкин. Капитанская дочка Комендант расхаживал перед своим малочисленным строем. Близость опасности одушевляла старого воина бодростию необыкновенной. По степи, не в дальнем расстоянии от крепости, разъезжали человек двадцать верхами. Они, казалося, казаки, но между ими находились и башкирцы, которых легко можно было распознать по их рысьим шапкам и по колчанам. Комендант обошел свое войско, говоря солдатам: "Ну, детушки, постоим сегодня за матушку государыню и докажем всему свету, что мы люди бравые и присяжные!" Солдаты громко изъявили усердие.

Лекция 1 Корпусная лингвистика15 М.Ю. Лермонтов. Герой нашего времени Тут он начал щипать левый ус, повесил голову и призадумался. Мне страх хотелось вытянуть из него какую-нибудь историйку - желание, свойственное всем путешествующим и записывающим людям. Между тем чай поспел; я вытащил из чемодана два походных стаканчика, налил и поставил один перед ним. Он отхлебнул и сказал как будто про себя: "Да, бывало!" Это восклицание подало мне большие надежды. Я знаю, старые кавказцы любят поговорить, порассказать; им так редко это удается: другой лет пять стоит где-нибудь в захолустье с ротой, и целые пять лет ему никто не скажет "здравствуйте" (потому что фельдфебель говорит "здравия желаю"). А поболтать было бы о чем: кругом народ дикий, любопытный; каждый день опасность, случаи бывают чудные, и тут поневоле пожалеешь о том, что у нас так мало записывают.

Лекция 1 Корпусная лингвистика16 Н.В.Гоголь. Рим (отрывок) Попробуй взглянуть на молнию, когда, раскроивши черные, как уголь, тучи, нестерпимо затрепещет она целым потопом блеска. Таковы очи у альбанки Аннунциаты. Всё напоминает в ней те античные времена, когда оживлялся мрамор и блистали скульптурные резцы. Густая смола волос тяжеловесной косою вознеслась в два кольца над головой и четырьмя длинными кудрями рассыпалась по шее. Как ни поворотит она сияющий снег своего лица -- образ ее весь отпечатлелся в сердце. Станет ли профилем -- благородством дивным дышит профиль, и мечется красота линий, каких не создавала кисть… Но чудеснее всего, когда глянет она прямо очами в очи, водрузивши хлад и замиранье в сердце.

Лекция 1 Корпусная лингвистика17 Н.В. Гоголь. Шинель В это время, когда даже у занимающих высшие должности болит от морозу лоб и слезы выступают в глазах, бедные титулярные советники иногда бывают беззащитны. Все спасение состоит в том, чтобы в тощенькой шинелишке перебежать как можно скорее пять- шесть улиц и потом натопаться хорошенько ногами в швейцарской, пока не оттают таким образом все замерзнувшие на дороге способности и дарованья к должностным отправлениям.

Лекция 1 Корпусная лингвистика18 Л.Н. Толстой. Рубка леса - тот самый бомбардир Антонов, который еще в 37-м году, втроем, оставшись при одном орудии, без прикрытия, отстреливался от сильного неприятеля и с двумя пулями в ляжке продолжал итти около орудия и заряжать его. "Давно бы уж ему быть фейерверкером, коли бы не карахтер его", говорили про него солдаты.

Лекция 1 Корпусная лингвистика19 Л.Н. Толстой. Рубка леса Наконец, перейдя неглубокий, но чрезвычайно быстрый ручей, нас остановили, ив авангарде послышались отрывчатые винтовочные выстрелы. Звуки эти, как и всегда, особенно возбудительно подействовали на всех. Отряд как бы проснулся: в рядах послышались говор, движение и смех. Солдаты кто боролся с товарищем, кто перепрыгивал с ноги на ногу, кто жевал сухарь или, для препровождения времени, отбивал на караул и к ноге. Притом туман заметно начинал белеть на востоке, сырость становилась ощутительнее, и окружающие предметы постепенно выходили из мрака.

Лекция 1 Корпусная лингвистика20 Ф.М. Достоевский. Бесы Это было в пятьдесят пятом году, весной, в мае месяце, именно после того как в Скворешниках получилось известие о кончине генерал-лейтенанта Ставрогина, старца легкомысленного…

Лекция 1 Корпусная лингвистика21 Ф.М. Достоевский. Бесы Это было одно из тех идеальных русских существ, которых вдруг поразит какая-нибудь сильная идея и тут же разом точно придавит их собою, иногда даже навеки. Справиться с нею они никогда не в силах, а уверуют страстно, и вот вся жизнь их проходит потом как бы в последних корчах под свалившимся на них и на половину совсем уже раздавившим их камнем… Не прочь мы были и от городских сплетен, при чем доходили иногда до строгих высоко-нравственных приговоров. Впадали и в общечеловеческое, строго рассуждали о будущей судьбе Европы и человечества; докторально предсказывали, что Франция после цезаризма разом ниспадет на степень второстепенного государства, и совершенно были уверены, что это ужасно скоро и легко может сделаться.

Лекция 1 Корпусная лингвистика22 А.П. Чехов. Скучная история На свежего мальчика, приехавшего из провинции и воображающего, что храм науки в самом деле храм, такие ворота не могут произвести здорового впечатления. Вообще ветхость университетских построек, мрачность коридоров, копоть стен, недостаток света, унылый вид ступеней, вешалок и скамей в истории русского пессимизма занимают одно из первых мест на ряду причин предрасполагающих... Вот и наш сад. С тех пор, как я был студентом, он, кажется, не стал ни лучше, ни хуже. Я его не люблю. Было бы гораздо умнее, если бы вместо чахоточных лип, желтой акации и редкой, стриженой сирени росли тут высокие сосны и хорошие дубы. Студент, настроение которого в большинстве создается обстановкой, на каждом шагу, там, где он учится, должен видеть перед собою только высокое, сильное и изящное... Храни его бог от тощих деревьев, разбитых окон, серых стен и дверей, обитых рваной клеенкой.

Лекция 1 Корпусная лингвистика23 А.П. Чехов. Остров Сахалин Он рассказывает, что на Сахалине за все 22 года он ни разу не был сечен и ни разу не сидел в карцере. - Потому что посылают лес пилить - иду, дают вот эту палку в руки -беру, велят печи в канцерярии топить - топлю. Повиноваться надо. Жизнь, нечего бога гневить, хорошая. Слава тебе господи! Летом он живет в юрте около перевоза. В юрте у него лохмотья, каравай хлеба, ружье и спертый, кислый запах. На вопрос, для чего ему ружье, говорит- от воров и куликов стрелять - и смеется. Ружье испорчено и стоит тут только для виду. Зимою превращается он в дровотаска и живет в конторе на пристани.

Лекция 1 Корпусная лингвистика24 А.П. Чехов. Степь Лицо дяди по-прежнему выражало деловую сухость. Фанатик своего дела, Кузьмичов всегда, даже во сне и за молитвой в церкви, когда пели "Иже херувимы", думал о своих делах, ни на минуту не мог забыть о них, и теперь, вероятно, ему снились тюки с шерстью, подводы, цены, Варламов... Отец же Христофор, человек мягкий, легкомысленный и смешливый, во всю свою жизнь не знал ни одного такого дела, которое, как удав, могло бы сковать его душу. Во всех многочисленных делах, за которые он брался на своем веку, его прельщало не столько само дело, сколько суета и общение с людьми, присущие всякому предприятию.

Лекция 1 Корпусная лингвистика25 В.В. Набоков. Дар Ему казалось, что он сдерживает шаг до шляния, однако попадавшиеся по пути часы (боковые исчадия часовых лавок) шли еще медленнее, и когда у самой цели он одним махом настиг Любовь Марковну, шедшую туда же, он понял, что во весь путь нетерпение несло его, как на движущихся ступеньках, превращающих и стоячего в скорохода.

Лекция 1 Корпусная лингвистика26 В.В. Набоков. Весна в Фиальте Со ступеньки встал и пошел, с выпученным серым, пупастым животом, мужского пола младенец, ковыляя на калачиках и стараясь нести зараз три апельсина, неизменно один роняя, пока сам не упал, и тогда мгновенно у него все отняла тремя руками девочка с тяжелым ожерельем вокруг смуглой шеи и в длинной, как у цыганки, юбке. Далее, на мокрой террасе кофейни официант вытирал столики; с ним беседовал, опершись с моей стороны на перила, безнадежно усатый продавец сложных, с лунным отливом, сластей в безнадежно полной корзине.

Лекция 1 Корпусная лингвистика27 А. Платонов. Усомнившийся Макар Среди прочих трудящихся масс жили два члена государства: нормальный мужик Макар Ганушкин и более выдающийся -- товарищ Лев Чумовой, который был наиболее умнейшим на селе и, благодаря уму, руководил движением народа вперед, по прямой линии к общему благу. Зато все население деревни говорило про ЛьваЧумового, когда он шел где-либо мимо: - - Вон наш вождь шагом куда-то пошел, завтра жди какого-нибудь принятия мер...

Лекция 1 Корпусная лингвистика28 Саша Соколов. Между волком и собакой Скитаясь по долгу службы с одинокой гармоникой или с точильным ножным станком, странствуя в долине ненаглядной Итиль-реки, задрипан и собственному сердцу обрыдл, я последних едал без меры. Да хороши ли на вкус? Видите ли, за похвалою не постою: объядение. В местности глухой, где спасается древнеющий люд-глухарь, которому вся твоя филармония вне надобности; или в области тупой, где никто ничего не сечет, не режет, не рубит из-за лени повальной; в местности тупой и в области глухой к исходу напрасно изжитого света, когда людям играл, а они не вняли, иль домогался, поточить ли не требуется то да се, дабы иметь на пропитание с них, но не вынесли ни малой даже иглы, разузнай у старого коромысла дорогу к воде и канай, пустобрюхий,к ней в гости, что к теще на званый борщ. Ты хромай большаками на единосущной ноге, ковыляй заливными лузями, осененный блестким узорочьем.

Лекция 1 Корпусная лингвистика29 Сергей Довлатов. Чемодан Двести лет назад историк Карамзин побывал во Франции. Русские эмигранты спросили его: - Что, в двух словах, происходит на родине? Карамзину и двух слов не понадобилось. - Воруют, - ответил Карамзин... Действительно, воруют. И с каждым годом все размашистей. С мясокомбината уносят говяжьи туши. С текстильной фабрики - пряжу. С завода киноаппаратуры - линзы. Тащат все - кафель, гипс, полиэтилен, электромоторы, болты, шурупы, радиолампы, нитки, стекла. Зачастую все это принимает метафизический характер. Я говорю о совершенно загадочном воровстве без какой-либо разумной цели. Такое, я уверен, бывает лишь в российском государстве.

Лекция 1 Корпусная лингвистика30 А. Бруштейн. Дорога уходит вдаль Итого,- заключает папа,- они у вас едят каждые два часа. Едят они! - Глаза Серафимы Павловны наливаются слезами.- Кусочек того, капельку этого, здесь глоточек отопьют, там вилкой поковыряют, размажут, раздрызгают по тарелке, и все!.. Яков Ефимович, дорогой, ну скажите, вы ученый человек, чего им еще нужно, детям моим? И вдруг папа начинает хохотать. Он хохочет, нагнув голову, словно собираясь долбануть носом собственное колено. Он весь сотрясается и плачет крупными слезами, слезы застилают его очки, как дождевые капли – оконное стекло. - Чего им еще нужно при таком питании? - переспрашивает он сквозь смех.- Второй желудок им нужен! Не может один желудок все это переварить! - Я ж говорю: умалишотка! - хохочет и Владимир Иванович.

Лекция 1 Корпусная лингвистика31 Шедевры современной прозы Мужчина с хладнокровной внешностью оказался рядом с ней. Тот еще больше разозлился и, поднявшись с земли, вытащил из – за пазухи нож, и начал им размахиваться. Он ударил мужчину ногой по руке. Нож отлетел в сторону. Подошел к нему ближе и врезал кулаком в челюсть. Постучав в дверь, Анжелике ответил мужской голос Парень громко захлопнул входную дверь. Анжелика вздрогнула, и повернулась к нему лицом. Увидев ее образ, парень замер на месте. Он снял с головы Анжелики шпильки и распустил ее восхитительные, темные волосы. Они источали прекрасным ароматом

Лекция 1 Корпусная лингвистика32 Шедевры современной прозы Она поднялась на экскаваторе на второй этаж и вошла в отдел нижнего белья. Хорошо рассматривая белье, ей пригляделась одна модель: голубого цвета трусики виде шортиков и бюстгальтер Анжелика. Сабина очень любила яркую одежду. Антония ходила по комнате в разные стороны. Она о чем – то тревожилась, и очень боялась… Она не остановилась, а бежала по коридору сквозь голову сломя. Тобиос был очень встревожен поведением своей девушки и бегом пошел за ней. Сабина поднялась с дивана и гордо с высоко поднятой головой вытолкала Антонию из дома. О! – раздвинул брови в сторону. – Я слушаю тебя.

Лекция 1 Корпусная лингвистика33 Классификация корпусов ПризнакТипы корпусов Тип данных Письменные Речевые Смешанные Язык текстов Русский Английский и т.д. «Параллельность» Одноязычные Двуязычные Многоязычные «Литературность»,специфичност ь Литературные Диалектные Разговорные Терминологические Смешанные Жанр Литературные Фольклорные Драматургические Публицистические

Лекция 1 Корпусная лингвистика34 Классификация корпусов (прод.) ПризнакТипы корпусов Доступность Свободно доступные Коммерческие Закрытые Назначение Исследовательские Иллюстративные Динамичность Динамические (мониторные) Статические Разметка Размеченные Неразмеченные Характер разметки Морфологические Синтаксические Семантические Просодические и т.д. Объем текстов Полнотекстовые «Фрагментнотекстовые»

Лекция 1 Корпусная лингвистика35 Классификация корпусов (прод.) ПризнакТипы корпусов Хронологический аспект Синхронические Диахронические «Общность» Общие Одного писателя

Лекция 1 Корпусная лингвистика36 Пользователи Прикладные лингвисты; лексикографы; лингвисты-теоретики; преподаватели; компьютерные лингвисты; другие специалисты по языку (литературоведы, редакторы); специалисты по общественным наукам (историки, социологи); корпусы как инструмент для разработки и настройки различных автоматизированных систем (машинный перевод, распознавание речи, информационный поиск).

Лекция 1 Корпусная лингвистика37 Максимы Лича (Geoffrey Leech) 1. It should be possible to remove the annotation from an annotated corpus in order to revert to the raw corpus. 2. It should be possible to extract the annotations by themselves from the text.

Лекция 1 Корпусная лингвистика38 Пример разметки Дом на набережной Юрий Трифонов Файл из Библиотеки Мошкова

Лекция 1 Корпусная лингвистика39 Максимы Лича 3. The annoatation scheme should be based on guidelines which are available to the end user. 4. It should be made clear how and by whom the annotation was carried out.

Лекция 1 Корпусная лингвистика40 Максимы Лича 5. The end user should be made aware that the corpus annotation is not infallible, but simply a potentially useful tool. 6. Annotation schemes should be based as far as possible on widely agreed and theory-neutral principles.

Лекция 1 Корпусная лингвистика41 Максимы Лича: самое главное 7. No annotation scheme has the a priori right to be considered as a standard.