UNIX: регулярные выражения, POSIX/PCRE, GREP, SED. - презентация

1 UNIX: регулярные выражения, POSIX/PCRE, GREP, SED

2 Регулярные выражения Regular expressions (RegExp, RegEx): формальный язык поиска и осуществления манипуляций с подстроками в тексте ; использование метасимволов (wildcard characters); « шаблон » (« маска ») - задает правило поиска.

3 Концепция регулярных выражений Общая для множества программ и языков программирования : различные реализации отличаются в деталях, но принципы создания регулярных выражений везде одинаковы.

4 Базовые понятия Перечисление | - разделяет допустимы e варианты gray|grey Группировка () – определяет область действия и приоритет операторов gr(a|e)y

5 Базовые понятия ( продолжение ) Квантификация o {m, n} o {m,} o {, n} o ? {0, 1} o * {0, } o + {1, } go+gle соответствует gogle, google и т. д., но не ggle

6 Регулярные выражения в UNIX Синтаксис BRE (basic regular expressions) на данный момент определён POSIX как устаревший ; широко распространён из соображений обратной совместимости ; многие UNIX- утилиты используют такие регулярные выражения по умолчанию.

7 POSIX стандарт Набор символов. Точка - любой символ [ ] - квадратные скобки класс символов (" любое из ") [^ ] - негативный класс символов (" любое кроме ") - обозначение последовательности в классе символов ("[0-9]" -- цифры )

8 Квантификаторы и якоря в POSIX Квантификаторы : * " звёздочка " или знак умножения {0,} + плюс {1,} ? вопросительный знак {0,1} Якоря : ^ привязка к началу строки $ привязка к концу строки

9 Расширенные регулярные выражения К традиционному UNIX- синтаксису добавлены символы : + ? | Отменен обязательный символ \

10 PCRE стандарт Perl compatible regular expressions i регистронезависимый поиск m многостроковый режим. "$" совпадают с началом и концом отдельных строк. s символ "." ( точка ) совпадает и с переносом строки ( по умолчанию -- нет ) A привязка к началу текста E заставляет символ "$" совпадать только с концом текста. U Инвертирует " жадность " для каждого квантификатора ( если после квантификатора стоит "?", квантификатор перестает быть " жадным ").

11 Группы Круглые скобки используются для определения области действия и приоритета операций Группировка с обратной связью и без Атомарная группировка

12 Пример атомарной группировки ПримерСоответствиеСоздаваемые группы a(bc|b|x)ccabccaxcc a(?:bc|b|x)cc a(?>bc|b|x)ccabccaxcc но не abccaxcc: вариант x найден, остальные проигнорированы нет

13 RegExp в PHP Поддерживает 2 стандарта : POSIX и PCRE (version >=4. ???) POSIX - сервер Apache в mod_rewrite и MySQL в своих запросах PCRE - система perl.

14 RegExp в PHP Пример использования в PHP - if (ereg("[a-z]+|[A-Z]+|[0-9]+", $text))... ( либо только маленькие, либо только большие, либо цифры ) Дерево альтернатив ( возникающее в результате | - или) разделяется скобками Пример использования скобок – if (ereg(" ([a-z]+|[A-Z]+|[0- 9]+) ", $text))... (то же самое ищем внутри тега )

15 Subpatterns – вложенные шаблоны для сложных вариантов шаблонов для гибкой замены фрагментов текста или получения их в переменную. ereg_replace(" ]+)>[^ ", "\\0 [\\1]", $text); [^ ", "\\0 [\\1]", $text);">

16 Операторы регулярных выражений ОператорНазначение. ( точка ) Любой одиночный символ. ^ ( крышка ) Пустая последовательность, возникающая в начале строки. $ ( знак доллара ) Пустая последовательность, возникающая в конце строки. A Буква A в верхнем регистре. a Буква a в нижнем регистре. \d Одиночная цифра. \D Одиночный символ, не являющийся цифрой. \w Любой одиночный цифро - буквенный символ, этот оператор - синоним [:alnum:]. [A-E] Любая буква из A, B, C, D или E в верхнем регистре. [^A-E] Любой символ, кроме буквы из A, B, C, D или E в верхнем регистре.

17 Операторы регулярных выражений ( продолжение ) ОператорНазначение X? Одна или ни одной заглавной буквы X. X* Ноль или более заглавной буквы X. X+ Одна или более заглавная буква X. X{n} Точно n заглавных букв X. X{n,m} Не менее n и не более m заглавных букв X. Если опустить m, то оператор означает « как минимум n заглавных букв X». (abc|def)+ Не менее одной последовательности abc, def, abc и def будут считаться совпадением.

18 Классы и категории символов POSIX классПодобноОзначает [:upper:][A-Z] символы верхнего регистра [:lower:][a-z] символы нижнего регистра [:alpha:][A-Za-z] символы верхнего и нижнего регистра [:alnum:][A-Za-z0-9] цифры, символы верхнего и нижнего регистра [:digit:][0-9] Цифры [:xdigit:][0-9A-Fa-f] шестнадцатеричные цифры [:punct:][.,!?:…] знаки пунктуации [:blank:][ \t] пробел и TAB [:space:][ \t\n\r\f\v] символы пропуска [:cntrl:] символы управления [:graph:][^ \t\n\r\f\v] символы печати [:print:][^\t\n\r\f\v] символы печати и символы пропуск

19 « Жадные » выражения « Ленивые » выражения « Жадные » выражения « Ревнивые »( сверхжадные ) выражения ЖадныйЛенивыйРевнивый **?*+ ????+ ++?++ {n,}{n,}?{n,}+

20 Реализации NFA (Nondeterministic Finite State Machine; Недетерминированные Конечные Автоматы ) DFA (Deterministic Finite-state Automaton; Детерминированные Конечные Автоматы )

21 GREP утилита командной строки («search globally for lines matching the regular expression, and print them»); находит на вводе строки, отвечающие заданному регулярному выражению, и выводит их, если вывод не отменён специальным ключом ; изначально была создана для операционной системы UNIX;

22 Модификации GREP egrep ( с обработкой расширенных регулярных выражений ): grep –E fgrep ( трактующая символы $*[]^|()\ буквально ): grep -F rgrep ( с включённым рекурсивным поиском ): grep -r

23 Синтаксис GREP grep ' регулярное выражение ' ' файл grep -E '^(bat|Bat|cat|Cat)' heroes.txt grep -i -E '^(bat|cat)' heroes.txt cat ' файл ' | grep ' регулярное выражение cat heroes.txt | grep -E '^[bcBC]at

24 Примеры для GREP Маркирование grep --color t[a-z] midsummer Отображение совпадений grep –o [A-Za-z]+ midsummer Дизъюнкция или множества grep -E '^[bcBC]at' heroes.txt grep -E '^(bat|Bat|cat|Cat)' heroes.txt

25 Потоковый редактор sed sed [ -n ] [ -e script ] [ -f sfile ] [ files ] Команда редактирования : [ addr [, addr ] ] cmd [ args ]

26 Команды редактирования sed "[ addr [, addr ] ]" - номера строк, последняя строка ("$"), регулярные выражения : "\" используется в многострочных командах для экранирования продолжения строки. "." совпадает с любым символом. Если адреса не указаны - просматриваются все входные строки. Если один адрес, то выбираются совпадающие строки. Если заданы два адреса, выбираются строки в заданном интервале. "!cmd" выполняется команда "cmd", для строк, которые не были выбраны по адресам.

27 Команды редактирования sed (1)a\ text (2)b label (2)c\ text (2)d (1)i\ text (2)p (1)q (2)r rfile (2)y/str1/str2/

28 Пример использования sed who | sed '2a\ новая строка '

29 Результат команды root tty1 Mar 13 17:23 mas tty2 Mar 13 18:50 новая строка sae tty6 Mar 13 17:24 sae tty5 Mar 13 17:24

30 Пример 1. Слово с дефисами

31 Пример 2. Username

32 Пример 3. Пароль

33 Пример 4. XML tag

34 Пример 5.

35 Пример 6. URL

36 Пример 6. IP адрес

37 Важные замечания [xyz]* Выражение \( блок \)* Чтобы добавить символ ^ в набор, его следует поместить туда не первым Чтобы добавить символ - в набор, его следует поместить туда первым или последним. Например : шаблон DNS- имени : [-0-9a-zA-Z.] любой символ, кроме минуса и цифры : [^-0-9] Чтобы добавить символ [ или ] в набор : ][ab] соответствует ], [, a или b reg_exp