массив регексов вместо парсеров-комбинаторов

[juan_gandhi]

Когда-то у меня был коллега Дивьеш, и он пытался решить задачу парсинга HTML путем применения массива регексов, типа в цикле. Если вы знакомы с иерархией языков, то в курсе, что как ты ни соединяй регексы, а кс-грамматика не получится.

Год я уламывал Дивьеша изучить парсеры-комбинаторы, и наконец он изучил, у него случились просветление и епифания, и с тех пор он всем стал втюхивать парсеры с комбинаторами.

Сегодня смотрю на код на работе, батюшки, массив регексов. Для парсинга документов. А, знакомая картина!!! Автора зовут Нараян, он уже у нас не работает. Образование - пиэчди по компьютерным наукам из University of Texas at Austin. 

Я однажды интервьюировал в Гугле кандидатку оттуда. У нее пиэчди по компьютерным наукам, и я не стал ее спрашивать, может ли она написать регекс для проверки скобок в выражениях, но у нее было "implemented binary search on the internet", и я ее спросил, как это (делит интернет пополам, как физики при ловле льва в пустыне?). Оказывается, она искала в интернете двоичные файлы.

Вот такая херня, коллеги.

Comments

[dijifi]

Честно признаюсь — сам парсил андроилские логи массивом регексов на Питоне. Для прикола программа была одним массивным выражением, так что вопрос о подсчете пробелов не стоял.
Но логи это не язык.

[juan_gandhi]

Логи разве не на регулярном языке пишутся?

[chaource]

PhD is today's high school diploma.

[sassa_nf]

I would have an array of parsers instead :)

Fast and efficient for conformant HTML, slow and perfect for those that failed the fast and efficient.

[juan_gandhi]

What would you do with <div> inside <div>?

[euthanasepam]

Ужасы какие!

[mikerrr]

И я парсил почтовые сообщения, путем составления массива регэкспов.
Мне надо было из почты доставать одно единственное слово, а форматов сообщений (автоматических) было несколько. Ну для каждого формата получался свой регэксп. А как надо было? Где почитать?

[juan_gandhi]

Все зависит от сложности языка.

[http://users.livejournal.com/sorcerer-/]

Парсил "логи" не просто массивом регексов, а они туда добавлялись сами с помощью "ML". И все это в 2007 году. Внутри базы данных. Других вариантов не было.

[soid]

Зачем парсить HTML самому когда есть готовые решения? Или он написал универсальный HTML парсер на основе регулярных выражений?

[juan_gandhi]

Готовые решения не годятся для malformed HTML. В нашем случае полезная информация вполне могла сидеть в meta. Кроме того, у нас парсер был специализированный. Нам нужна была сущность, а не форма. Например, таблицу можно разными способами нарисовать. А нам нужно было понять, что это таблица и превратить в плоские проперти. Ну и т.д.

Короче, готовых решений нестандартных задач не существует.

[sab123]

Перловые регекспы позволяют парсить парные скобки. Они, конечно, не настоящие регекспы, а только записываются подобным образом, и на самом деле содержат внутри стек.

[juan_gandhi]

Вот это правильный ответ. Было дело.

[sobriquet9]

А как искать в интернете двоичные файлы? Что именно про них записывать в индекс?

[tiresome_cat]

Хеш?

[gxachaturov]

это не моя область, но дурацкий вопрос имею.

В реальной практике, подобная нужда это стрельба по площадям? В смысле, если выловишь 95% правильно, а 5% пропустишь , то ты уже молодец, потому как коммерческую задачу выполнил (хрен с ним с Чернобылем).

Или кто-то знает приложения, где обязательно надо 100%?

[juan_gandhi]

Ну как, жаловаться же будут пациенты.

[ccpro]

года 3 назад, когда я ещё интервьюировал кандидатов, то зачитывался их резюмами - worked in world largest/wealthiest/(добавить по вкусу) company

а тут поиск в интернете. таких сразу в гугль надо

[bytebuster]

пытался решить задачу парсинга HTML путем применения массива регексов

— You can't parse [X]HTML with regex. ©

[juan_gandhi]

Это одно из самых знаменитых и выдающихся изречений на интернетах.

nz

[nz]

Некоторые на регексах даже синтаксический анализ пытаются соорудить. Ну или хотя бы подсветку синтаксиса.

она искала в интернете двоичные файлы

Всегда интересно, что люди подразумевают под двоичными файлами и по каким критериям их определяют.

Re: nz

[juan_gandhi]

Но издеваться по телефону над черной женщиной с пиэчди было бы неэтично.

[zhiva]

> парсинга HTML путем применения массива регексов

Сразу вспомнилось https://stackoverflow.com/a/1732454 :)

комбинаторы говоришь...

[a_jelly]

А к PEG как относитесь?

Re: комбинаторы говоришь...

[juan_gandhi]

А что это такое?

[dmitriyandreev]

"регекс для проверки скобок в выражениях"

[juan_gandhi]

Вот оно, да.

[ok-its-the-last.livejournal.com]

Зачем вообще для этого писать что-то свое? В любом мейнстримном языке есть парсер с XSLT, CSS и потоковым (on_tag_open/on_tag_close) API.

[juan_gandhi]

Можно спросить, зачем вообще парсить, что мы хотим извлечь, и чего добиться. Я б начинал вопросы с этого.

В принципе, последовательность байтов и так уже хороша, чо там парсить.

Но если хочется выбрать из документа данные, хорошо организованные в таблицу пропертей, (а не в XML-дерево с неведомыми тегами типа <p>, <div> и прочее, то, наверно, CSS тут вообще не пристегни, а?

И тем более если речь идет о PDF.