Альтернатива MIME::Parser и Email::Simple

Автор: Topol Суббота, Август 11th, 2012 Нет комментариев

Рубрика: Perl

MIME переделки

Задумывался кто-нибудь когда-нибудь о том, зачем в MIME придумали сложные структуры данных ?

—a

—b

—b—

—c

—c—

—a

—a—

(это чтобы вы имели представление о чем я говорю)

В одном из FAQ валяется такая мысль, что мол кантора Netscape сильно усложнила жизнь, когда сделала возможным внедрение в письма этого стандарта MIME, т.е. много частей в одном.

На самом деле проблемма не сильно изменилась с тех времен, и сейчас я еще не встречал концептуально правильных программ подходящщих к разбору структуры писем, а значит все программы предоставляют КОРЯВЫЙ интерфейс к сложным письмам.

А ведь непростые структуры появляются всего лишь на этапе, когда мы к письму прикрепим атач.

А среднестатическое сложное письмо — это две части текст и html. Если к ним прибавить аттач, то задача разбора станет уже необычной.

Как подходит к делу MIME::Parser ?

В документации упомянуто, что это средство способно работать с любыми сложными структурами, однако единоразовый разбор письма почему-то парсит только первый уровень письма (на нашем примере в результате мы получим parts —a, при этом первая часть —a будет содержать нераспарсенные части —c и —b.

Получается что нам нужно самому выяснять нужно ли парсить дальше.

Меня как разработчика правильно-концептуального ядра и как в дальнейшем прикладного программиста использующего данное ядро — такой расклад никак не устраивает.

Я хочу чтобы я просто вызвал функцию и чтобы я получил список содержимого письма в виде объекта или в виде сложной структуры или чего-то еще, неважно чего но откуда можно достать любые данные письма, не обращаясь рекурсивно каждый раз к ядру как только обнаружу очередную нераспарсенную часть.

Модуль Email::Simple подошел к проблемме абсолютно аналогично, вот и собственно все самые известные обработчики MIME. Email::Simple правда имеет те приемущества, что код парсера принципиально минимален, в сравнении с коровьей лепешкой MIME::Parser. Однако Первый не решил проблемму рекурсивного вызова, и единой структуры для всех частей письма.

Можно сказать — ну и правильно, нам это и не надо, ведь письма приходят в более менее оговоренных стандартах, а значит атачи можно легко вытащить зная заранее структуру и обращаясь сразу к нужным частям.

Глубокий маразм — скажу я вам. Раз уж ввели универсальный стандарт, так и нужная правильна универсальная обработка.

Сам я подумал что надо бы самому накидать какой-нибудь простецкий модуль, который бы скаляр в структуру разводил без понтов лишних. А как ?

В голову пришел красивый алгоритм, красивая структура.

И я уже было начал писать, как вдруг напоролся на проблемму:

Нужно создавать сложную структуру сопоставимую со структурой письма.

Объектную модель Perl я не стал использовать потому что незнаю ее.

А все должно было быть завязано на сложных структурах.

К тому же слава богу сам я уже не раз писал переборщики сложных структур, поэтому впринципе это не проблемма, но все таки код перебора структуры — дело небыстрое, нужно что-то более красивое.

И опять же концептуально правильное.

И после часа мучительных размышлений в голову пришла прекрасная мысль о том, что ведь по сути не так важна структура писем, как простой доступ к содержимому. Решение всплыло само собой.. вся структура письма должна раскрываться в линейную структуру, доступ к каждой части письма возможен через простой цикл, без использования рекурсии. А Если возникнет необходимость в анализе все-таки самой структуры, то тут можно прибегнуть к анализу последовательностей частей.

Эта идея была положена в основу универсального парсера MIME, который входит в сосотав ret WebOS, и является принципиально свободным от модулей данного проекта, как и все сотальные модули данного проекта независимы.

В совокупности с остальными модулями проект теперь принял еще одно направление парсинг MIME.

Ну и плюсом является то что в результате работы функции обработки письма создается одна сложная линейная структура, которая в дальнейшем может быть полностью вся созранена как одна запись в базу данных СУБД ret WebOS, которая ставит под собой один из важнейших и важных задач: хранение сложных структур (структура любой сложности может быть записана как одна единственная запись в блоговой модели ret баз.

Становиться смешно, когда посмотрев на модуль MIME::Parser затем смотришь на следующий кусок кода, который я написал в несколько присядов:

sub ParseEmail { ($msg)=@_; $#main_structure=-1; $main_structure[0]=''; push @stack,$msg; # start stack working while (scalar @stack>0) { $msg_process=pop @stack; $msg_process =~ /(.*?($crlf))\2(.*)/sm; $head=$1; $body=$3; for (split /$crlf/, $head) { if (/^([^:]+):\s*(.*)/) { $pos=$#main_structure; $main_structure[$pos]{$1}=$2; } } # found boundary Easiest way to get boundary in fucked MIME $head =~ /\s*boundary="?([^\s"]+)"?/sm; $boundary=$1; # has we a boundary ? if (length $boundary>4 and length $boundary<40) { # separate body to parts to stack $tempo=-1; @tempo=split (/--$boundary/, $body); my $o=$#tempo; for (my $i=1;$i<$o;$i++) { push @stack,$tempo[$i]; } } else { # save bady to massive $pos++; $main_structure[$pos]=$body; } } }

Данный кусок парсит MIME, который ему передается в строке.

Причем из письма любой сложности получается сложная линейная структура, которую можно всю перебрать в цикле!

Воощем все как написано выше.

Чего тут нету ?

Тут нет перекодировок, а для этого существуют готовые решения.

Возникла какая-то проблемма с парсингом сложных параметров таких как

Content-Type. Поэтому для параметров заголовка действует один единственный алгоритм.

Заголовок: Текст

Где текст может содержать несколько параметров.

Я тут этого не учитывал (не считая boundary)

Вообще история с boundary оочень странная и я никак не пойму этот стандарт MIME, зачем было разрешать вообще boundary писать как часть заголовка Content-Type, а если уж на то пошло, то зачем было разрешать перед boundary указывать символ crlf. Получается что все заголовки как заголовки начинаются исключительно с новой строки, а тут не заголовок, а кусок от предидущего заголовка вдруг начался с новой строки, вот и догадывайся где тут начало boundary а где начало заголовка. Мало того Провел небольшой анализ писем.. и действительно используются совершенно безбашенные врианты записи boundary то в одной строке то в двух, то в кавычках то без, а уж какие символы использованы для указания boundary — и вообще не стоит и писать.

Благо пробелов не видел.

Поэтому способ который приведен тут расчитан на то что в заголовке будет один единственный указатель на boundary, поэтому соблюдение различных правил для нас является перебором.Для специалистов тут уже действительно нужно взять RFC и просто написать именно по нему. Мой же вариант будет работать в большинстве случаев. А если что-то не так, то можно легко что-то изменить, ведь код помещается на один листок формата А4 в читабельном виде. Изучайте — нехочу.

Можно сказать что это один из самых маленьких вариантов парсинга mIME с учетом сложных структур и созданием таковых.

На сим завершаю лирику.

Пришла пора декодировать тело и заголовки и все остальное.

Источник:  internet-technologies.ru

Оставить комментарий

Чтобы оставлять комментарии Вы должны быть авторизованы.

Похожие посты