Парсинг файла – автоматический сбор информации из него по заданным шаблонам. Позволяет получить необходимые данные за минимальное количество времени в удобном виде, и избавляет от рутинной работы. Конечно, речь идет только о тех случаях, когда невозможно просто перевести файл из одного формата в другой пересохранением или конвертацией.
Как работает парсинг файлов, что это такое?
Парсинг файла — задача нетривиальная. Связана она в основном с тем, что формат, который нам необходим на выходе никак не получается стандартными способами. Ну, например xml можно перевести в pdf простым пересохранением. А вот наоборот — чаще всего нет, алгоритмы конвертационных движков постоянно выдают ошибку. То есть парсинг чаще всего производится файлов, имеющих сложную структуру.
Работает парсер аналогично — по определенным якорям в коде вычленяют структуру и записывают уже в формате выходного файла.
Парсеры работают в формате самописного приложения, чаще всего на Delphi или c++, встречаются даже на Visual Basic. Так же функцию парсинга из файла имеют ведущие программы-парсеры, как Content Downloader или DataCol.
Алгоритм работы парсера
Собственно, такой же как и у веб-версий парсеров: вычленение нужной информации из комбинаций кода. Отличается в основном тем, что указывается не URL на страницу с html, а указание к файловой системе, откуда файл загружается для работы с ним.
Затем происходит такое же распознавание, и перезапись по нужному шаблону в нужный формат.
Собственно, так же работают и всевозможные конвертировщики онлайн.
Где использовать парсинг файлов
Парсинг файлов php pdf, xml и прочих типов используется широко. Наиболее популярные цели:
- Перекодировать документ
- Распознать документ
- Вычленить из него информацию в нужный формат.
- Дополнение данных после парсинга товаров для интернет-магазинов
ПО для парсинга
В основном можно выделить два топовых решения:
ContentDownloader — Нажимаем на добавление ссылок (такой плюс в панели инструментов), затем — добавить для парсинга файлы с локального диска — выбираем файл — добавляем файлы к списку парсинга. При предпросмотре, задании границ и старте парсинга файл будет загружаться каждый раз. Поэтому чтобы не допустить перегруз компа на несколько часов, не «кормите» его крупными файлами. Для предпросмотра если есть возможность, смонтируйте тестовый файл из пары повторяющихся фрагментов основного.
Datacol — примерна такая же история, на этапе создания кампании просто выбираете функцию загрузки файла, и далее с нужными настройками запускаете парсинг.
Обработка результатов парсинга
После осуществления тестового парсинга файлов нужно просмотреть финальные и сравнить во всех повторяющихся местах с исходником. Затем посмотреть, правильно ли ваш шаблон вывел данные. Если в целом шаблон работает хорошо, то можно приступать к итоговому парсингу, который может затянуться в случае огромных файлов. В целях ускорения можно поделить один огромный на несколько мелких при помощи bulk-программ.
Нам приходилось достаточно часто осуществлять парсинг файлов по типу pdf — каталоги производителей и заводов, а так же переводить YML файл в XML или CSV. Можем выполнить парсинг файла на заказ — но только после оценки возможности такого парсинга.