Текст — эффективный способ передачи информации. Использование технологии OCR для извлечения текстовой информации — первый шаг в переходе различных отраслей к цифровому интеллекту. В то же время для массивной текстовой информации, извлекаемой с помощью OCR, ценность текстовой информации может быть максимизирована после дальнейшей обработки, извлечения, анализа и понимания с использованием технологии НЛП. Технология NLP может повысить точность оптического распознавания символов, извлечь ключевую информацию из текста, построить карту знаний и создать системы поиска, рекомендаций и ответов на вопросы.
Хотя модернизация интеллектуальных производств в различных отраслях промышленности идет полным ходом, в практическом применении встречается множество трудностей, таких как недостаточные выборки данных, низкая точность модели, большая задержка прогнозирования. С этой целью Baidu Flying Paddle предоставляет учебные пособия для всего процесса, от подготовки данных, оптимизации обучения модели до развертывания модели для реальных и высокочастотных промышленных сценариев.
Я слышал, что документация и код в открытом доступе, давай⬇️
Сложности технологии конкатенации OCR+NLP
На рынке есть много продуктов OCR и NLP с открытым исходным кодом, но если вы хотите использовать эти инструменты напрямую, вы столкнетесь с такими проблемами, как несогласованная базовая структура, высокая сложность подключения и невозможность гарантировать эффект. PaddleOCR и PaddleNLP — это отраслевые библиотеки разработки, основанные на последней версии платформы Paddle с открытым исходным кодом, которая может легко сочетать технологии OCR и NLP.
Сегодня мы рассмотрим применение технологии извлечения информации OCR + NLP для отчетов об исследованиях финансовой отрасли и логистических экспресс-заказов.
Анализ отчета о финансовых исследованиях OCR+NLP
В настоящее время многие инвестиционные институты дают свои суждения об акциях, фондах и отраслях в форме исследовательских отчетов, чтобы общественность могла узнать о горячих тенденциях, ведущих компаниях и другую информацию. Однако анализ и изучение отчетов об исследованиях часто занимает много времени, и увеличение количества отчетов об исследованиях также приводит к тому, что спрос на интеллектуальный анализ отчетов об исследованиях продолжает расти. Здесь мы используем технологию распознавания именованных сущностей для автоматического извлечения ключевой информации из исследовательского отчета. Например, «Банк Китая был основан в 1912 году».
▲ Конвейер OCR+NLP
Общий процесс распознавания именованных сущностей и статистики частотности слов для исследовательских данных показан на рисунке выше. Сначала данные pdf отчета об исследовании разбиваются на форматы изображений с помощью пакета fitz, а затем пакет PaddleOCR используется для точной настройки модели обнаружения PP-OCR[1] в наборе данных отчета об исследовании и существующей модели распознавания. используется для получения текстовой информации. PP-OCR — это серия звездообразных моделей, разработанная Baidu в PaddleOCR и состоящая из обнаружения текста, классификатора направления текста и модуля распознавания текста.
▲Конвейер PP-OCR
После сортировки текста, распознанного OCR, вызовите API потока задач в PaddleNLP, чтобы извлечь организационную сущность в текстовой информации. Наконец, статистика частоты слов этих сущностей может быть использована для предварительного определения популярных организаций текущего анализа исследовательского отчета.
▲ Схематическая диаграмма использования Taskflow
В настоящее время API Taskflow поддерживает восемь задач в двух сценариях: понимание естественного языка (NLU) и генерация (NLG), включая сегментацию китайских слов, тегирование частей речи, распознавание именованных сущностей, синтаксический анализ, исправление текстовых ошибок, анализ тональности и т. д. Генеративный ответ на вопрос и интеллектуальное написание Стихи могут быть вызваны одним щелчком мыши.
Извлечение информации о логистическом экспресс-заказе
Приближается Double Eleven, предположительно многие приготовили полную корзину. В прошлом году объем транзакций Double 11 составил 498,2 млрд юаней, а компании экспресс-доставки по всей стране обработали 3,9 млрд экспресс-посылок.За этим стоит внезапный рост нагрузки на логистическую отрасль. Помимо полностью загруженной скоростной автомагистрали Чаншен, есть еще и курьеры. Будь то бизнес-резюме предприятия или заполнение почтовой информации, интеллектуальное извлечение ключевой информации незаменимо, в котором используется технология распознавания именованных объектов.
Обычно существует три схемы распознавания именованных объектов: сопоставление строк, статистическая языковая модель и аннотация последовательности. Первые два метода требуют предварительно созданных словарей, исчерпывают все объекты и не позволяют обнаружить новые слова, варианты и т. д. В этом случае используется текущая основная маркировка последовательностей методов.
Набор данных включает 1600 обучающих наборов, 200 обучающих наборов и 200 тестовых наборов, которые помечены системой BIO.
▲ Пример определения объекта и аннотации набора данных
Для легких и высокоточных требований можно выбрать решение RNN+CRF. Предварительно обучающие модели также можно использовать для удовлетворения требований к точности и производительности за счет сжатия модели, динамического вращения, статического ускорения и т. д. Наилучших результатов мы достигли с Ernie-Gram[2] + CRF.
Кроме того, технология распознавания именованных объектов может применяться для извлечения различной ключевой информации, такой как названия товаров в обзорах электронной коммерции, информация заголовка в электронных счетах-фактурах, суммы в справках о доходах и места преступления в юридических документах. В сочетании с технологиями извлечения отношений и извлечения событий также могут быть построены графы знаний и системы ответов на вопросы.
Сообщество разработчиков искусственного интеллекта Baiduai.baidu.com/forum, чтобы предоставить разработчикам по всей стране платформу для общения, обмена информацией и ответов на вопросы, чтобы разработчики больше не «работали в одиночку» на пути исследований и разработок и находили лучшие технические решения посредством постоянного обмена мнениями и дискуссий. Если вы хотите попробовать различные технологии искусственного интеллекта и разработать сценарии приложений, как можно скорее присоединяйтесь к AI-сообществу Baidu.Все ваши мечты об искусственном интеллекте могут быть реализованы здесь!
Отсканируйте QR-код ниже и добавьте маленького помощника WeChat «Карта Jingdong, пользовательские периферийные устройства Xiaodu, загадочная подарочная коробка, багаж» и другие преимущества, которые вы можете получить ~