Представлен бенчмарк CMNIE для извлечения информации из китайских военных новостей

В опубликованном на платформе arXiv препринте исследователи представили CMNIE — новый бенчмарк для структурированного извлечения информации из китайских военных новостей. Датасет призван расширить возможности совместного анализа событий, их аргументов, сущностей и связей в специализированных текстах.

Набор данных включает 13 000 примеров, собранных из открытых источников китайских военных новостей. Разметка выполнена вручную по единой схеме и содержит 7 типов событий, 10 ролей аргументов, 7 типов сущностей и 8 типов связей.

В ходе тестирования исследователи оценили качество работы контролируемых моделей, zero-shot больших языковых моделей (LLM) и дообученных систем. Эксперименты показали, что zero-shot LLM успешно находят общие семантические единицы, но испытывают трудности с точным определением границ текстовых спанов и извлечением связей.