Информационные системы аналитической поддержки управления на основе многоязычной текстовой и речевой аналитики

Цель. Разработать и обосновать воспроизводимую рамку построения информационных систем аналитической поддержки управления, интегрирующих многоязычную текстовую аналитику и технологии обработки речевых сигналов, с акцентом на их экономическую и управленческую ценность.

Задачи. Определить роль текстовых и речевых коммуникаций как источника ранних управленческих сигналов; рассмотреть архитектуру объединения распознавания речи и текстовой аналитики в едином контуре принятия решений; охарактеризовать систему метрик для оценки технического качества моделей и качества управленческих решений; показать эффект мультимодальной интеграции, а также сформулировать требования к устойчивости, интерпретируемости и мониторингу дрейфа.

Методология. Исследование сочетает в себе анализ открытых данных и опубликованных ориентиров качества для речевых и текстовых моделей с воспроизводимым синтетическим мультимодальным экспериментом. В эксперименте использованы прокси-признаки (эмбеддинги речи и текста), моделирующие управленческий сценарий риск-классификации. Авторы сравнивают различные стратегии интеграции модальностей (раздельную и объединенную обработку) по метрикам AUC и F1. Оценка проведена с учетом сегментации по языкам и каналам коммуникации.

Результаты. Согласно авторской позиции, интеграция речевой и текстовой модальностей способна повышать качество управленческих решений, по сравнению с использованием одной модальности, если каждая из них несет комплементарную информацию. Выявлены реалистичные ориентиры технического качества распознавания речи, подтверждена практическая применимость открытых ресурсов для построения воспроизводимых прототипов управленческих систем.

Выводы. Экономическая эффективность интеграции многоязычного NLP и ASR определена не только точностью распознавания, но и вкладом системы в снижение управленческих рисков, ускорение реакции и повышение прозрачности процессов. Для устойчивого внедрения необходимы стратифицированная оценка качества, мониторинг изменений данных во времени и встроенные механизмы интерпретации результатов.

1. Салютина Т. Ю., Гумеров М. Ф., Каберова А. Р., Платунина Г. П. Принятие решений в управлении ценовой политикой на рынке речевой аналитики // BENEFICIUM. 2023. № 2. С. 20–27. https://doi.org/10.34680/BENEFICIUM.2023.2(47).20-27

2. Graves A., Fernández S., Gomez F., Schmidhuber J. Connectionist temporal classification: Labelling unsegmented sequence data with recurrent neural networks // Proc. of the 23rd Int. conf. on machine learning (ICML 2006) / ed. by W. Cohen, A. Moore. New York: ACM, 2006. P. 369–376. https://doi.org/10.1145/1143844.1143891

3. Baevski A., Zhou Y., Mohamed A., Auli M. Wav2Vec 2.0: A framework for self-supervised learning of speech representations // Proc. 34th Int. conf. on neural information processing systems (NIPS’20). New York, NY: ACM, 2020. P. 12449–12460. (Advances in neural information processing systems (NeurIPS 2020). Vol. 33). https://doi.org/10.48550/arXiv.2006.11477

4. Conneau A., Khandelwal K., Goyal N. et al. Unsupervised cross-lingual representation learning at scale // Proc. of the 58th Annu. meet. Association for Computational Linguistics (ACL 2020). Kerrville, TX: Association for Computational Linguistics, 2020. P. 8440–8451. https://doi.org/10.18653/v1/2020.acl-main.747

5. Devlin J., Chang M.-W., Lee K., Toutanova K. BERT: Pre-training of deep bidirectional transformers for language understanding // Proc. of the 2019 Conf. of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT 2019). Kerrville, TX: Association for Computational Linguistics, 2019. Vol. 1. P. 4171–4186. https://doi.org/10.18653/v1/N19-1423

6. Xue L., Constant N., Roberts A. et al. mT5: A massively multilingual pre-trained text-totext transformer // Proc. of the 2021 Conf. of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT 2021). Minneapolis, MN Association for Computational Linguistics (ACL 2020). Kerrville, TX: Association for Computational Linguistics, 2021. P. 483–498. https://doi.org/10.18653/v1/2021.naacl-main.41

7. Kudo T., Richardson J. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing // Proc. of the 2018 Conf. on empirical methods in natural language processing (EMNLP). Kerrville, TX: Association for Computational Linguistics, 2018. P. 66–71. https://doi.org/10.18653/v1/D18-2012

8. Korobov M. Morphological analyzer and generator for Russian and Ukrainian languages // Analysis of images, social networks and texts (AIST 2015) /eds. M. Khachay, N. Konstantinova, A. Panchenko, D. Ignatov, V. Labunets. Cham: Springer, 2015. P. 320–332. (Communications in computer and information science. Vol. 542). https://doi.org/10.1007/978-3-319-26123-2_31

9. Papineni K., Roukos S., Ward T., Zhu W.-J. BLEU: A method for automatic evaluation of machine translation // Proc. of the 40th Annu. meet. Association for Computational Linguistics (ACL 2002). Kerrville, TX: Association for Computational Linguistics, 2002. P. 311–318. https://doi.org/10.3115/1073083.1073135

10. Ardila R., Branson M., Davis K. et al. Common voice: A massively-multilingual speech corpus // Proc. of the 12th Language resources and evaluation conf. (LREC 2020). Paris: European Language Resources Association (ELRA), 2020. P. 4218–4222. https://doi.org/10.48550/arXiv.1912.06670

11. Karpov N., Denisenko A., Minkin F. Golos: Russian dataset for speech research // Proc. of Interspeech 2021. Brno: International Speech Communication Association (ISCA), 2021. P. 1419–1423. https://doi.org/10.21437/Interspeech.2021-462

12. Савчук С. О., Архангельский Т. А., Бонч-Осмоловская А. А. и др. Национальный корпус русского языка 2.0: новые возможности и перспективы развития // Вопросы языкознания. 2024. № 2. С. 7–34. https://doi.org/10.31857/0373-658X.2024.2.7-34

13. Ao J., Wang R., Li P. et al. SpeechT5: Unified-modal encoder-decoder pre-training for spoken language processing // Proc. of the 60th Annu. meet. Association for Computational Linguistics (ACL 2022). Kerrville, TX: Association for Computational Linguistics, 2022. P. 5723–5738. https://doi.org/10.18653/v1/2022.acl-long.393

14. Barrault L., Chung Y.-A., Chiu C.-C. et al. SeamlessM4T — massively multilingual and multimodal machine translation // Proc. of the 61st Annu. meet. Association for Computational Linguistics (ACL 2023). Kerrville, TX: Association for Computational Linguistics, 2023. P. 15082–15096. https://doi.org/10.18653/v1/2023.acl-long.831

15. Lin C.-Y. ROUGE: A package for automatic evaluation of summaries // Text summarization branches out: Proc. of the ACL-04 Workshop. Kerrville, TX: Association for Computational Linguistics, 2004. P. 74–81. URL: https://aclanthology.org/W04-1013.pdf (дата обращения: 24.02.2026).

16. Lau M., Chen Q., Fang Y. et al. Data quality issues in multilingual speech datasets: The need for sociolinguistic awareness and proactive language planning // Proc. of the 63rd Annu. meet. Association for Computational Linguistics (ACL). Kerrville, TX: Association for Computational Linguistics. 2025. Vol. 1. P. 7466–7492. https://doi.org/10.18653/v1/2025.acl-long.370

17. Tabassi E. Artificial intelligence risk management framework (AI RMF 1.0) // National Institute of Standards and Technology (NIST). January 26. 2023. https://doi.org/10.6028/NIST.AI.100-1

18. Radford A., Kim J. W., Xu T. et al. Robust speech recognition via large-scale weak supervision // Proc. of the 40th Int. conf. on machine learning (ICML 2023). (Honolulu, HI, July 23–29, 2023). Cambridge, MA: MLResearchPress, 2023. P. 28492–28518. URL: https://proceedings.mlr.press/v202/radford23a.html (дата обращения: 26.02.2026).