Алгоритм генерации тестов из функциональной спецификации с использованием модели Open IE и кластеризации

Автоматизированное тестовое покрытие на данный момент является широко распространенной практикой в долгосрочных проектах разработки программного обеспечения. Согласно подходу к разработке тестов, каждый автоматизированный тест должен повторно использовать функции, реализованные в тестовой среде. Представленное исследование направлено на совершенствование подхода к разработке тестовой среды с использованием методов обработки естественного языка. Алгоритм включает следующие этапы: подготовка тестовых сценариев; преобразование абзацев сценария в синтаксическое дерево с использованием предварительно обученной модели OpenIE; сравнение шагов тестирования с интерфейсами тестового фреймворка с использованием модели GloVe; преобразование заданного семантического дерева в код языка Kotlin. Статья содержит описание прототипа системы автоматической генерации языковых тестов Kotlin из спецификации на естественном языке.

1. N. Radziwill, G. Freeman Gr. Reframing the Test Pyramid for Digitally Transformed Organizations. Software Quality Professional, vol. 22, issue 4, 2020, pp. 18-25.

2. I. Karac and B. Turhan. What Do We (Really) Know about Test-Driven Development? IEEE Software, vol. 35 issue 4, 2018, pp. 81–85.

3. M.F. Fontoura. A systematic approach for framework development. PhD thesis, Pontifical Catholic University of Rio de Janeiro, 1999.

4. M. Irshad, R. Britto and K. Petersen. Adapting Behavior Driven Development (BDD) for large-scale software systems. Journal of Systems and Software, vol. 177, 2021, article no, 110944, 20 p.

5. W. Wasira. Existing Tools for Formal Verification and Formal Methods. 2020. DOI: 10.13140/RG.2.2.12162.22721.

6. A.D. Danilov and V.M. Mugatina. Verification and testing of complex software products based on neural network models. VSTU Bulletin, vol. 12, no. 6, 2016, pp. 62-67 (in Russian) / А.Д. Данилов, В.М. Мугатина. Верификация и тестирование сложных программных продуктов на основе нейросетевых моделей. Вестник Воронежского государственного технического университета, том 12, no. 6, 2016 г, стр. 62-67.

7. G. Angeli, M. Premkumar, C. Manning. Leveraging Linguistic Structure for Open Domain Information Extraction. In Proc. of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing, 2015, pp. 344–354.

8. L. Ma and Y. Zhang. Using Word2Vec to process big text data. 2015 IEEE International Conference on Big Data, 2015, pp. 2895-2897.

9. A.D. Kovalev, I.V. Nikiforov, P.D. Drobincev. Automated approach to semantic search through software documentation based on Doc2Vec algorithm. Information and control systems, no. 1, 2021, pp. 17-27 (in Russian) / А.Д. Ковалев, И.В. Никифоров, П.Д. Дробинцев. Автоматизированный подход к семантическому поиску по программной документации на основе алгоритма Doc2Vec. Информационно-управляющие системы, no. 1, 2021 г., pp. 17-27.

10. R.M. Garcia-Teruel, H. Simon-Moreno. The digital tokenization of property rights. A comparative perspective. Computer Law & Security Review, vol. 41, issue 2, 2021, pp. 1-16.

11. B. Vimala, E. Lloyd-Yemoh. Stemming and Lemmatization: A Comparison of Retrieval Performances. Lecture Notes on Software Engineering, vol. 2, no. 3, 2014, pp. 262-267.

12. S. Chotirat, P. Meesad. Part-of-Speech tagging enhancement to natural language processing for Thai wh-question classification with deep learning. Heliyon, vol. 7, issue 10, 2020, article no. e08216, 13 p.

13. R. Zmigrod, T. Vieira, R. Cotterell. On Finding the K-best Non-Projective Dependency Trees. In Proc. of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing, 2021, pp. 1324-1337.

14. G. Lecorve, P. Motlicek. Conversion of Recurrent Neural Network Language Models to Weighted Finite State Transducers for Automatic Speech Recognition. In Proc. of the 13th Annual Conference of the International Speech Communication Association, 2012, 4 p.

15. J. Pennington, R. Socher, C. Manning. Glove: Global Vectors for Word Representation. In Proc. of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), 2014, pp. 1532-1543.

16. I.N. Khasanah. Sentiment Classification Using Fast Text Embedding and Deep Learning Model. Procedia Computer Science, vol. 189, 2021, pp. 343-350.