004.032.26

В последнее время в искусственном интеллекте набирают популярность направления, основанные на биологических принципах. Можно спрогнозировать, что вскоре более продвинутые модели искусственного интеллекта получат широкое распространение. В данном контексте статья посвящена исследованию особенностей глубокого обучения искусственных нейронных сетей. Цель статьи заключается в рассмотрении с методологической и практической точек зрения алгоритмов и подходов к глубинному обучению нейронных сетей. В ходе исследования использовались методы классификации, инициализации весов нейронной сети, методы регуляризации и оптимизации, методы и алгоритмы обучения нейронных сетей. В статье предложен комбинированный метод глубинного обучения, основанный на алгоритме роя частиц и генетическом алгоритме, его применение позволяет сформировать оптимальную с точки зрения точности, скорости обучения и работы искусственную нейронную сеть.

Neural networks are an effective tool for solving a wide range of applications. However, using them is usually about addressing issues specific to a particular application. Algorithms and rules for learning neural networks are usually situational in nature - they are designed to solve certain (or a group of related) tasks. So it is important to understand the principles and features of their work, which will allow a professional approach to the choice of ready learning algorithms or creation of new ones. The article proposes a combined deep learning algorithm based on the particle swarm algorithm and genetic algorithm; its application makes it possible to form an artificial neural network optimal in terms of accuracy, speed of learning and speed of operation.

кандидат физико-математических наук, доцент, Северный (Арктический) федеральный университет имени М.В. Ломоносова

аспирант, Руководитель международного проекта по развитию ИИ, Негосударственное образовательное учреждение высшего профессионального образования «Институт управления», Инженерная компания ООО «Эксперт-Центр»

Deep learning for natural language processing: creating neural networks with Python. PalashGoyal, SumitPandey, Karan Jain. Berkeley, CA: Apress, 2018. 290 р.

Waisman, Ariel et al. Deep Learning Neural Networks Highly Predict Very Early Onset of Pluripotent Stem Cell Differentiation. Stem cell reports. 2019. Number 4. Pp. 845-859.

Tham K.Y. et al. Development of a Bi-level Web Connected Home Access System using Multi-Deep Learning Neural Networks. Lecture notes in electrical engineering. 2019. Volume 603. Pp. 227-236.

Shi Jing et al. Concept learning through deep reinforcement learning with memory-augmented neural networks. Neural networks. 2019. Volume 110. Pp. 47-54.

Advanced applied deep learning: convolutional neural networks and object detection. UmbDeep learning neural networks: design and case studies. Daniel Graupe. New Jersey: World Scientific. 2016. 263 р.

Advanced applied deep learning: convolutional neural networks and object detection. Umberto Michelucci. New York: Apress. 2019. 298 р.

Турчак А.А., Нечаев Ю.И. Эволюционная динамика нейронной сети глубокого обучения в нестационарной среде. Международная конференция по мягким вычислениям и измерениям. 2019. Т. 1. С. 185-188.

Kozma Robert, Ilin Roman, Siegelmann Hava T. Evolution of Abstraction Across Layers in Deep Learning Neural Networks. Procedia computer science. 2018. Vol. 144. Pp. 203-213.

Tsygvintsev Alexei. On the overfly algorithm in deep learning of neural networks. Applied mathematics and computation. 2019. Volume 349. Pp. 348-358.

Korjani M.M. et al. Reservoir Characterization Using Fuzzy Kriging and Deep Learning Neural Networks. SPE annual technical conference and exhibition. 2016. Vol. 7. Pp. 5127-5141.

Deep learning and convolutional neural networks for medical imaging and clinical informatics. Le Lu, Xiaosong Wang, Gustavo Carneiro, Lin Yang, editors. Cham, Switzerland: Springer. 2019. 461 р.

Oliveira Tiago Prado, Barbar Jamil Salem, Soares Alexsandro Santos. Computer network traffic prediction: a comparison between traditional and deep learning neural networks. International journal of big data intelligence. 2016. Vol. 3. Pp. 28-37.

Басс Л.П., Кузьмина М.Г., Николаева О.В. Сверточные нейронные сети c глубоким обучением в задачах обработки гиперспектральных спутниковых данных // Препринты ИПМ им. М.В.Келдыша. 2018. №282. С. 1-32.

Христофоров Р.П., Романова Н.А., Домрачева Т.С., Гусев И.В. Глубокое обучение искусственного интеллекта // Студент. Аспирант. Исследователь. 2018. №12(42). С. 705-708.

Остроух А.В., Листов Н.О., Баринов К.А. Исследование адаптивной системы обучения искусственных нейронных сетей на облачной платформе // Промышленные АСУ и контроллеры. 2019. №1. С. 23-35.