Сравнительный анализ архитектур нейронных сетей в задачах классификации и регрессии
Зарегистрируйся в два клика и получи неограниченный доступ к материалам,а также
промокод
на новый заказ в Автор24. Это бесплатно.
Введение
Начиная с первых работ Румельхарта и Макклелланда , различные модели искусственных нейронных сетей успешно применялись для решения многих задач, включая идентификацию динамических систем, классификацию образов, адаптивное управление и аппроксимация функций. Среди этих моделей искусственных нейронных сетей многослойный персептрон и сверточные нейронные сети, безусловно, являются самыми популярными архитектурами из-за своей структурной гибкости, хороших репрезентативных возможностей и доступности большого количества обучающих алгоритмов . Эти модели могут быть использованы для задач классификации и регрессии. Целью классификации является отображение данных в заранее определенные группы или классы. Основное предназначение регрессии состоит в том, чтобы отобразить элементы данных в вещественные прогностические переменные . Иными словами, в задаче классификации алгоритм пытается предсказать отклик для неизученных данных на основе данных обучения, и множество возможных ответов, таким образом, является конечным. В задаче регрессии выход, который пытается предсказать алгоритм, является непрерывным, то есть ответы являются действительными числами или векторами действительных чисел. Как для классификации, так и для регрессии должен быть решен один и тот же вопрос: сколько узлов следует использовать на каждом уровне? Несмотря на обилие литературы по нейронным сетям, определение оптимальной архитектуры остается сложной задачей. Если она слишком проста, сеть не сможет обучаться на данных должным образом, тогда как, если структура слишком сложна, обучение сети приводит к хорошо известной проблеме переобучения. Чтобы избежать переобучения, можно применить раннюю остановку , надежный критерий минимизации , подходы к регуляризации или определить оптимальную структуру сети. Последний метод позволяет получить более простую и меньшую модель. Таким образом, выбор архитектуры сети при разработке является актуальной задачей . Объектом исследования данной работы являются методики выбора и проектирования оптимальной архитектуры нейронной сети применительно к задачам классификации и регрессии, предмет обозначен структурой самого исследования – в его качестве выступает изучение и использование высокопроизводительных архитектур нейронных сетей в реальных задачах. В роли таких архитектур в работе рассмотрены сверточные нейронные сети, глубокая (многослойная) структура которых способна существенно увеличить эффективность и качество решения сложных задач. Изучение и сравнение архитектур сверточных нейронных сетей составляет цель данной работы. Для достижения поставленной цели были сформулированы следующие задачи: Получить представление об основных понятиях искусственных нейронных сетей; Изучить принципы строения и работы сверточных нейронных сетей; Рассмотреть и проанализировать применение различных архитектур сверточных нейронных сетей к некоторым реальным задачам
Слой нормализации
Нормализация отклика помогает замедлить скорость обучения параметров сети . Слой локальной нормализации приносит пользу при использовании нейронов с функцией активации ReLU – локальная окрестность возбужденного нейрона становится более чувствительной...
Открыть главуСравнительный анализ архитектур сверточных нейронных сетей в задаче регрессии
В этом разделе рассматривается применение нескольких архитектур сверточных нейронных сетей к задаче категоризации и оценки позы объектов. За последнее десятилетие был достигнут впечатляющий прогресс в решении проблем локализации объектов и их категор...
Открыть главуСравнительный анализ архитектур сверточных нейронных сетей в задаче классификации
Тонкоигольная аспирационная биопсия (ТАБ) подразумевает использование иглы узкого калибра (25-22G) для сбора образцов для микроскопического исследования. Это позволяет проводить инвазивную и быструю диагностику ткани, но не сохраняет ее гистологическ...
Открыть главуЗаключение
В ходе выполнения курсовой работы было получено представление об основных принципах работы искусственных нейронных сетей, подробно изучены теоретические основы сверточных нейронных сетей, а также на конкретных задачах рассмотрены примеры проектирования и обучения различных архитектур сверточных сетей и проанализированы результаты работы построенных и обученных моделей. Итогом выполнения стало углубление теоретических и практических навыков в области искусственного интеллекта, а также машинного и глубокого обучения. Таким образом, цель курсовой работы достигнута в полном объеме.
Список литературы
Rumelhart DE, McClelland JL (1986) Parallel distributed processing: Exploration in the microstructure of cognition Vol.1. MIT Press, Cambridge Han HG, Qiao JF (2013) A structure optimisation algorithm for feedforward neural network construction. Neurocomputing 99: 347-357 Patel MC, Panchal M (2012) A review on ensemble of diverse artificial neural networks. Int. J. of Advanced Research in Computer Engineering and Technology 1: 63-70 Drucker H (2002) Effect of pruning and early stopping on performance of a boosting ensemble. Computationnal Statistics and Data Analysis 393-406 Kerlirzin P, Vallet F (1993) Robustness in multilayer perceptrons. Neural Computation 5: 473-482 Thomas P, Bloch G, Sirou F, Eustache V (1999) Neural modeling of an induction furnace using robust learning criteria. Journal of Integrated Computer Aided Engineering 6: 15-25 Williams PM (1995) Bayesian regularization and pruning using a Laplace prior. Neural Computation 7:117-143 Bartlett PL (1997) For valid generalization, the size of the weights is more important than the size of the network. Advances in Neural Information Processing Systems 9:134-140. [Эл. ресурс] / Режим доступа: http://yaroslavvb.com/papers/bartlett-for.pdf. Accessed 10 July 2013 (Дата обращения: 27.05.2019) Cawley GC, Talbot NLC (2007) Preventing over-fitting during model selection via Bayesian regularisation of the hyper-parameters. Journal of Machine Learning Research 8: 841–861 Bishop CM (1995) Neural networks for pattern recognition. Clarendon Press, Oxford Goodfellow I., Bengio Y., Courville A. "Deep Learning", MIT Press, 2016 Karpathy A. et al. "Convolutional Neural Networks for Visual Recognition" [Эл. ресурс] / Режим доступа: http://www.cs231n.stanford.edu (Дата обращения: 28.05.2019) Russell S. J., Norvig P. "Artificial Intelligence: A Modern Approach", 2nd ed. Prentice Hall, 2002, ISBN 978-0137903955 Krizhevsky A., Sutskever I., Hinton G., "Imagenet classiffcation with deep convolutional neural networks," in Advances Neural Inform. Proc. Syst., 2012, pp. 1097-1105 Sutton, R. S. and Barto A. G. Reinforcement Learning: An Introduction. The MIT Press, Cambridge, MA, 1998. Russell S. J., Norvig P. "Artificial Intelligence: A Modern Approach", 1st ed. Prentice Hall, 1995, ISBN 0-13-103805-2 Pentreath N. "Machine Learning with Spark", Paperback, 2015 Bishop C. M. "Pattern Recognition and Machine Learning (Information Science and Statistics)", Springer-Verlag New York, Inc., Secaucus, NJ, USA, 2006 Wilson D. R., Martinez, T. R. "The general inefficiency of batch training for gradient descent learning", Neural Networks 16, 10 (2003), 1429–1451 Y. LeCun, L. Bottou, Y. Bengio, and P. Haffner, "Gradient-based learning applied to document recognition," Proc. IEEE, vol. 86, no. 11, pp. 2278-2324, 1998. Skansi S. "Introduction to Deep Learning: From Logical Calculus to Artificial Intelligenceю Springer", 1st ed., 2018 Z. Zhao, S. Yang, and X. Ma, "Chinese license plate recognition using a convolutional neural network," in Computational Intell. and Ind. Application, 2008.PACIIA'08. Pacific-Asia Workshop on, vol. 1. IEEE, 2008, pp. 27-30. Nielsen Michael A. "Neural Networks and Deep Learning" [Эл. ресурс]. / Режим доступа: http://www.neuralnetworksanddeeplearning.com (Дата обращения: 25.05.2019) Y. LeCun, K. Kavukcuoglu, and C. Farabet, "Convolutional networks and applications in vision," in Circuits and Syst. (ISCAS), Proc. of 2010 IEEE Int.Symp., pp. 253-256. R. O. Duda, P. E. Hart, and D. G. Stork, Pattern classification. New York: John Wiley & Sons, 2012. Chatfield K., Simonyan K., Vedaldi A., Zisserman A. "Return of the devil in the details: Delving deep into convolutional nets", arXiv preprint arXiv: 1405.3531 (2014) S. Theodoridis and K. Koutroumbas, Pattern Recognition. New York: Elsevier Science, 2008. [Эл. ресурс] / Режим доступа: https://books.google.com/books?id=QgD (Дата обращения: 29.05.2019) Lai, K., Bo, L., Ren, X., and Fox, D. A large-scale hierarchical multi-view rgb-d object dataset. In Robotics and Automation (ICRA), 2011 IEEE International Conference on, pp. 1817–1824. IEEE, 2011a. BaseData.zip [Эл. ресурс] / Режим доступа: https://1drv.ms/u/s!Al-T6d-_ENf6axsEbvhbEc2gUFs (Дата обращения: 02.06.2019) Simonyan K., Zisserman A., Very Deep Convolutional Networks for Large-Scale Image Recognition, In 3rd IAPR Asian Conference on Pattern Recognition (ACPR), pp. 730-734 (2015) Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun, Deep Residual Learning for Image Recognition, IEEE Conference on Computer Vision and Pattern Recognition, pp. 770-778 (2016) Szegedy C., Vanhoucke V., Ioffe S., Shlens J., Wojna Z. Rethinking the Inception Architecture for Computer Vision, IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 2818-2826 (2016). Kangkana B., Manish C., Lipi .M.,Kundu M.K., Kumar A.D., Pap smear image classification using Convolutional Neural Network, ACM International Conference Proceeding Series, ICVGIP,18-22 Dec 2016, IIT
