УДК 006.72

СИНТЕЗ НЕЙРОННОЙ СЕТИ ДЛЯ РЕШЕНИЯ ЛОГИКО-АРИФМЕТИЧЕСКИХ ЗАДАЧ

А.А. Воевода, Д.О. Романников

Аннотация


Одна из основных проблем, стоящих перед разработчиком системы с нейронной сетью — выбор структуры нейронной сети, которая могла бы решать поставленные задачи. В настоящее время нет однозначных рекомендаций по выбору такой структуры и таких параметров, как: количество слоев, количество нейронов в слое, тип нелинейности нейрона, метод обучения, параметры метода обучения и другие.
В статье рассматривается подход к синтезу нейронной сети для класса логико-арифметических задач, основанный на формировании сети из предпостроенных элементарных функций. Новизна предлагаемого подхода заключается в формировании нейронной сети по известному алгоритму с использованием предварительно построенных функций. Таким образом, в статье изначально построены элементарные логико-арифметические функции, такие как «и», «или», «исключающее или», «и-не», «или-не», «», «», «>», «<», которые можно использовать для решения более сложных задач. Также приведен пример решения задачи построения функции по выбору максимального числа из четырех чисел, представленных в бинарном виде тремя разрядами. Синтез нейронной сети вышеприведенным способом выполняется с дальнейшей целью получения обобщенной структуры нейронной сети.

Ключевые слова


нейронные сети; машинное обучение; логико-арифметические задачи; синтез нейронной сети

Полный текст:

PDF

Литература


  1. Krizhevsky A., Sutskever I., Hinton G. E. ImageNet Classification with Deep Convolutional Neural Networks // Proceedings of Neural Information Processing Systems (NIPS). 2012.
  2. Graves A., Mohamed A., Hinton G. Speech recognition with deep recurrent neural networks // Proceedings of International Conference on Acoustics, Speech and Signal Processing (ICASSP). 2013.
  3. Deng L., Hinton G. E., Kingsbury B. New types of deep neural network learning for speech recognition and related applications: An overview // Proceedings of IEEE International Conference on Acoustic Speech and Signal (ICASSP 2013), 2013.
  4. Haykin S. Neural networks and learning machines, 3rd Edition // Pearson Education. 2009. 938 p.
  5. Bishop C. Pattern Recognition and Machine Learning (Information Science and Statistics) // Springer. 2007. 738 p.
  6. Goodfellow I., Bengio Y., Courville A. Deep Learning // MIT Press. 2016.
  7. Haykin S., Deng C. Classification of radar clutter using neural networks // IEEE Transactions on Neural Networks, vol. 2. 1991. pp. 589–600.
  8. Hastie T., Tibshirani R., Friedman J. The Elements of Statistical Learning: Data Mining, Inference, and Prediction // Springer. 2001.
  9. Hagan M., Demuth H., Jesús O. A neural network predictive control system for paper mill wastewater treatment // Engineering Applications of Artificial Intelligence 16(2). 2003. pp. 121-129.
  10. Touretzky D.S., Pomerleau D.A. What is hidden in the hidden layers? // Byte, vol. 14, 1989. pp. 227–233.
  11. LeCun Y., Bengio Y., Hinton G. Deep learning // Nature, vol. 521, no. 7553. 2015. pp. 436–444.
  12. Srivastava N., Hinton G., Krizhevsky A., Sutskever I., Salakhutdinov R. Dropout: A Simple Way to Prevent Neural Networks from Overfitting // Journal of Machine Learning Research 15. 2014. pp. 1929-1958.
  13. Mahsereci M., Balles L., Lassner C., Hennig P. Early Stopping without a Validation Set // ArXiv e-prints, May. 2017.
  14. Prechelt L. Early Stopping — But When? // Springer Berlin Heidelberg. 2012. pp 53–67.
  15. Воевода А.А., Романников Д.О. Асинхронный алгоритм сортировки массива чисел с использованием ингибиторных сетей Петри // Труды СПИИРАН. 2016. Вып. 48. C. 198-213.
  16. Воевода А.А., Полубинский В. Л., Романников Д.О. Сортировка массива целых чисел с использованием нейронной сети // Научный Вестник НГТУ. №2(63). 2016. С. 151-157.
  17. Voevoda A.A., Romannikov D.O. A Binary Array Asynchronous Sorting Algorithm with Using Petri Nets // Journal of Physics: Conference Series, Volume 803, Number 1, 2017.


Александр Александрович Воевода - д-р техн. наук, профессор, профессор кафедры автоматики, Новосибирский государственный технический университет (НГТУ).
Область научных интересов: полиномиальный синтез, сети Петри, UML диаграммы.
Число научных публикаций: 200.

Адрес (E-mail): voevoda@ucit.ru
Почтовый адрес: пр. Карла Маркса 20, Новосибирск, 630073
Телефон: +79139223092


Дмитрий Олегович Романников - к-т техн. наук, доцент кафедры автоматики, Новосибирский государственный технический университет (НГТУ).
Область научных интересов: машинное обучение, нейронные сети, сети Петри.
Число научных публикаций: 51.

Адрес (E-mail): dmitry.romannikov@gmail.com
Почтовый адрес: пр. Карла Маркса 20, Новосибирск, 630073
Телефон: +7 961 223 8567




DOI: http://dx.doi.org/10.15622/sp.54.9