УДК 004.056

АРХИТЕКТУРА СИСТЕМЫ ПАРАЛЛЕЛЬНОЙ ОБРАБОТКИ БОЛЬШИХ ДАННЫХ ДЛЯ МОНИТОРИНГА БЕЗОПАСНОСТИ СЕТЕЙ ИНТЕРНЕТА ВЕЩЕЙ

И.В. Котенко, И.Б. Саенко, А.Г. Кушнеревич

Аннотация


Сети Интернета вещей в настоящее время находят свое применение во многих областях жизни людей. Краеугольным камнем в вопросе возможности дальнейшего распространения и использования таких сетей является аспект обеспечения их безопасности. Однако особенности сетей данного вида таковы, что использование в них традиционных средств и систем компьютерной защиты затруднено или невозможно. Одной из таких особенностей является необходимость в режиме реального времени и с минимальными вычислительными затратами анализировать очень большие объемы данных, разнородных по своей природе. С учетом особенностей вычислительных мощностей сети Интернета вещей предлагается архитектура системы параллельной обработки больших данных, основанная на использовании технологии обработки потоков данных Complex Event Processing и платформы параллельных вычислений Hadoop. Рассматриваются вопросы, непосредственно связанные с архитектурой системы, а также с реализацией следующих ее основных компонентов: сбора данных, хранения данных, нормализации и анализа данных и визуализации данных. Взаимосвязь между компонентами обеспечивается с помощью распределенной файловой системы Hadoop, которая является основой для построения распределенного хранилища данных. Компонент сбора данных организует распределенный прием данных и их хранение в компоненте хранилища данных. Компонент нормализации и анализа данных преобразует их к единому формату и обрабатывает с помощью правил корреляции. Компонент визуализации данных представляет данные в графическом виде, более удобном для дальнейшего восприятия оператором. Обсуждаются результаты экспериментальной оценки производительности системы, подтверждающие вывод о ее высокой эффективности.

Ключевые слова


Интернет вещей; мониторинг безопасности; Большие Данные; Complex Event Processing; Hadoop

Полный текст:

PDF

Литература


  1. Котенко И.В., Саенко И.Б. SIEM-системы для управления информацией и событиями безопасности // «Защита информации. Инсайд». 2012. № 5. С. 54–65.
  2. Котенко И.В., Саенко И.Б. Построение системы интеллектуальных сервисов для защиты информации в условиях кибернетического противоборства // Труды СПИИРАН. № 3 (22). СПб.: Наука, 2012. С.84-100.
  3. Котенко И.В. Интеллектуальные механизмы управления кибербезопасностью // Управление рисками и безопасностью // Труды Института системного анализа Российской академии наук. Т.41, 2009. С.74-103.
  4. Kotenko I., Chechulin A. Attack Modeling and Security Evaluation in SIEM Systems // International Transactions on Systems Science and Applications, Vol.8, December 2012. pp.129-147.
  5. De Carvalho O.M., Roloff E., Navaux O.A. A Survey of the State-of-the-art in Event Processing // Proceedings of the 11th Workshop on Parallel and Distributed Processing (WSPPD). 2013. 16 p.
  6. Apache Hadoop 3.0.0-alpha4. URL: http://hadoop.apache.org/docs/current/ (дата обращения 01.06.2017).
  7. Holmes A. Hadoop in Practice. Manning Publications Co. Greenwich, CT, USA, 2012. 536 p.
  8. Scherbakov M., Kachalov D., Kamaev V., Scherbakova N. , Tyukov A., Strekalov S. A Design of Web Application for Coomplex Event Processing Based on Hadoop and Java Servlets // International Journal of Soft Computing. 2015. vol. 10. no. 3. pp. 218–219.
  9. Kim M.-J., Yu Y.-S. Development of Real-time Big Data Analysis System and a Case Study on the Application of Information in a Medical Institution // International Journal of Software Engineering and Its Applications. 2015. vol. 9. no. 7. pp. 93–102.
  10. Zygouras N., Zacheilas N., Kalogeraki V., Kinane D., Gunopulos D. Insights on a Scalable and Dynamic Traffic Management System // Proceedings of the 18th International Conference on Extending Database Technology (EDBT-2015). 2015. pp. 653–664.
  11. Cherniack M., Balakrishnan H. , Balazinska M., Carney D., Cetintemel U., Xing Y., Zdonik S.B. Scalable Distributed Stream Processing // Proceedings of the First Biennial Conference on Innovative Data Systems Research (CIDR’03). 2003. vol. 3. pp. 257–268.
  12. Schultz-Møller N.P., Migliavacca M., Pietzuch P. Distributed Complex Event Processing with Query Rewriting // Proceedings of the Third ACM International Conference on Distributed Event-Based Systems. 2009. Article 4. 12 p.
  13. Zhang H., Diao Y., Immerman N. On Optimization of Expensive Queries in Complex Event Processing // Proceedings of the 2014 ACM SIGMOD International Conference on Management of Data (SIGMOD '14). 2014. pp. 217–228.
  14. Moraru A., Mladenić D. Complex Event Processing and Data Mining for Smart Cities // 15th International Multiconference on Information Society, Ljubljana. 2012. URL: http://ailab.ijs.si/dunja/SiKDD2012/Papers/Moraru_CEP.pdf (дата обращения: 01.06.2017).
  15. Gyllstrom D., Wu E., Chae H.-J., Diao Y., Stahlberg P., Anderson G. SASE: Complex Event Processing over Streams. URL: https://arxiv.org/ftp/cs/papers/0612/0612128.pdf (дата обращения: 01.06.2017).
  16. Liu D., Pedrinaci C., Domingue J. A framework for feeding Linked Data to Complex Event Processing engines // 1st International Workshop on Consuming Linked Data (COLD 2010) at The 9th International Semantic Web Conference (ISWC 2010). 2010. URL: http://oro.open.ac.uk/26057/1/LiuEtAl_COLD2010.pdf (дата обращения: 01.06.2017).
  17. Anicic D., Rudolph S., Fodor P., Stojanovic N. Stream reasoning and complex event processing in ETALIS // Semantic Web. 2012. vol. 3. no. 4. pp. 397–407.
  18. Wang D., Rundensteiner E.A., Ellison R.T. Active Complex Event Processing over Event Streams // Proceedings of the VLDB Endowment. 2011. vol. 4. no. 10. pp. 634–645.
  19. Gulisano V., Jimenez-Peris R., Patino-Martinez M., Valduriez P. StreamCloud: A Large Scale Data Streaming System // Proceedings of the 2010 International Conference on Distributed Computing Systems. 2010. pp. 126–137.
  20. Gulisano V., Jimenez-Peris R., Patino-Martinez M., Soriente C., Valduriez P. StreamCloud: An Elastic and Scalable Data Streaming System // IEEE Transactions on Parallel and Distributed Systems. 2012. vol. 23. no. 12. pp. 2351–2365.
  21. Kotenko I., Saenko I. An Approach to Aggregation of Security Events in Internet-of-Things Networks Based on Genetic Optimization // Proceedings of the 16th IEEE International Conference on Scalable Computing and Communications (ScalCom 2016). 2016. pp. 657–664.
  22. Толстолес А.А., Никитин А.В., Комлев В.О., Парийский В.А., Воинов Н.В. Платформа для разработки приложений Интернета вещей на основе модуля анализа больших данных // Информатика и кибернетика (ComCon-2016): Cб. научн. конф. Института компьютерных наук и технологий (ИКНТ). СПб.: СПбПУ, 2016. С. 192–194.
  23. Гончарова М.Н. Механизм параллельной обработки больших объемов информации в документо-ориентированных системах управления базами данных // Вестник магистратуры. Йошкар-Ола: ООО «Коллоквиум», 2014. № 6–1 (33). С. 52–56.
  24. Dwivedi K., Dubey S.K. Analytical review on Hadoop Distributed file system // Proceedings of the 5th International Conference on Confluence the Next Generation Information Technology Summit (confluence). 2014. pp. 174-181.
  25. MAVILab URL: http://www.fukuda-lab.org/mawilab/index.html (дата обращения: 01.06.2017).


Игорь Витальевич Котенко - д-р техн. наук, профессор, заведующий лабораторией проблем компьютерной безопасности, Федеральное государственное бюджетное учреждение науки Санкт-Петербургский институт информатики и автоматизации Российской академии наук (СПИИРАН).
Область научных интересов: безопасность компьютерных сетей, в том числе управление политиками безопасности, разграничение доступа, аутентификация, анализ защищенности, обнаружение компьютерных атак, межсетевые экраны, защита от вирусов и сетевых червей, анализ и верификация протоколов безопасности и систем защиты информации, защита программного обеспечения от взлома и управление цифровыми правами, технологии моделирования и визуализации для противодействия кибер–терроризму.
Число научных публикаций: 500.

Адрес (E-mail): ivkote@comsec.spb.ru
Почтовый адрес: 14-я линия В.О., 39, Санкт-Петербург, 199178
URL: http://www.comsec.spb.ru
Телефон: +7-(812)328-7181
Факс: +7(812)328–4450


Игорь Борисович Саенко - д-р техн. наук, профессор, ведущий научный сотрудник лаборатории проблем компьютерной безопасности, Федеральное государственное бюджетное учреждение науки Санкт-Петербургский институт информатики и автоматизации Российской академии наук (СПИИРАН).
Область научных интересов: автоматизированные информационные системы, информационная безопасность, обработка и передача данных по каналам связи, теория моделирования и математическая статистика, теория информации.
Число научных публикаций: 350.

Адрес (E-mail): ibsaen@comsec.spb.ru
Почтовый адрес: 14-я линия В.О., 39, Санкт-Петербург, 199178
URL: http://www.comsec.spb.ru
Телефон: +7(812)328-7181
Факс: +7(812)328-4450


Алексей Геннадьевич Кушнеревич - младший научный сотрудник лаборатории проблем компьютерной безопасности, Федеральное государственное бюджетное учреждение науки Санкт-Петербургский институт информатики и автоматизации Российской академии наук (СПИИРАН).
Область научных интересов: большие данные, анализ данных.
Число научных публикаций: 4.

Адрес (E-mail): kushnerevich@comsec.spb.ru
Почтовый адрес: 14-я линия В.О., 39, Санкт-Петербург, 199178
URL: http://www.comsec.spb.ru
Телефон: +7(812)328-7181
Факс: +7(812)328-4450




DOI: http://dx.doi.org/10.15622/sp.59.1

Creative Commons License
This work is licensed under a Creative Commons Attribution 4.0 License.