Об опыте получения, хранения и анализа Big Data с удаленных сайтов

Abstract

Рассматриваются практические вопросы применения современных информационных технологий для извлечения, систематизации и обработки Big Data. Описываются подходы к созданию автоматизированной системы по получению и обработке статистической информации с использованием инструментов API и StreamSets. Приводятся результаты использования Big Data для восстановления действующих значений показателей смертности, не искаженных влиянием других причин смертности. Подход демонстрируется на примере восстановления действующих значений показателей смертности от внешних причин. The practical issues of applying modern information technologies for extracting, systematizing and processing Big Data are considered. The approaches to the creation of an automated system for receiving and processing statistical information using the API and StreamSets tools are described. The results of using Big Data to restore the current values of mortality rates, not distorted by the influence of other causes of death, are presented. The approach is demonstrated on the example of restoring the current values of mortality rates from external causes.