Большие данные (Big Data)

Обзор

Компьютерная обработка информации используется уже несколько десятков лет, но термин «большие данные» – Big Data – широко распространился только к 2011 году. Благодаря большим данным компании научились быстро извлекать коммерческую ценность из самых разных источников, включая соцсети, геолокационные данные, передаваемые телефонами и другими роуминговыми устройствами, общедоступные сведения из сети Интернет, показания датчиков, встроенных в автомобили, здания и другие объекты.

Что такое VVV?

Аналитики используют модель 3V / VVV для определения сути больших данных. Это обозначение – сокращение от названий трех ключевых принципов Big Data: volume, velocity, variety (объем, скорость и разнообразие соответственно).

• Объем означает, что Big Data анализирует большие массивы информации – от 10 ТБ.
• Скорость означает, что информация для Big Data очень быстро генерируется и меняется (достаточно вспомнить, с какой скоростью распространяются новые хэштеги в Twitter).
• Разнообразие означает, что данные в нескольких форматах поступают из многочисленных источников (например, текстовые и видеосообщения из соцсетей, показания геолокационных сервисов).

Где используется Big Data

Big Data – это массивы разноплановой информации, которая часто генерируется, обновляется и предоставляется несколькими источниками. Это используют современные компании, чтобы работать более эффективно, создавать новые продукты и, в конце концов, становиться более конкурентоспособными. Большие данные накапливаются ежесекундно – даже сейчас, когда вы читаете эту статью, кто-то собирает информацию о ваших предпочтениях и действиях в браузере. Большинство компаний используют Big Data для улучшения клиентского сервиса, другие – для улучшения операционных данных и для прогнозирования рисков.

Например, VISA использует Big Data для уменьшения числа мошеннических операций, разработчики игры World of Tanks – для уменьшения оттока геймеров, Министерство труда Германии – для анализа заявок на оформление пособий по безработице, а крупные ритейлеры составляют масштабные маркетинговые кампании, чтобы продать как можно больше товаров.

Как выглядит работа с Big Data?

Ее можно условно разбить на такие этапы:

1. Сбор данных. Это могут быть открытые и внутренние источники. К первым относятся: данные государственных сервисов, общедоступная коммерческая информация, социальные сети, интернет-сервисы. Ко вторым – аналитика, данные об онлайн-транзакциях). Для передачи информации используются стандартные интерфейсы приложений и протоколов.
2. Интеграция данных. Специальные системы преобразовывают их в формат, подходящий для хранения, или непрерывно отслеживают для важных триггеров.
3. Обработка и анализ. Операции выполняются в режиме real time за исключением случаев, когда информация сохраняется в виде функций для последующей обработки. Популярные методики анализа: обучение ассоциативным правилам, классификация, кластерный и регрессионный анализ, смешение и интеграция данных, машинное обучение, распознавание образов и другие.

Важный элемент работы с Big Data – поиск, который позволяет получать необходимую информацию разными путями. В простом случае это работает так же, как Google. Данные доступны для внутренних и внешних сторон платно или бесплатно – все зависит от условий владения ими. Big Data востребованы у разработчиков приложений и сервисов, торговых и телекоммуникационных компаний. Для бизнес-пользователей информация предлагается в визуализированной форме, простой для восприятия. Если формат текстовый, то это будут лаконичные списки и выдержки, если графический – диаграммы, графики и анимация.

Как выбрать платформу для работы с Big Data?

Работа с Big Data предполагает использование специфической инфраструктуры, ориентированной на параллельную обработку и распределенное хранение больших объемов данных. Но универсального решения для этой цели нет. Хотя на выбор оборудования влияет огромное число факторов, единственно важным является ПО для сбора и анализа Big Data. Соответственно, процесс покупки аппаратного обеспечения для компании будет таким:

1. Выбор поставщика ПО для работы с Big Data.
2. Изучение требований к инфраструктуре, предъявляемых разработчиками ПО.
3. Выбор аппаратных решений на основе этих требований.
4. Закупка необходимого оборудования.

Таким образом, каждый проект будет в своем роде уникальным, а оборудование для его развертывания будет зависеть от выбранного ПО. Возьмем для примера два серверных решения, которые адаптированы под работу с Big Data.

FUJITSU Integrated System PRIMEFLEX for Hadoop

Это производительная и гибко масштабируемая платформа, предназначенная для быстрого анализа больших массивов данных разных типов. Она объединяет собой преимущества предварительно сконфигурированной аппаратной платформы, работающей на базе стандартных отраслевых компонентов, и специализированного ПО с открытым исходным кодом. Последнее предоставлено компаниями Cloudera и Datameer. Производитель гарантирует совместимость компонентов системы и ее эффективность для комплексного анализа структурированных и неструктурированных данных. PRIMEFLEX для Hadoop предлагается в готовом к использованию виде в комплекте с услугами по бизнес-консультированию в вопросах Big Data, интеграции и ТО.

FUJITSU Integrated System PRIMEFLEX для SAP HANA

Эта интегрированная система по максимуму использует возможности SAP HANA. PRIMEFLEX от FUJITSU подходит для хранения и обработки больших объемов данных в оперативной памяти в режиме real time. Вычисления выполняются как локально, так и в «облаке».

Компания FUJITSU поставляет PRIMEFLEX для SAP HANA комплексно, с дополнительными услугами для всех этапов – от принятия решения по проекту и финансирования до текущих операций. Продукт создан на базе компонентов и технологий, которые прошли сертификацию для SAP. Он охватывает разные архитектуры, в том числе ранее настроенные, поддерживающие масштабирование системы, индивидуальные и виртуализированные платформы VMware.

Компания Untes предлагает услуги по разработке решений для Big Data. Мы грамотно интегрируем ПО для работы с большими данными и органично внедрим его в ваши бизнес-процессы так, чтобы технологии и инструменты дополняли друг друга и делали компанию более конкурентоспособной.