Глоссарий
ИИ и Tech

Big Data (большие данные)

Big Data называют массивы данных, которые сложно хранить, обрабатывать и анализировать обычными способами. В бизнесе они встречаются в потоках с камер, CRM, датчиков, транзакций и цифровых сервисов. Для понимания концепции используют 3V: Volume, Velocity и Variety, а для работы с данными применяют озера данных и хранилища DWH.

Практический разбор

Под Big Data обычно понимают большие по объему, быстро поступающие и разнообразные данные. При этом сам размер массива еще не делает его полезным для компании. Важны качество данных, скорость доступа, понятная задача и стоимость хранения.

Озеро данных Data Lake обычно используют для хранения данных в разном виде, включая исходные и неструктурированные материалы. DWH, или хранилище данных, чаще служит для подготовленных и согласованных данных, по которым строят отчеты и управленческий анализ. В практике эти понятия могут пересекаться, поэтому собственнику стоит уточнить, какую задачу решает каждая система.

До запуска проекта нужно проверить, сколько данных компания получает, как долго обязана их хранить, кто будет отвечать за качество и сколько стоит обработка. Отдельный риск связан с тем, что данные могут быстро накапливаться, но не превращаться в решения. Иногда Big Data заканчивается раньше, чем команда успевает найти нужный фрагмент записи.

Позиция Андрея

Андрей Волков обращает внимание на практическое ограничение термина. Мало кто может позволить себе долго хранить и обрабатывать большие данные в полном объеме.

«Посмотрите на камеры. Срок хранения записей всегда ограничен, потому что хранить и обрабатывать весь поток бесконечно дорого и сложно».

По мнению Андрея Волкова, разговор о Big Data стоит начинать не с модного названия технологии, а с вопроса о том, какие данные нужны собственнику для конкретного решения.

Пример из бизнеса

Компания собирает видеопоток с камер, данные о продажах и обращения клиентов. Руководство хочет сохранить все записи и анализировать их в будущем, но не определяет срок хранения, критерии поиска и ответственных за обработку. В результате данные быстро занимают место, а нужный эпизод приходится искать вручную или он уже удален. Это пример, когда объем данных растет быстрее, чем управленческая ценность.

Мини-FAQ

01. Чем Big Data отличается от обычной базы данных?
Разница обычно связана с объемом, скоростью поступления, разнообразием данных и требованиями к обработке. Граница зависит от задач компании и ее инфраструктуры.
02. Нужна ли Big Data небольшой компании?
Не всегда. Сначала стоит определить управленческую задачу, объем данных и срок хранения. Иногда обычной базы и понятного отчета достаточно.
03. Что проверить до запуска проекта?
Нужно проверить источники данных, качество, правила хранения, стоимость обработки, права доступа и способ использования результата в управленческих решениях.

Связанные термины

Big Data имеет смысл рассматривать в контексте конкретной задачи, ресурсов и ограничений компании, а не отдельно от управленческого решения. Подробнее о подходе Андрея Волкова можно узнать на andrei-volkov.com.