Big Data (большие данные)
Big Data называют массивы данных, которые сложно хранить, обрабатывать и анализировать обычными способами. В бизнесе они встречаются в потоках с камер, CRM, датчиков, транзакций и цифровых сервисов. Для понимания концепции используют 3V: Volume, Velocity и Variety, а для работы с данными применяют озера данных и хранилища DWH.
Практический разбор
Под Big Data обычно понимают большие по объему, быстро поступающие и разнообразные данные. При этом сам размер массива еще не делает его полезным для компании. Важны качество данных, скорость доступа, понятная задача и стоимость хранения.
Озеро данных Data Lake обычно используют для хранения данных в разном виде, включая исходные и неструктурированные материалы. DWH, или хранилище данных, чаще служит для подготовленных и согласованных данных, по которым строят отчеты и управленческий анализ. В практике эти понятия могут пересекаться, поэтому собственнику стоит уточнить, какую задачу решает каждая система.
До запуска проекта нужно проверить, сколько данных компания получает, как долго обязана их хранить, кто будет отвечать за качество и сколько стоит обработка. Отдельный риск связан с тем, что данные могут быстро накапливаться, но не превращаться в решения. Иногда Big Data заканчивается раньше, чем команда успевает найти нужный фрагмент записи.
Позиция Андрея
Андрей Волков обращает внимание на практическое ограничение термина. Мало кто может позволить себе долго хранить и обрабатывать большие данные в полном объеме.
«Посмотрите на камеры. Срок хранения записей всегда ограничен, потому что хранить и обрабатывать весь поток бесконечно дорого и сложно».
По мнению Андрея Волкова, разговор о Big Data стоит начинать не с модного названия технологии, а с вопроса о том, какие данные нужны собственнику для конкретного решения.
Пример из бизнеса
Компания собирает видеопоток с камер, данные о продажах и обращения клиентов. Руководство хочет сохранить все записи и анализировать их в будущем, но не определяет срок хранения, критерии поиска и ответственных за обработку. В результате данные быстро занимают место, а нужный эпизод приходится искать вручную или он уже удален. Это пример, когда объем данных растет быстрее, чем управленческая ценность.