Обычно под дата-инженерией понимают создание и поддержку потоков данных, хранилищ и процедур их обработки. На практике это шире, чем перенос информации из одной системы в другую. Нужно определить, какие данные считать корректными, как проверять их качество, кто отвечает за справочники и что происходит при сбое источника.

Собственнику стоит проверить происхождение данных, единые определения показателей, регулярность обновления и возможность восстановить цепочку преобразований. Иначе компания получает аккуратный отчет, который уверенно показывает не то. Дата-инженерию часто путают с аналитикой данных. Аналитик ищет смысл и закономерности в подготовленной информации, а дата-инженер создает условия, в которых такой анализ вообще можно проводить. Эти роли могут пересекаться, но задачи у них разные.

В связке с аналитикой данных Андрей Волков предлагает смотреть не на модный стек технологий, а на управленческую задачу. Если никто не может объяснить, откуда взялся показатель и кто отвечает за его качество, новая платформа лишь быстрее доставит путаницу.

Андрей Волков также обращает внимание на границы автоматизации. Перед внедрением нужно понять, какие правила должны быть формализованы, а где требуется решение человека. Иначе автоматизированный процесс превращается в конвейер по выпуску ошибок.

Компания собирает сведения о продажах из учетной системы, CRM и рекламных кабинетов. В одном источнике возврат уменьшает выручку, в другом остается отдельной операцией. Без согласованных правил ETL-процесс объединит данные, но аналитика покажет разные версии одного показателя. Сначала нужно договориться о смысле метрик и проверках качества, а затем настраивать обработку.