datavalid.ru · data engineering

Метрики — это только вершина айсберга

Строим продуктовую аналитику целиком: от событий в Mixpanel до сырых данных в Iceberg. Видимая часть — дашборды. Невидимая — инфраструктура, которая делает их честными.

Mixpanel Redash · Metabase Airflow Iceberg — уровень бизнеса

всё, что ниже линии воды, — наша работа

погружение
↓ 0 м · над водой Продуктовая аналитика

Mixpanel: события, воронки, retention

То, что видит продуктовая команда каждый день. Настраиваем трекинг так, чтобы метрикам можно было верить, а не спорить о них на каждом ревью.

tracking plan

План событий без хаоса

Единая схема именования, версионирование событий, контроль свойств. Никаких button_click_final_v2.

  • Таксономия событий и свойств
  • Серверный и клиентский трекинг
  • Валидация данных на входе
product metrics

Воронки и удержание

Активация, конверсия, retention-когорты, North Star — собираем дерево метрик, в котором каждая цифра отвечает на конкретный вопрос.

  • Воронки и flows по ключевым сценариям
  • Когортный анализ удержания
  • A/B-эксперименты и фичефлаги
governance

Чистота данных

Lexicon, ownership событий, регулярные аудиты. Аналитика, которой не доверяют, — это просто дорогие графики.

  • Аудит существующего трекинга
  • Алерты на аномалии в данных
  • Документация для команды
↓ 50 м · у поверхности Self-hosted BI

Redash и Metabase на вашей инфраструктуре

Когда данные нельзя отдавать наружу — разворачиваем BI у вас. Полный контроль, никаких per-seat лицензий, SQL-доступ для всей команды.

redash

Redash для SQL-команд

Быстрые запросы, шаринг дашбордов, алерты в мессенджеры. Лучший выбор, когда команда живёт в SQL.

  • Деплой в Docker / на VPS
  • Подключение всех источников
  • Алерты по порогам метрик
metabase

Metabase для всех остальных

Визуальный конструктор вопросов — менеджеры строят отчёты сами, без очереди к аналитику.

  • Self-hosted с SSO и правами доступа
  • Семантический слой и модели
  • Embedded-дашборды в продукт
ops

Эксплуатация под ключ

Бэкапы, обновления, мониторинг, TLS — BI-инструмент, который просто работает, а не требует внимания каждую неделю.

  • Reverse-proxy, сертификаты, доступы
  • Резервное копирование метаданных
  • Мониторинг и обновления версий
↓ 200 м · глубина Оркестрация

Airflow: пайплайны, которые не будят по ночам

Все данные на странице выше существуют потому, что здесь, на глубине, по расписанию работают DAG-и. Проектируем их идемпотентными, наблюдаемыми и переживающими сбои.

dags

Проектирование пайплайнов

ETL/ELT-процессы как код: тестируемые, версионируемые, с понятными зависимостями между задачами.

  • Идемпотентные задачи и backfill
  • Sensors, SLA, retry-политики
  • CI/CD для DAG-ов
observability

Наблюдаемость

Сбой пайплайна виден до того, как его заметит бизнес по сломанному дашборду.

  • Алерты в Telegram / Slack
  • Метрики выполнения и lineage
  • Проверки качества данных в DAG-ах
deploy

Развёртывание

От одиночного инстанса на VPS до Kubernetes — конфигурация под реальный масштаб задач, без оверинжиниринга.

  • Docker Compose / Helm
  • Executors под нагрузку
  • Секреты и доступы по уму
↓ 1000 м · дно Хранение сырых данных

Apache Iceberg: фундамент всего

Самый глубокий слой. Сырые события хранятся в открытом табличном формате поверх объектного хранилища — дёшево, версионируемо и без привязки к вендору. Любой движок сверху: Trino, Spark, DuckDB.

lakehouse

Архитектура lakehouse

Слои raw → staging → marts на Iceberg-таблицах. Сырьё неприкосновенно — любую витрину можно пересобрать с нуля.

  • Партиционирование и compaction
  • Schema evolution без боли
  • S3-совместимое хранилище
time travel

Версии и снапшоты

Каждое изменение таблицы — снапшот. Откат на любой момент, аудит изменений, воспроизводимые отчёты.

  • Time travel по снапшотам
  • ACID-транзакции на файлах
  • Безопасные миграции схем
query engines

Открытый формат

Данные не заперты в одной СУБД. Сменился движок — таблицы остались на месте.

  • Trino / Spark / DuckDB поверх
  • Каталоги: REST, Hive, Nessie
  • Выгрузка в Mixpanel и BI
Принципы

Как мы работаем

raw first

Сырьё неприкосновенно

Сначала надёжно сохранить событие, потом всё остальное. Потерянные данные не восстановить никаким дашбордом.

self-hosted

Ваши данные — у вас

Там, где это критично, разворачиваем стек на вашей инфраструктуре. Без чужих облаков и внезапных тарифов.

open formats

Без vendor lock-in

Открытые форматы и инструменты. Уйти от нас легко — поэтому с нами остаются.

boring tech

Скучные технологии

Проверенный стек вместо хайпа. Пайплайн должен работать годами, а не впечатлять на демо.

Контакт

Дошли до самого дна — давайте поговорим

Опишите задачу в двух абзацах: что за продукт, какие данные, что болит. Ответим с конкретным планом, а не презентацией.

hello@datavalid.ru