Data Streaming (Интеграция c Yandex Cloud)
Интеграция позволяет получать неагрегированные данные сервиса Яндекс Метрика в свой управляемый ClickHouse-кластер в Yandex Cloud.
Внимание
Описанная ниже интеграция не является обратно совместимой с Logs API по формату данных.
-
Потоковая передача данных в реальном времени (стриминговая загрузка). Задержка от момента события до появления записи о нем в ClickHouse до 15 минут.
-
Выгрузка архивных данных. Выгрузки данных счетчика за весь период его существования или за ограниченный временной интервал. Настраивается при запуске выгрузки в личном кабинете Метрики Про во вкладке Интеграции с Облаком.
Важно
- Одновременно можно выполнить не более 10 выгрузок.
- Доступный период для выгрузки — более 7 дней до текущей даты. Например, 14 августа можно выгрузить данные до 6 августа включительно.
-
Расширенный набор полей по сравнению с LogsAPI:
Категория
Поля
Данные из контентной аналитики
- тематики и авторы статьи;
- источник трафика;
- переходы на другие статьи на сайте;
- идентификатор статьи, с которой перешли на текущую;
- время просмотра статьи;
- доскроллы
Детализация источников
- идентификатор рекламного клика Директа (YCLID);
- идентификатор рекламного объявления;
- площадка размещения;
- переход по QR-коду
Данные о клиентах и заказах из CRM
- Hash OrderID и Hash UserID;
- версия заказа;
- время создания и изменения заказа;
- статус заказа;
- названия и количество товаров в заказе
Принцип работы
Начало работы
-
Подключите пакет Метрика Про или подключите Data Streaming.
-
Создайте кластер ClickHouse в Yandex Cloud.
-
Настройте подключение к созданному кластеру.
-
В Data Transfer подключите источник данных. Для этого выберите тип данных (хиты / визиты), требуемые вам поля и укажите:
- счетчики, данные с которых нужно выгружать;
- OAuth-токен посетителя, у которого есть доступ к счетчику на редактирование;
- для исторической выгрузки – диапазон дат.
-
Свяжите источник и приемник, образовав трансфер. Для исторической выгрузки выберите тип трансфера Копирование, а для потоковой — Репликация.
-
Настройте мониторинг состояния трансфера и алерты.
-
Запустите трансфер.
Подробно см. в документации Yandex Cloud.
После запуска, если все параметры корректны и посетитель имеет требуемые полномочия, трансфер начнет получать данные, обрабатывать их и складывать в указанный кластер ClickHouse.
Вы можете удалить счетчик. В случае выгрузки архивных данных и потоковой передачи трансфер остановится.
Для мониторинга процесса передачи в Data Transfer доступны метрики и логи. Также вы можете отключить трансфер или его модифицировать.
В личном кабинете Метрики Про вы можете управлять трансферами в Yandex Cloud:
- Откройте вкладку Интеграции с облаком.
- Выберите счетчик организации.
- Проверьте активные трансферы. При необходимости удалите счетчик из трансфера.
Подробнее о работе с данными в Метрике Про