Data Streaming (Интеграция c Yandex Cloud)
Интеграция позволяет получать неагрегированные данные сервиса Яндекс Метрика в свой управляемый ClickHouse-кластер в Yandex Cloud.
Внимание
Описанная ниже интеграция не является обратно совместимой с Logs API по формату данных.
- 
Потоковая передача данных в реальном времени (стриминговая загрузка). Задержка от момента события до появления записи о нем в ClickHouse до 15 минут. 
- 
Выгрузка архивных данных. Выгрузки данных счетчика за весь период его существования или за ограниченный временной интервал. Настраивается при запуске выгрузки в личном кабинете Метрики Про во вкладке Интеграции с Облаком. Важно - Одновременно можно выполнить не более 10 выгрузок.
- Доступный период для выгрузки — более 7 дней до текущей даты. Например, 14 августа можно выгрузить данные до 6 августа включительно.
 
- 
Расширенный набор полей по сравнению с LogsAPI: Категория Поля Данные из контентной аналитики - тематики и авторы статьи;
- источник трафика;
- переходы на другие статьи на сайте;
- идентификатор статьи, с которой перешли на текущую;
- время просмотра статьи;
- доскроллы
 Детализация источников - идентификатор рекламного клика Директа (YCLID);
- идентификатор объявления;
- площадка размещения;
- переход по QR-коду
 Данные о клиентах и заказах из CRM - Hash OrderID и Hash UserID;
- версия заказа;
- время создания и изменения заказа;
- статус заказа;
- названия и количество товаров в заказе
 
Принцип работы
Начало работы
- 
Подключите пакет Метрика Про или подключите Data Streaming. 
- 
Создайте кластер ClickHouse в Yandex Cloud. 
- 
Настройте подключение к созданному кластеру. 
- 
В Data Transfer подключите источник данных. Для этого выберите тип данных (хиты / визиты), требуемые вам поля и укажите: - счетчики, данные с которых нужно выгружать;
- OAuth-токен посетителя, у которого есть доступ к счетчику на редактирование;
- для исторической выгрузки – диапазон дат.
 
- 
Свяжите источник и приемник, образовав трансфер. Для исторической выгрузки выберите тип трансфера Копирование, а для потоковой — Репликация. 
- 
Настройте мониторинг состояния трансфера и алерты. 
- 
Запустите трансфер. 
Подробно см. в документации Yandex Cloud.
После запуска, если все параметры корректны и посетитель имеет требуемые полномочия, трансфер начнет получать данные, обрабатывать их и складывать в указанный кластер ClickHouse.
Вы можете удалить счетчик. В случае выгрузки архивных данных и потоковой передачи трансфер остановится.
Для мониторинга процесса передачи в Data Transfer доступны метрики и логи. Также вы можете отключить трансфер или его модифицировать.
В личном кабинете Метрики Про вы можете управлять трансферами в Yandex Cloud:
- Откройте вкладку Интеграции с облаком.
- Выберите счетчик организации.
- Проверьте активные трансферы. При необходимости удалите счетчик из трансфера.
Подробнее о работе с данными в Метрике Про