Data Streaming (Интеграция c Yandex Cloud)

Интеграция позволяет получать неагрегированные данные сервиса Яндекс Метрика в свой управляемый ClickHouse-кластер в Yandex Cloud.

• Потоковая передача данных в реальном времени (стриминговая загрузка). Задержка от момента события до появления записи о нем в ClickHouse до 15 минут.

• Выгрузка архивных данных. Выгрузки данных счетчика за весь период его существования или за ограниченный временной интервал. Настраивается при запуске выгрузки в личном кабинете Метрики Про во вкладке Интеграции с Облаком.

  Важно

  • Одновременно можно выполнить не более 10 выгрузок.
  • Доступный период для выгрузки — более 7 дней до текущей даты. Например, 14 августа можно выгрузить данные до 6 августа включительно.

• Расширенный набор полей по сравнению с LogsAPI:

  Категория	Поля
  Данные из контентной аналитики	тематики и авторы статьи; источник трафика; переходы на другие статьи на сайте; идентификатор статьи, с которой перешли на текущую; время просмотра статьи; доскроллы
  Детализация источников	идентификатор рекламного клика Директа (YCLID); идентификатор объявления; площадка размещения; переход по QR-коду
  Данные о клиентах и заказах из CRM	Hash OrderID и Hash UserID; версия заказа; время создания и изменения заказа; статус заказа; названия и количество товаров в заказе

  • Полный список выгружаемых полей на уровне хитов.

  • Полный список выгружаемых полей на уровне визитов.

Принцип работы

Начало работы

1. Подключите пакет Метрика Про или подключите Data Streaming.

2. Создайте кластер ClickHouse в Yandex Cloud.

3. Настройте подключение к созданному кластеру.

4. В Data Transfer подключите источник данных. Для этого выберите тип данных (хиты / визиты), требуемые вам поля и укажите:

   • счетчики, данные с которых нужно выгружать;
   • OAuth-токен посетителя, у которого есть доступ к счетчику на редактирование;
   • для исторической выгрузки – диапазон дат.

5. Свяжите источник и приемник, образовав трансфер. Для исторической выгрузки выберите тип трансфера Копирование, а для потоковой — Репликация.

6. Настройте мониторинг состояния трансфера и алерты.

7. Запустите трансфер.

Подробно см. в документации Yandex Cloud.

После запуска, если все параметры корректны и посетитель имеет требуемые полномочия, трансфер начнет получать данные, обрабатывать их и складывать в указанный кластер ClickHouse.

Вы можете удалить счетчик. В случае выгрузки архивных данных и потоковой передачи трансфер остановится.

Для мониторинга процесса передачи в Data Transfer доступны метрики и логи. Также вы можете отключить трансфер или его модифицировать.

В личном кабинете Метрики Про вы можете управлять трансферами в Yandex Cloud:

1. Откройте вкладку Интеграции с облаком.
2. Выберите счетчик организации.
3. Проверьте активные трансферы. При необходимости удалите счетчик из трансфера.

Подробнее о работе с данными в Метрике Про

Написать в чат