Data Streaming (Интеграция c Yandex Cloud)

Интеграция позволяет получать неагрегированные данные сервиса Яндекс Метрика в свой управляемый ClickHouse-кластер в Yandex Cloud.

Внимание

Описанная ниже интеграция не является обратно совместимой с Logs API по формату данных.

  • Потоковая передача данных в реальном времени (стриминговая загрузка). Задержка от момента события до появления записи о нем в ClickHouse до 15 минут.

  • Выгрузка архивных данных. Выгрузки данных счетчика за весь период его существования или за ограниченный временной интервал. Настраивается при запуске выгрузки в личном кабинете Метрики Про во вкладке Интеграции с Облаком.

    Важно

    • Одновременно можно выполнить не более 10 выгрузок.
    • Доступный период для выгрузки — более 7 дней до текущей даты. Например, 14 августа можно выгрузить данные до 6 августа включительно.
  • Расширенный набор полей по сравнению с LogsAPI:

    Категория

    Поля

    Данные из контентной аналитики

    • тематики и авторы статьи;
    • источник трафика;
    • переходы на другие статьи на сайте;
    • идентификатор статьи, с которой перешли на текущую;
    • время просмотра статьи;
    • доскроллы

    Детализация источников

    • идентификатор рекламного клика Директа (YCLID);
    • идентификатор рекламного объявления;
    • площадка размещения;
    • переход по QR-коду

    Данные о клиентах и заказах из CRM

    • Hash OrderID и Hash UserID;
    • версия заказа;
    • время создания и изменения заказа;
    • статус заказа;
    • названия и количество товаров в заказе
    • Полный список выгружаемых полей на уровне хитов.

    • Полный список выгружаемых полей на уровне визитов.

Принцип работы

Начало работы

  1. Подключите пакет Метрика Про или подключите Data Streaming.

  2. Создайте кластер ClickHouse в Yandex Cloud.

  3. Настройте подключение к созданному кластеру.

  4. В Data Transfer подключите источник данных. Для этого выберите тип данных (хиты / визиты), требуемые вам поля и укажите:

    • счетчики, данные с которых нужно выгружать;
    • OAuth-токен посетителя, у которого есть доступ к счетчику на редактирование;
    • для исторической выгрузки – диапазон дат.
  5. Свяжите источник и приемник, образовав трансфер. Для исторической выгрузки выберите тип трансфера Копирование, а для потоковой — Репликация.

  6. Настройте мониторинг состояния трансфера и алерты.

  7. Запустите трансфер.

Подробно см. в документации Yandex Cloud.

После запуска, если все параметры корректны и посетитель имеет требуемые полномочия, трансфер начнет получать данные, обрабатывать их и складывать в указанный кластер ClickHouse.

Вы можете удалить счетчик. В случае выгрузки архивных данных и потоковой передачи трансфер остановится.

Для мониторинга процесса передачи в Data Transfer доступны метрики и логи. Также вы можете отключить трансфер или его модифицировать.

В личном кабинете Метрики Про вы можете управлять трансферами в Yandex Cloud:

  1. Откройте вкладку Интеграции с облаком.
  2. Выберите счетчик организации.
  3. Проверьте активные трансферы. При необходимости удалите счетчик из трансфера.

Подробнее о работе с данными в Метрике Про

Написать в чат

Написать письмо

Обратите внимание: служба поддержки не обзванивает пользователей. Не следуйте указаниям людей, которые вам звонят и представляются службой поддержки Яндекс Метрики.