Skip to content

MWS Data

Concepts main

Initializing search

MWS Data Documentation
Cat
Compass
Test
Shelf
Columnar
Query
Slon
Bridge
Lakehouse

MWS Data

MWS Data Documentation
Cat
Cat
- Общая информация
  Общая информация
  - Возможности
  - Требования к ПО
- Руководство пользователя
  Руководство пользователя
  - Главная страница
  - Поиск
  - Фильтры
  - Типы объектов
    Типы объектов
    
    Контейнер
    
    Датасет
    Датасет
    
    О датасете
    
    Схема
    
    Data Lineage
    Data Lineage
    
    О Data Lineage
    
    Распространение описания
    
    Запросы
    
    Статистика
    
    Проверки качества данных
    
    История изменения схемы
    
    Массовое редактирование
    
    Статус синхронизации
    
    Права пользователя в источнике
    
    Домен
    
    Продукт
    
    Глоссарий
    
    Тег
  - Кнопки быстрого доступа
  - Связывание с доменом и термином
  - Иерархическое наследование связей
  - Владельцы
  - Профиль пользователя
    Профиль пользователя
    
    Профиль
    
    Подписки
    
    Группы
    
    Представления
  - Аналитический дашборд
  - URN
- Руководство администратора
  Руководство администратора
- Установка инджесторов
  Установка инджесторов
  - Подключение через интерфейс
  - Подключение через Kubernetes
  - Технологии источников
    Технологии источников
    
    Cassandra
    
    Clickhouse
    
    Cocroach
    
    Elasticsearch
    
    Greenplum
    
    HashData
    
    Hive
    
    Kafka
    
    MariaDB
    
    MongoDB
    
    MySQL
    
    OpenAPI
    
    Oracle
    
    Postgres
    
    S3
    
    MSSQL
    
    Superset
    
    StarRocks
    
    Инджестинг ФМД из файла CSV
    
    Дополнительные настройки
    Дополнительные настройки
    
    Профилирование
    
    Паттерны
    
    Трансформеры
    
    Секреты
- Релизы
- F.A.Q
Compass
Compass
- О продукте
- Документация
Test
Test
- Кейсы применения
- DQ Neo
  DQ Neo
  - Начало работы
  - Руководство пользователя
    Руководство пользователя
    
    1. Основные термины и определения
    
    2. Работа с репозиторием проверок в git
    
    3. Ролевая модель
    
    4. Конфигурация метрик и сравнений
    4. Конфигурация метрик и сравнений
    
    Базовые настройки
    Базовые настройки
    
    Структура yaml-конфига
    
    Источники данных (SOURCES)
    
    Объекты проверок (CHECK_OBJECTS)
    
    Метрики (METRICS)
    
    Сравнения (COMPARES)
    
    Группы (GROUPS)
    
    Алерты (ALERTS)
    
    Параметры запуска по расписанию
    
    Продвинутые возможности
    Продвинутые возможности
    
    Использование параметров для динамической фильтрации данных runtime_params в конфигах
    
    Механизм работы prev_metric (Конвейер метрик)
    
    Метрики над результатами из базы DQ (метрики второго порядка)
    
    Использование Jinja-шаблонов для создания проверок над однотипными объектами
    
    Использование udf в spark сессии DQ
    
    Перекрестные проверки между источниками
    
    Сэмплы ошибочных записей
    
    5. Интеграция в ETL-процесс
    5. Интеграция в ETL-процесс
    
    ETL процессы на Airflow (DQ Airflow Operators)
    
    Параметры запуска по расписанию
    
    DQ Client
    
    6. Дашборды с результатами DQ
    
    7. Алерты
    7. Алерты
    
    Интеграция с JIRA
    
    Интеграция с Prometheus
    
    Группировка (дедубликация) алертов
    
    8. Удаление сущностей
  - Руководство администратора
    Руководство администратора
    
    Установка
    Установка
    
    Установка worker
    Установка worker
    
    Запуск DQ Worker в Docker
    
    Запуск DQ Worker в k8s
    
    Установка sampler worker
    Установка sampler worker
    
    Установка dq-sampler-worker (docker-compose)
    
    Установка dq-sampler-worker-k8s
    
    Системные требования
    
    Установка в Docker
    
    Подключение источников данных
    
    Импорт дашбордов DQ в Grafana
    
    Установка в Kubernetes
    
    Продвинутые инструкции по настройке
    Продвинутые инструкции по настройке
    
    Описание переменных
    
    Интеграции
    Интеграции
    
    Настройка интеграции с LDAP
    
    Настройка интеграции с Vault
    
    Интеграция dq-core c ELK/Opensearch
    
    Интеграция c Prometheus
    
    Интеграция с MWS Data Cat
  - Naming convention
  - Cookbook
    Cookbook
    
    Запуск проверок за диапазон дат
    
    Базовые проверки в Postgres
    
    Стандартные проверки качества данных - Актуальность, Уникальность, Полнота
    
    Сравнение 2х метрик из разных источников данных
    
    Сравнение метрики со средним значением этой же метрики за месяц
    
    Метрика на кол-во значений не прошедших проверку
    
    Настройка алертов только на повторные срабатывания проверки
    
    Проверки на MongoDB
  - Troubleshooting guide (DQ)
    Troubleshooting guide (DQ)
    
    Типичные ошибки в работе проверок
    
    Массовый перезапуск проверок
  - F.A.Q
  - Rest API
    Rest API
    
    API v2
    
    API v4
Shelf
Shelf
Columnar
Columnar
Query
Query
- Руководство администратора
  Руководство администратора
- Коннекторы
  Коннекторы
  - Hive
  - MongoDB
  - Oracle
- Компонентны
  Компонентны
- Глоссарий
  Глоссарий
Slon
Slon
- Архитектура
- Требования
- Работа с артефактами
- Работа с секретами
- Подготовка базы данных
- Ansible inventory
- Установка
- Руководство администратора
  Руководство администратора
  - Резервное копирование
  - Сетевые порты
- Версии компонентов
Bridge
Bridge
- onETL
  onETL
  - Описание продукта
  - Документация
    Документация
    
    Концепции
    
    Логирование
    
    Плагины
    
    Участие в разработке
    
    Безопасность
    
    Быстрый старт
  - Релизы
    
    Релизы
    
    latest
    
    earliest
Lakehouse
Lakehouse
- Введение
  Введение
  - Что такое StarRocks в нашем продукте
- Установка и настройка
  Установка и настройка
- Работа с системой
  Работа с системой

Table of contents

Концепции
- Содержание

Concepts main

Концепции

Содержание

Модель доступа к объектам данных
Рабочие пространства
Группы
Папки

Made with Material for MkDocs