Skip to content
MWS Data
0.1.3
Initializing search
Gitlab
MWS Data Documentation
Cat
Compass
Test
Shelf
Columnar
Query
Slon
Bridge
Lakehouse
MWS Data
Gitlab
MWS Data Documentation
Cat
Cat
Общая информация
Общая информация
Возможности
Требования к ПО
Руководство пользователя
Руководство пользователя
Главная страница
Поиск
Фильтры
Типы объектов
Типы объектов
Источник данных
Контейнер
Датасет
Датасет
О датасете
Схема
Data Lineage
Data Lineage
О Data Lineage
Распространение описания
Запросы
Статистика
Проверки качества данных
Дата-контракты
История изменения схемы
Массовое редактирование
Статус синхронизации
Права пользователя в источнике
AI проверка описаний
Сгенерировнное AI-агентом описание
Домен
Продукт
Глоссарий
Тег
Кнопки быстрого доступа
Связывание с доменом и термином
Иерархическое наследование связей
Пользовательские атрибуты
Владельцы
Профиль пользователя
Профиль пользователя
Профиль
Подписки
Группы
Представления
Аналитический дашборд
URN
Руководство администратора
Руководство администратора
Политики доступа
Роли
Привилегии уровня метаданных
Привилегии уровня платформы
Тип владельца
Персональный токен доступа
Закрепленные сообщения
GraphiQL
Развертывание
Развертывание
Kubernetes
Продвинутая настройка
Продвинутая настройка
Настройка почтового сервиса
Интеграция с OIDC провайдером
Интеграция с OIDC провайдером
SSO
Функционал оповещений
Функционал оповещений
Подписка на события изменений датасетов
Обратная связь
Managed ingestion
Аналитика
Внутренние интеграции MWS Data
Внутренние интеграции MWS Data
Compass
Test
Rentgen
Установка инджесторов
Установка инджесторов
Подключение через интерфейс
Подключение через Kubernetes
Технологии источников
Технологии источников
Cassandra
Clickhouse
Cocroach
Elasticsearch
Greenplum
HashData
Hive
Iceberg
Kafka
MariaDB
MongoDB
MySQL
OpenAPI
Oracle
Postgres
S3
MSSQL
Superset
StarRocks
Инджестинг ФМД из файла CSV
Дополнительные настройки
Дополнительные настройки
Профилирование
Паттерны
Трансформеры
Секреты
Релизы
F.A.Q
Compass
Compass
О продукте
Документация
Test
Test
Кейсы применения
DQ Neo
DQ Neo
Начало работы
Руководство пользователя
Руководство пользователя
1. Основные термины и определения
2. Работа с репозиторием проверок в git
3. Ролевая модель
4. Конфигурация метрик и сравнений
4. Конфигурация метрик и сравнений
Базовые настройки
Базовые настройки
Структура yaml-конфига
Источники данных (SOURCES)
Объекты проверок (CHECK_OBJECTS)
Метрики (METRICS)
Сравнения (COMPARES)
Группы (GROUPS)
Алерты (ALERTS)
Параметры запуска по расписанию
Продвинутые возможности
Продвинутые возможности
Использование параметров для динамической фильтрации данных runtime_params в конфигах
Механизм работы prev_metric (Конвейер метрик)
Метрики над результатами из базы DQ (метрики второго порядка)
Использование Jinja-шаблонов для создания проверок над однотипными объектами
Использование udf в spark сессии DQ
Перекрестные проверки между источниками
Сэмплы ошибочных записей
5. Интеграция в ETL-процесс
5. Интеграция в ETL-процесс
ETL процессы на Airflow (DQ Airflow Operators)
Параметры запуска по расписанию
DQ Client
6. Дашборды с результатами DQ
7. Алерты
7. Алерты
Интеграция с JIRA
Интеграция с Prometheus
Группировка (дедубликация) алертов
8. Удаление сущностей
Руководство администратора
Руководство администратора
Установка
Установка
Установка worker
Установка worker
Запуск DQ Worker в Docker
Запуск DQ Worker в k8s
Установка sampler worker
Установка sampler worker
Установка dq-sampler-worker (docker-compose)
Установка dq-sampler-worker-k8s
Системные требования
Установка в Docker
Подключение источников данных
Импорт дашбордов DQ в Grafana
Установка в Kubernetes
Продвинутые инструкции по настройке
Продвинутые инструкции по настройке
Описание переменных
Интеграции
Интеграции
Настройка интеграции с LDAP
Настройка интеграции с Vault
Интеграция dq-core c ELK/Opensearch
Интеграция c Prometheus
Интеграция с MWS Data Cat
Naming convention
Cookbook
Cookbook
Запуск проверок за диапазон дат
Базовые проверки в Postgres
Стандартные проверки качества данных - Актуальность, Уникальность, Полнота
Сравнение 2х метрик из разных источников данных
Сравнение метрики со средним значением этой же метрики за месяц
Метрика на кол-во значений не прошедших проверку
Настройка алертов только на повторные срабатывания проверки
Проверки на MongoDB
Troubleshooting guide (DQ)
Troubleshooting guide (DQ)
Типичные ошибки в работе проверок
Массовый перезапуск проверок
F.A.Q
Rest API
Rest API
API v2
API v4
Shelf
Shelf
Columnar
Columnar
Query
Query
Руководство администратора
Руководство администратора
Требования
Установка
Управление каталогами
Мониторинг
Коннекторы
Коннекторы
Hive
MongoDB
Oracle
Компонентны
Компонентны
Group Provider
Query Analysis
Rules Generator
Access Control
Глоссарий
Глоссарий
Каталог
Коннектор
extraCredentials
Slon
Slon
Архитектура
Требования
Работа с артефактами
Работа с секретами
Подготовка базы данных
Ansible inventory
Установка
Руководство администратора
Руководство администратора
Резервное копирование
Сетевые порты
Версии компонентов
Bridge
Bridge
onETL
onETL
Описание продукта
Требования
Документация
Документация
Концепции
Подключения
Подключения
Подключения к БД
Подключения к БД
Clickhouse
Clickhouse
Предварительные требования
Подключение к Clickhouse
Чтение из Clickhouse с использованием DBReader
Чтение из Clickhouse с использованием Clickhouse.sql
Запись в Clickhouse с использованием DBWriter
Выполнение предложений в Clickhouse
Соответствие типов Clickhouse <-> Spark
Greenplum
Greenplum
Предварительные требования
Подключение к Greenplum
Чтение из Greenplum с помощью DBReader
Запись в Greenplum с помощью DBWriter
Выполнение SQL-запросов в Greenplum
Соответствие типов данных Greenplum <-> Spark
Kafka
Kafka
Предварительные требования
Подключение к Kafka
Устранение неполадок Kafka
Kafka PlaintextProtocol
Kafka SSLProtocol
Kafka BasicAuth
Kafka KerberosAuth
Kafka ScramAuth
Чтение из Kafka
Запись в Kafka
Kafka Auth
Kafka Protocol
Слоты Kafka
Hive
Hive
Предварительные требования
Подключение к Hive
Чтение из Hive с использованием DBReader
Чтение из Hive с использованием Hive.sql
Запись в Hive с использованием DBWriter
Выполнение предложений в Hive
Слоты Hive
MongoDB
MongoDB
Предварительные требования
Подключение к MongoDB
Чтение из MongoDB с использованием DBReader
Чтение из MongoDB с использованием MongoDB.pipeline
Запись в MongoDB с использованием DBWriter
Сопоставление типов MongoDB <-> Spark
MSSQL
MSSQL
Предварительные требования
Подключение к MSSQL
Чтение из MSSQL с использованием DBReader
Чтение из MSSQL с использованием MSSQL.sql
Запись в MSSQL с использованием DBWriter
Выполнение запросов в MSSQL
Сопоставление типов MSSQL <-> Spark
MySQL
MySQL
Предварительные условия
Подключение к MySQL
Чтение из MySQL с помощью DBReader
Чтение из MySQL с помощью MySQL.sql
Запись в MySQL с помощью DBWriter
Выполнение предложений в MySQL
Переключение типов MySQL <-> Spark
Oracle
Oracle
Предварительные условия
Подключение к Oracle
Чтение из Oracle с использованием DBReader
Чтение из Oracle с использованием Oracle.sql
Запись в Oracle с использованием DBWriter
Выполнение операторов в Oracle
Сопоставление типов Oracle <-> Spark
Postgres
Postgres
Предварительные требования
Подключение к Postgres
Чтение из Postgres с использованием DBReader
Чтение из Postgres с использованием Postgres.sql
Запись в Postgres с использованием DBWriter
Выполнение операторов в Postgres
Сопоставление типов данных Postgres <-> Spark
Teradata
Teradata
Teradata
Предварительные требования
Подключение к Teradata
Чтение из Teradata с использованием DBReader
Чтение из Teradata с использованием Teradata.sql
Запись в Teradata с использованием DBWriter
Выполнение запросов в Teradata
Подключения к файлам
Подключения к файлам
FTP
FTPS
HDFS
HDFS
Подключение к HDFS
Слоты HDFS
Samba
SFTP
S3
Webdav
Файлы как DataFrame
Файлы как DataFrame
Spark LocalFS
Spark HDFS
Spark HDFS
Предварительные требования
Подключение
Слоты
Spark S3
Spark S3
Предварительные условия
Подключение
Устранение неполадок
Base interface
Логирование
Плагины
DB
DB
DB Reader
DB Writer
File
File
File Downloader
File Downloader
File Downloader
Опции File Downloader
File Downloader Result
File Uploader
File Uploader
File Uploader
Опции File Uploader
File Uploader Result
File Mover
File Mover
File Mover
Опции File Mover
File Mover Result
Фильтры для файлов
Фильтры для файлов
Glob
Регулярные выражения
Исключение директорий
Фильтр по размеру файлов
Фильтр по времени модификации файлов
File Filter (устарело)
Базовый интерфейс
Совпадение со всеми фильтрами
Лимиты для файлов
Лимиты для файлов
Лимит на максимальное количество файлов
Лимит на суммарный размер файлов
File Limit (устарело)
Базовый интерфейс
Проверка достижения лимита по определенному пути
Проверка достижения любого лимита
Сброс лимитов
FileDF
FileDF
FileDF Reader
FileDF Reader
FileDF Reader
Опции
FileDF Writer
FileDF Writer
FileDF Writer
Опции
Форматы файлов
Форматы файлов
Avro
CSV
Excel
JSON
JSONLine
ORC
Parquet
XML
Базовый интерфейс
Hooks
Hooks
Высокоуровневый дизайн
Декоратор @hook
Декоратор @slot
Декоратор @support_hooks
Глобальное состояние хуков
HWM Store
HWM Store
YAML HWM Store
Стратегии
Стратегии
Snapshot
Incremental
Snapshot Batch
Incremental Batch
FAQ
FAQ
Участие в разработке
Безопасность
Быстрый старт
Установка
Установка
Минимальная установка
Файловые подключения
Поддержка Kerberos
Полная установка
Spark
Файловые подключения (install)
Поддержка Kerberos (install)
Полная установка (install)
Релизы
Релизы
0.13.4
0.13.3
0.13.1
0.13.0
0.12.5
0.12.4
0.12.3
0.12.2
0.12.1
0.12.0
0.11.2
0.11.1
0.11.0
0.10.2
0.10.1
0.10.0
0.9.5
0.9.4
0.9.3
0.9.2
0.9.1
0.9.0
0.8.1
0.8.0
0.7.2
0.7.1
0.7.0
Data Rentgen
Data Rentgen
Описание продукта
Документация
Документация
Концепции
Справочная информация
Справочная информация
Архитектура
Брокер
Консьюмер
Консьюмер
Конфигурация консьюмера
Конфигурация консьюмера
Consumer-specific
Kafka
Logging
Producer-specific
База данных
База данных
Конфигурация
Структура
CLI создания партиций
CLI очистки партиций
CLI обновления аналитических представлений
CLI заполнения данными
Веб-интерфейс
Веб-интерфейс
Конфигурация
HTTP2Kafka
HTTP2Kafka
Конфигурация HTTP2Kafka
Конфигурация HTTP2Kafka
Настройки Kafka
Настройки продюсера
Настройки логирования
Настройки мониторинга
Обслуживание статических файлов
Настройки OpenAPI
Отладка
Альтернативы
Сервер
Сервер
Спецификация OpenAPI
Аутентификация и Авторизация
Аутентификация и Авторизация
Фиктивный провайдер аутентификации
Провайдер Keycloak
Пользовательский провайдер аутентификации
Конфигурация сервера REST API
Конфигурация сервера REST API
Настройка логирования
Настройка мониторинга
Настройки CORS
Кофигурация сессии
Кофигурация статических файлов
Кофигурация openapi
Настройка отладки
Интеграции
Интеграции
Интеграция с Airflow
Интеграция с DBT
Интеграция с Flink v.1
Интеграция с Flink v.2
Интеграция с Hive
Интеграция с Spark
FAQ
FAQ
Участие в разработке
Безопасность
Установка
Релизы
Релизы
0.3.1
0.3.0
0.2.1
0.2.0
0.1.0
Horizon
Horizon
Описание продукта
Документация
Документация
Концепции
Ролевая модель
Бэкенд
Бэкенд
OpenAPI
Провайдеры аутентификации
Провайдеры аутентификации
Фиктивный провайдер аутентификации
LDAP провайдер аутентификации
Кешированный LDAP провайдер аутентификации
Пользовательский провайдер аутентификации
Конфигурация
Конфигурация
База данных
Логирование
Мониторинг
CORS
Статические файлы
Openapi
Отладка
Скрипты
Скрипты
Управление администраторами
Архитектура
Установка и запуск бэкенда
Клиент
Клиент
Схемы
Схемы
Схемы, связанные с namespace
Схемы, связанные с историей namespace
Схемы, связанные с HWM
Схемы, связанные с историей HWM
Схемы, связанные с правами доступа
Схемы, связанные с пользователем
Схемы, связанные с пингом
Схемы, связанные с пагинацией
Авторизация
Исключения
Установка клиента
Синхронный клиент
FAQ
FAQ
Участие в разработке
Безопасность
Релизы
Релизы
1.1.2
1.1.1
1.0.2
1.0.1
1.0.0
0.2.1
0.2.0
0.1.3
0.1.2
0.1.1
0.0.13
0.0.12
0.0.11
0.0.10
0.0.9
0.0.8
Syncmaster
Syncmaster
Описание продукта
Документация
Документация
Концепции
Ролевая модель
Справочная информация
Справочная информация
Архитектура
Брокер
База данных
База данных
Конфигурация
Шифрование учетных данных
Структура
Веб-интерфейс
Веб-интерфейс
Конфигурация
Планировщик
Планировщик
Установка и запуск
Конфигурация
Конфигурация
База данных
Брокер
Учетные данные
Логирование
Сервер
Сервер
OpenAPI
CLI для управления суперпользователями
Провайдеры аутентификации
Провайдеры аутентификации
Фиктивный провайдер аутентификации
Провайдер аутентификации KeyCloak
Провайдер аутентификации KeyCloak
Локальная установка
Пользовательский провайдер аутентификации
Конфигурация
Конфигурация
База данных
Брокер
Учетные данные
Логирование
Сессия
Cors
Отладка
Мониторинг
Статические файлы
Openapi
Воркер
Воркер
Изменение настроек Spark сессии
Установка значения Run.log_url
Конфигурация
Конфигурация
База данных
Брокер
Учетные данные
Логирование
Хранилище HWM
FAQ
FAQ
Участие в разработке
Безопасность
Релизы
Релизы
0.2.4
0.2.3
0.2.2
0.2.1
0.2.0
0.1.5
0.1.4
0.1.3
0.1.3
Table of contents
Исправления ошибок
0.1.2
0.1.1
Lakehouse
Lakehouse
Введение
Введение
Что такое StarRocks в нашем продукте
Установка и настройка
Установка и настройка
Подготовка окружения
Установка LakeHouse
Настройка Iceberg Catalog
Работа с системой
Работа с системой
Руководство пользователя
Архитектура системы
Запросы к Iceberg
Shared-Data архитектура
Table of contents
Исправления ошибок
0.1.3 (2024-04-15)
Исправления ошибок
Исправлена точка входа в образ бэкенда.