Skip to content

MWS Data

File

Initializing search

MWS Data Documentation
Cat
Compass
Test
Shelf
Columnar
Query
Slon
Bridge
Lakehouse

MWS Data

MWS Data Documentation
Cat
Cat
- Общая информация
  Общая информация
  - Возможности
  - Требования к ПО
- Руководство пользователя
  Руководство пользователя
  - Главная страница
  - Поиск
  - Фильтры
  - Типы объектов
    Типы объектов
    
    Источник данных
    
    Контейнер
    
    Датасет
    Датасет
    
    О датасете
    
    Схема
    
    Data Lineage
    Data Lineage
    
    О Data Lineage
    
    Распространение описания
    
    Запросы
    
    Статистика
    
    Проверки качества данных
    
    Дата-контракты
    
    История изменения схемы
    
    Массовое редактирование
    
    Статус синхронизации
    
    Права пользователя в источнике
    
    AI проверка описаний
    
    Сгенерировнное AI-агентом описание
    
    Домен
    
    Продукт
    
    Глоссарий
    
    Тег
  - Кнопки быстрого доступа
  - Связывание с доменом и термином
  - Иерархическое наследование связей
  - Пользовательские атрибуты
  - Владельцы
  - Профиль пользователя
    Профиль пользователя
    
    Профиль
    
    Подписки
    
    Группы
    
    Представления
  - Аналитический дашборд
  - URN
- Руководство администратора
  Руководство администратора
  - Политики доступа
  - Роли
  - Привилегии уровня метаданных
  - Привилегии уровня платформы
  - Тип владельца
  - Персональный токен доступа
  - Закрепленные сообщения
  - GraphiQL
  - Развертывание
    Развертывание
    
    Kubernetes
  - Продвинутая настройка
    Продвинутая настройка
    
    Настройка почтового сервиса
    
    Интеграция с OIDC провайдером
    Интеграция с OIDC провайдером
    
    SSO
    
    Функционал оповещений
    Функционал оповещений
    
    Подписка на события изменений датасетов
    
    Обратная связь
    
    Managed ingestion
    
    Аналитика
  - Внутренние интеграции MWS Data
    Внутренние интеграции MWS Data
    
    Compass
    
    Test
    
    Rentgen
- Установка инджесторов
  Установка инджесторов
  - Подключение через интерфейс
  - Подключение через Kubernetes
  - Технологии источников
    Технологии источников
    
    Cassandra
    
    Clickhouse
    
    Cocroach
    
    Elasticsearch
    
    Greenplum
    
    HashData
    
    Hive
    
    Iceberg
    
    Kafka
    
    MariaDB
    
    MongoDB
    
    MySQL
    
    OpenAPI
    
    Oracle
    
    Postgres
    
    S3
    
    MSSQL
    
    Superset
    
    StarRocks
    
    Инджестинг ФМД из файла CSV
    
    Дополнительные настройки
    Дополнительные настройки
    
    Профилирование
    
    Паттерны
    
    Трансформеры
    
    Секреты
- Релизы
- F.A.Q
Compass
Compass
- О продукте
- Документация
Test
Test
- Кейсы применения
- DQ Neo
  DQ Neo
  - Начало работы
  - Руководство пользователя
    Руководство пользователя
    
    1. Основные термины и определения
    
    2. Работа с репозиторием проверок в git
    
    3. Ролевая модель
    
    4. Конфигурация метрик и сравнений
    4. Конфигурация метрик и сравнений
    
    Базовые настройки
    Базовые настройки
    
    Структура yaml-конфига
    
    Источники данных (SOURCES)
    
    Объекты проверок (CHECK_OBJECTS)
    
    Метрики (METRICS)
    
    Сравнения (COMPARES)
    
    Группы (GROUPS)
    
    Алерты (ALERTS)
    
    Параметры запуска по расписанию
    
    Продвинутые возможности
    Продвинутые возможности
    
    Использование параметров для динамической фильтрации данных runtime_params в конфигах
    
    Механизм работы prev_metric (Конвейер метрик)
    
    Метрики над результатами из базы DQ (метрики второго порядка)
    
    Использование Jinja-шаблонов для создания проверок над однотипными объектами
    
    Использование udf в spark сессии DQ
    
    Перекрестные проверки между источниками
    
    Сэмплы ошибочных записей
    
    5. Интеграция в ETL-процесс
    5. Интеграция в ETL-процесс
    
    ETL процессы на Airflow (DQ Airflow Operators)
    
    Параметры запуска по расписанию
    
    DQ Client
    
    6. Дашборды с результатами DQ
    
    7. Алерты
    7. Алерты
    
    Интеграция с JIRA
    
    Интеграция с Prometheus
    
    Группировка (дедубликация) алертов
    
    8. Удаление сущностей
  - Руководство администратора
    Руководство администратора
    
    Установка
    Установка
    
    Установка worker
    Установка worker
    
    Запуск DQ Worker в Docker
    
    Запуск DQ Worker в k8s
    
    Установка sampler worker
    Установка sampler worker
    
    Установка dq-sampler-worker (docker-compose)
    
    Установка dq-sampler-worker-k8s
    
    Системные требования
    
    Установка в Docker
    
    Подключение источников данных
    
    Импорт дашбордов DQ в Grafana
    
    Установка в Kubernetes
    
    Продвинутые инструкции по настройке
    Продвинутые инструкции по настройке
    
    Описание переменных
    
    Интеграции
    Интеграции
    
    Настройка интеграции с LDAP
    
    Настройка интеграции с Vault
    
    Интеграция dq-core c ELK/Opensearch
    
    Интеграция c Prometheus
    
    Интеграция с MWS Data Cat
  - Naming convention
  - Cookbook
    Cookbook
    
    Запуск проверок за диапазон дат
    
    Базовые проверки в Postgres
    
    Стандартные проверки качества данных - Актуальность, Уникальность, Полнота
    
    Сравнение 2х метрик из разных источников данных
    
    Сравнение метрики со средним значением этой же метрики за месяц
    
    Метрика на кол-во значений не прошедших проверку
    
    Настройка алертов только на повторные срабатывания проверки
    
    Проверки на MongoDB
  - Troubleshooting guide (DQ)
    Troubleshooting guide (DQ)
    
    Типичные ошибки в работе проверок
    
    Массовый перезапуск проверок
  - F.A.Q
  - Rest API
    Rest API
    
    API v2
    
    API v4
Shelf
Shelf
Columnar
Columnar
Query
Query
- Руководство администратора
  Руководство администратора
- Коннекторы
  Коннекторы
  - Hive
  - MongoDB
  - Oracle
- Компонентны
  Компонентны
- Глоссарий
  Глоссарий
Slon
Slon
- Архитектура
- Требования
- Работа с артефактами
- Работа с секретами
- Подготовка базы данных
- Ansible inventory
- Установка
- Руководство администратора
  Руководство администратора
  - Резервное копирование
  - Сетевые порты
- Версии компонентов
Bridge
Bridge
- onETL
  onETL
- Data Rentgen
  Data Rentgen
  - Описание продукта
  - Документация
    
    Документация
    
    Концепции
    
    Справочная информация
    
    Справочная информация
    
    Архитектура
    
    Брокер
    
    Консьюмер
    
    Консьюмер
    
    Конфигурация консьюмера
    
    Конфигурация консьюмера
    
    Consumer-specific
    
    Kafka
    
    Logging
    
    Producer-specific
    
    База данных
    
    База данных
    
    Конфигурация
    
    Структура
    
    CLI создания партиций
    
    CLI очистки партиций
    
    CLI обновления аналитических представлений
    
    CLI заполнения данными
    
    Веб-интерфейс
    
    Веб-интерфейс
    
    Конфигурация
    
    HTTP2Kafka
    
    HTTP2Kafka
    
    Конфигурация HTTP2Kafka
    
    Конфигурация HTTP2Kafka
    
    Настройки Kafka
    
    Настройки продюсера
    
    Настройки логирования
    
    Настройки мониторинга
    
    Обслуживание статических файлов
    
    Настройки OpenAPI
    
    Отладка
    
    Альтернативы
    
    Сервер
    
    Сервер
    
    Спецификация OpenAPI
    
    Аутентификация и Авторизация
    
    Аутентификация и Авторизация
    
    Фиктивный провайдер аутентификации
    
    Провайдер Keycloak
    
    Пользовательский провайдер аутентификации
    
    Конфигурация сервера REST API
    
    Конфигурация сервера REST API
    
    Настройка логирования
    
    Настройка мониторинга
    
    Настройки CORS
    
    Кофигурация сессии
    
    Кофигурация статических файлов
    
    Кофигурация openapi
    
    Настройка отладки
    
    Интеграции
    
    Интеграции
    
    Интеграция с Airflow
    
    Интеграция с DBT
    
    Интеграция с Flink v.1
    
    Интеграция с Flink v.2
    
    Интеграция с Hive
    
    Интеграция с Spark
    
    FAQ
    
    FAQ
    
    Участие в разработке
    
    Безопасность
    
    Установка
  - Релизы
    
    Релизы
    
    0.3.1
    
    0.3.0
    
    0.2.1
    
    0.2.0
    
    0.1.0
- Horizon
  Horizon
  - Описание продукта
  - Документация
    
    Документация
    
    Концепции
    
    Ролевая модель
    
    Бэкенд
    
    Бэкенд
    
    OpenAPI
    
    Провайдеры аутентификации
    
    Провайдеры аутентификации
    
    Фиктивный провайдер аутентификации
    
    LDAP провайдер аутентификации
    
    Кешированный LDAP провайдер аутентификации
    
    Пользовательский провайдер аутентификации
    
    Конфигурация
    
    Конфигурация
    
    База данных
    
    Логирование
    
    Мониторинг
    
    CORS
    
    Статические файлы
    
    Openapi
    
    Отладка
    
    Скрипты
    
    Скрипты
    
    Управление администраторами
    
    Архитектура
    
    Установка и запуск бэкенда
    
    Клиент
    
    Клиент
    
    Схемы
    
    Схемы
    
    Схемы, связанные с namespace
    
    Схемы, связанные с историей namespace
    
    Схемы, связанные с HWM
    
    Схемы, связанные с историей HWM
    
    Схемы, связанные с правами доступа
    
    Схемы, связанные с пользователем
    
    Схемы, связанные с пингом
    
    Схемы, связанные с пагинацией
    
    Авторизация
    
    Исключения
    
    Установка клиента
    
    Синхронный клиент
    
    FAQ
    
    FAQ
    
    Участие в разработке
    
    Безопасность
  - Релизы
    
    Релизы
    
    1.1.2
    
    1.1.1
    
    1.0.2
    
    1.0.1
    
    1.0.0
    
    0.2.1
    
    0.2.0
    
    0.1.3
    
    0.1.2
    
    0.1.1
    
    0.0.13
    
    0.0.12
    
    0.0.11
    
    0.0.10
    
    0.0.9
    
    0.0.8
- Syncmaster
  Syncmaster
  - Описание продукта
  - Документация
    
    Документация
    
    Концепции
    
    Ролевая модель
    
    Справочная информация
    
    Справочная информация
    
    Архитектура
    
    Брокер
    
    База данных
    
    База данных
    
    Конфигурация
    
    Шифрование учетных данных
    
    Структура
    
    Веб-интерфейс
    
    Веб-интерфейс
    
    Конфигурация
    
    Планировщик
    
    Планировщик
    
    Установка и запуск
    
    Конфигурация
    
    Конфигурация
    
    База данных
    
    Брокер
    
    Учетные данные
    
    Логирование
    
    Сервер
    
    Сервер
    
    OpenAPI
    
    CLI для управления суперпользователями
    
    Провайдеры аутентификации
    
    Провайдеры аутентификации
    
    Фиктивный провайдер аутентификации
    
    Провайдер аутентификации KeyCloak
    
    Провайдер аутентификации KeyCloak
    
    Локальная установка
    
    Пользовательский провайдер аутентификации
    
    Конфигурация
    
    Конфигурация
    
    База данных
    
    Брокер
    
    Учетные данные
    
    Логирование
    
    Сессия
    
    Cors
    
    Отладка
    
    Мониторинг
    
    Статические файлы
    
    Openapi
    
    Воркер
    
    Воркер
    
    Изменение настроек Spark сессии
    
    Установка значения Run.log_url
    
    Конфигурация
    
    Конфигурация
    
    База данных
    
    Брокер
    
    Учетные данные
    
    Логирование
    
    Хранилище HWM
    
    FAQ
    
    FAQ
    
    Участие в разработке
    
    Безопасность
  - Релизы
    
    Релизы
    
    0.2.4
    
    0.2.3
    
    0.2.2
    
    0.2.1
    
    0.2.0
    
    0.1.5
    
    0.1.4
    
    0.1.3
    
    0.1.2
    
    0.1.1
Lakehouse
Lakehouse
- Введение
  Введение
  - Что такое StarRocks в нашем продукте
- Установка и настройка
  Установка и настройка
- Работа с системой
  Работа с системой

Классы для операций с файлами

File Downloader
File Uploader
File Mover
Фильтры для файлов
Лимиты для файлов

Made with Material for MkDocs