Инджестор Superset

Настройка, предварительные условия и разрешения

Учетная запись, используемая для подключения, должна обладать правами администратора для возможности извлечения всех дашбордов и чартов.

Пример рецепта

Для получения деталей о добавлении паттернов для баз данных, схем, представлений, таблиц можно обратиться к странице паттернов

source:
    type: superset-dc
    config:
        connect_uri: 'http://localhost:8088'      # Хост superset
        username: user                            # Пользователь
        password: password                        # Пароль
        provider: ldap                            # Провайдер для аутентификации
        stateful_ingestion:
            enabled: true                         # Признак включения режима "Stateful ingesting" - загружаемые данные имеют приоритет над загруженными ранее. Если в загружаемых отсутствуют эндпоинты/поля - они не будут отображаться в Каталоге
pipeline_name: 'Сюда_подставить_имя_pipeline'
sink:
    type: catalog-rest
    config:
        server: 'https://gms.datacatalog.ru'
        token: '********'
transformers:
  - type: 'add_digital_products'
    config:
      digital_products: ['PRODUCT_ID1','PRODUCT_ID2']  # Список продуктов из мастер-системы, с которыми будут связаны все объекты, создаваемые по результатам инджестинга.