Skip to content

0.10.1 (2024-02-05)

Новые возможности

  • Добавлена поддержка Incremental Strategies для подключения Kafka:
reader = DBReader(
    connection=Kafka(...),
    source="topic_name",
    hwm=DBReader.AutoDetectHWM(name="some_hwm_name", expression="offset"),
)

with IncrementalStrategy():
    df = reader.run()

Использование этой стратегии позволяет возобновить чтение данных из топика Kafka, начиная с последнего зафиксированного смещения. (#202)

  • Добавлены методы has_data, raise_if_no_data в класс DBReader. (#203)

  • Обновлен коннектор VMware Greenplum с 2.1.4 до 2.3.0. Что предоставляет:

  • Поддержку Greenplum 7.x
  • Поддержку Kubernetes
  • Новую опцию чтения gpdb.matchDistributionPolicy которая позволяет сопоставить каждый Spark executor с определенным сегментом Greenplum, избегая избыточной передачи данных между сегментами Greenplum

  • Возможность переопределять параметры оптимизатора Greenplum в операциях чтения/записи (#208)

  • Метод Greenplum.get_packages() теперь принимает необязательный аргумент package_version, который позволяет переопределить версию пакета коннектора Greenplum. (#208)