Skip to content

0.14.0 (2025-09-08)

Критические изменения

  • Отключена поддержка Spark 2. Минимальная поддерживаемая версия Spark — 3.2. (#383)

    Также удалены:

  • Greenplum.package_spark_2_3

  • Greenplum.package_spark_2_4

  • Обновлены коннекторы/драйверы базы данных до последних версий:

  • MongoDB 10.4.1 → 10.5.0

  • MySQL 9.2.0 → 9.4.0
  • MSSQL 12.8.10 → 13.2.0
  • Oracle 23.7.0.25.01 → 23.9.0.25.07

  • Postgres 42.7.5 → 42.7.7

  • Обновлено имя пакета Excel с com.crelytics:spark-excel на dev.mauch:spark-excel. (#382)

  • Сейчас Excel.get_packages(package_version=...) обязательный параметр. (#382)

  • Возвращает полный путь к файлу/каталогу из FileConnection.list_dir и FileConnection.walk. (#381) Ранее эти методы возвращали только имена файлов..

Функции

  • Добавлена поддержка Spark 4.0. (#297)
  • Добавлена поддержка соединения Iceberg. На текущий момент это альфа-версия, и поведение может измениться в будущем. (#378, #386)
  • Обработаны объекты S3, имена которых заканчиваются косой чертой /, как маркеры каталогов. (#379)

Улучшения

  • Ускорьте удаление каталогов S3 и Samba с помощью параметра recursive=True. (#380)