Skip to content

0.10.2 (2024-03-21)

Функциональность

  • Добавлена поддержка Pydantic v2. (#230)

Улучшения

  • Улучшена документация по подключениям к базам данных:
  • Добавлен раздел "Типы" с описанием соответствия типов Clickhouse и Spark
  • Добавлен раздел "Prerequisites" с описанием различных аспектов подключения к Clickhouse
  • Разделена документация DBReader и .sql() / .pipeline(...)

  • Добавлены примеры для .fetch() и .execute() (#211, #228, #229, #233, #234, #235, #236, #240)

  • Добавлены примечания в документацию Greenplum о проблемах с разрешением IP-адресов и построением URL gpfdist (#228)

  • Разрешен вызов MongoDB.pipeline(...) с передачей только имени коллекции, без явного указания aggregation pipeline. (#237)

  • Обновлен default Postgres(extra={...}) для включения опции {"stringtype": "unspecified"}. Это позволяет записывать текстовые данные в нетекстовый столбец (или наоборот), полагаясь на возможности приведения типов Postgres.

Например, теперь можно прочитать столбец типа money как тип StringType() Apache Spark, и записать его обратно в тот же столбец, без использования промежуточных столбцов или таблиц. (#229)

Исправление ошибок

  • Возвращена обработка DBReader(columns="string"). Это был валидный синтаксис до версии v0.10, но он был удален, потому что большинство пользователей им не пользовались. Похоже, мы ошибались, возвращаем это поведение обратно, но с предупреждением об устаревании. (#238)

  • Понижена версия пакета Greenplum с 2.3.0 до 2.2.0. (#239)

Это связано с тем, что версия 2.3.0 вызвала проблемы с записью данных в Greenplum 6.x. Коннектор может открыть транзакцию с запросом SELECT * FROM table LIMIT 0, но не закрывает ее, что приводит к deadlock'ам.

Для использования этого коннектора с Greenplum 7.x, пожалуйста, передайте версию пакета явно:

maven_packages = Greenplum.get_packages(package_version="2.3.0", ...)