Поддержка Kerberos

Многие экземпляры Hadoop развернуты с поддержкой Kerberos, поэтому для правильной работы некоторых подключений требуется дополнительная настройка.

  • HDFS Использует requests-kerberos и GSSApi для аутентификации. Также использует исполняемый файл kinit для создания Kerberos-билета.
  • Hive и SparkHDFS требуют наличия Kerberos-ticket перед созданием Spark-сессии.

Поэтому вам необходимо установить пакеты ОС с:

  • krb5 libs
  • Заголовки для krb5
  • gcc или другой компилятор для C-исходников

Точная инструкция по установке зависит от вашей ОС, вот несколько примеров:

apt install libkrb5-dev krb5-user gcc  # Debian-based
dnf install krb5-devel krb5-libs krb5-workstation gcc  # CentOS, OracleLinux

Также вам следует передать kerberos в extras для установки необходимых пакетов Python:

pip install onetl[kerberos]