Сетевые порты MWS Data Slon
Сетевые порты для edgenode и web ui, необходимые для подключения клиентов к кластеру:
Сетевые доступы из этой таблицы необходимы для подключения к Hadoop кластеру (IN) и в обратном направлении (OUT).
| Компонент | Сервис | Порты | Протокол | Направление | Описание | Параметр |
|---|---|---|---|---|---|---|
| HDFS | namenode | 9870 | TCP | IN | Web UI namenode (API, WebHDFS) | dfs.namenode.http-address |
| HDFS | namenode | 8050 | TCP | IN | RPC адрес для коммуникации HDFS Services. | dfs.namenode.servicerpc-address. |
| HDFS | datanode | 1022 | TCP | IN | Web UI datanode (изменён от стандартного 9864 из-за требования kerberos) | dfs.datanode.http.address |
| HDFS | datanode | 1019 | TCP | IN | Datanode port for data transfer (изменён от стандартного 9866 из за требования kerberos) | dfs.datanode.address |
| YARN | resourcemanager | 8088 | TCP | IN | ResourceManager Web UI | yarn.resourcemanager.webapp.address |
| HDFS | namenode | 8020 | TCP | IN | NameNode RPC порт, который обрабатывает все запросы клиентов | dfs.namenode.rpc-address |
| YARN | nodemanager | 8042 | TCP | IN | NodeManager Web UI | yarn.nodemanager.webapp.address |
| YARN | resourcemanager | 8032 | TCP | IN | Адрес интерфейса менеджера приложений в RM. | yarn.resourcemanager.address |
| YARN | timeline | TCP8188 | IN | Timeline Server Web UI | yarn.timeline-service.webapp.address | |
| MapReduce | historyserver | 19888 | TCP | IN | MapReduce JobHistory Server Web UI | mapreduce.jobhistory.webapp.address |
| MapReduce | MapReduce am | 21100-21200 | TCP | IN | Диапазон портов, которые MapReduce AM может использовать при привязке | yarn.app.mapreduce.am.job.client.port-range |
| HIVE | HiveServer | 10000 | TCP | IN | Номер порта интерфейса HiveServer2 Thrift | hive.server2.thrift.port |
| HIVE | HiveMetastore | 9083 | TCP | IN | Порт прослушивания HiveMetastore | hive.metastore.port |
| HIVE | HA-HiveServer | 20000 | TCP | IN | Порт балансировка для подключения к HiveServer | |
| HIVE | HA-HiveMetastore | 29083 | TCP | IN | Порт балансировка для подключения к HiveMetastore | |
| Spark | Spark History Server | 18080 | TCP | IN | SparkHistory Web UI | |
| Spark | Spark UI | 4040-6040 | TCP | OUT | Порт для панели мониторинга вашего приложения, на которой отображаются данные о памяти и рабочей нагрузке | spark.ui.port |
| Spark | Spark Driver | 40000-40500 | TCP | OUT | Порт для прослушивания драйвером. Используется для связи с исполнителями и автономным Master (при maxRetries = 500). | spark.driver.port |
| Spark | Spark Block Manager | 40500-41000 | TCP | IN-OUT | Порты для подъема экзекуторов (при maxRetries = 500) | spark.blockManager.port spark.port.maxRetries |
| Zookeeper | Zookeeper Servers | 2181 | TCP | IN | Порт для прослушивания клиентских подключений | clientPort |
| Ranger | Ranger UI | 6080 | TCP | IN | Ranger admin web UI | ranger.service.http.port |
| Ranger | HA-Ranger UI | 26080 | TCP | IN | Порт балансировка для подключения к Ranger Web UI |
Порты для взаимодействия компонентов и сервисов внутри кластера(исключая порты для edgenode и служебных нужд):
| Компонент | Сервис | Порты | Протокол | Направление | Описание | Параметр |
|---|---|---|---|---|---|---|
| Zookeeper | zookeeper | 2888,3888 | TCP | IN | Одноранговые узлы, используемые для связи с другими одноранговыми узлами | server.[1..255] |
| HDFS | journalnode | 8480 | TCP | IN | JournalNode HTTP server | dfs.journalnode.http-address |
| HDFS | journalnode | 8485 | TCP | IN | JournalNode RPC server | dfs.journalnode.rps-address |
| YARN | resourcemanager | 8030 | TCP | IN | Адрес интерфейса планировщика | yarn.resourcemanager.scheduler.address |
| YARN | resourcemanager | 8031 | TCP | IN | Для каждого rm-id укажите хост: порт, к которому будут подключаться NodeManagers. Если хост указан, переопределяет имя хоста, указанное в yarn.resourcemanager.hostname.rm-id. | yarn.resourcemanager.resource-tracker.address |
| YARN | resourcemanager | 8033 | TCP | IN | Адрес интерфейса RM admin | yarn.resourcemanager.admin.address |
| HDFS | datanode | 9867 | TCP | IN | Datanode ipc порт | dfs.datanode.ipc.address |
| YARN | timeline | 10200 | TCP | IN | Timeline server RPC порт | yarn.timeline-service.address |
| MapReduce | historyserver | 10020 | TCP | IN | MapReduce JobHistory Server IPC | mapreduce.jobhistory.address |
| MapReduce | historyserver | 10033 | TCP | IN | Админ интерфейс History server | mapreduce.jobhistory.admin.address |
| HDFS | zkfc | 8019 | TCP | IN | RPC порт для Zookeeper Failover Controller. | dfs.ha.zkfc.port |
| HDFS | namenode | 8051 | TCP | IN | NameNode RPC lifeline адрес. | dfs.namenode.lifeline.rpc-address. |
| YARN | nodemanager | 8040 | TCP | IN | Nodemanager localizer IPC | yarn.nodemanager.localizer.address |
| YARN | nodemanager | 13562 | TCP | IN | ShuffleHandler в NodeManager | mapreduce.shuffle.port |
| YARN | nodemanager | 7337 | TCP | IN | Порт, на котором будет запущен внешний shuffle сервис. | spark.shuffle.service.port |
| YARN | nodemanager | random | TCP | IN | Порт менеджера контейнеров в nodemanager. | yarn.nodemanager.address |
| Postgresql | Postgresql | 5432 | TCP | IN | Подключение к Postgresql для hivemetastore, ranger. | |
| HIVE | hiveserver2 | 10002 | TCP | IN | Порт, который будет прослушиваться веб-интерфейсом HiveServer2. Установите значение 0 или отрицательное число, чтобы отключить функцию веб-интерфейса HiveServer2. | hive.server2.webui.port |
| RANGER | ranger admin | 6085 | TCP | IN | Порт выключения веб-сервера ranger admin. | ranger.service.shutdown.port |