spark-executor-被yarn杀掉的问题

38次阅读

共计 1930 个字符，预计需要花费 5 分钟才能阅读完成。

spark 的任务，在运行期间 executor 总是挂掉。刚开始觉得是数据量太大 executor 内存不够。但是估算了数据量，觉得不应该出现内存不够。于是，首先尝试通过 jvisualvm 观察 executor 的内存分布：

老年代还没填满，进程就会出现挂掉的情况，所以并不是 jvm 级别的 OOM。
仔细检查对应 NodeManager 的日志，发现如下日志：

WARN org.apache.hadoop.yarn.server.nodemanager.containermanager.monitor.ContainersMonitorImpl: Container [pid=1151,containerID=container_1578970174552_5615_01_
000003] is running beyond physical memory limits. Current usage: 4.3 GB of 4 GB physical memory used; 7.8 GB of 8.4 GB virtual memory used. Killing container.
Dump of the process-tree for container_1578970174552_5615_01_000003 :
        |- PID PPID PGRPID SESSID CMD_NAME USER_MODE_TIME(MILLIS) SYSTEM_TIME(MILLIS) VMEM_USAGE(BYTES) RSSMEM_USAGE(PAGES) FULL_CMD_LINE
        |- 1585 1175 1585 1151 (python) 50 67 567230464 8448 python -m pyspark.daemon
        |- 1596 1585 1585 1151 (python) 1006 81 1920327680 303705 python -m pyspark.daemon
        |- 1175 1151 1151 1151 (java) ...
        |- 1151 1146 1151 1151 (bash) ...
INFO org.apache.hadoop.yarn.server.nodemanager.containermanager.monitor.ContainersMonitorImpl: Memory usage of ProcessTree 1152 for container-id container_1578
970174552_5615_01_000004: 4.3 GB of 4 GB physical memory used; 7.8 GB of 8.4 GB virtual memory used

日志说，某个 container 的进程占用物理内存超过的阈值，yarn 将其 kill 掉了。并且这个内存的统计是基于 Process Tree 的，我们的 spark 任务会启动 python 进程，并将数据通过 pyspark 传输给 python 进程，换句话说数据即存在 jvm，也存在 python 进程，如果按照进程树统计，意味着会重复至少两倍。很容易超过“阈值”。

在 yarn 中，NodeManager 会监控 container 的资源占用，为 container 设置物理内存和虚拟内存的上限，当超过以后，会 kill container。

虚拟内存上限 = 物理内存上限 x yarn.nodemanager.vmem-pmem-ratio(默认是 2.1)

通过设置两个开关可以关闭检查，但注意要设置到 NodeManager 上：

# 物理内存检查
<property>
  <name>yarn.nodemanager.pmem-check-enabled </name>
  <value>false</value>
  <description>Whether physical memory limits will be enforced for containers.</description>
</property>
# 虚拟内存检查
<property>
  <name>yarn.nodemanager.vmem-check-enabled</name>
  <value>false</value>
  <description>Whether virtual memory limits will be enforced for containers.</description>
</property>

还要一种情况跟，spark 自身内存设置有关系，参考：

Spark on Yarn 为什么出现内存超界 container 被 kill

其他参考：

【Hadoop】运行 MR 任务，出现 Container is running beyond physical memory limits 错误
How to set yarn.nodemanager.pmem-check-enabled?

正文完