有没有黑客的联系方式?黑客在线接单网站(黑客技术接单网站)-林茶心热点网

有没有黑客的联系方式?黑客在线接单网站(黑客技术接单网站)

作者：刘胜芬

围观群众：23

更新于 2022-10-01 14:50:03

起初是这么配置spark日志输出到kafka的：

log4j.rootCategory=INFO, console, kafka

log4j.appender.console=org.apache.log4j.ConsoleAppender

log4j.appender.console.target=System.err

log4j.appender.console.layout=org.apache.log4j.PatternLayout

log4j.appender.console.layout.ConversionPattern=%d{yyyy/MM/dd HH:mm:ss.SSS} %p %c{1}: [${log4j.pipelineId}] %m%n

# Kafka appender

log4j.appender.kafka=org.apache.kafka.log4jappender.KafkaLog4jAppender

# Set Kafka topic and brokerList

log4j.appender.kafka.topic=yarn_spark_log

log4j.appender.kafka.brokerList=localhost:9092

log4j.appender.kafka.compressionType=none

log4j.appender.kafka.syncSend=false

log4j.appender.kafka.maxBlockMs=10

log4j.appender.kafka.layout=org.apache.log4j.PatternLayout

log4j.appender.kafka.layout.ConversionPattern=%d{yyyy/MM/dd HH:mm:ss.SSS} %p %c{1}: [${log4j.pipelineId}] %m

这里用org.apache.kafka.log4jappender.KafkaLog4jAppender默认将所有日志都输出到kafka，这个appender已经被kafka官方维护，稳定性应该是可以保障的。

问题定位

发现问题后，尝试将输出到kafka的规则去掉，问题解除！于是把问题定位到跟日志输出到kafka有关。通过其他测试，证实目标kafka其实是正常的，这就非常奇怪了。

查看yarn的ResourceManager日志，发现有如下超时

2020-05-07 21:49:48,230 INFO org.apache.hadoop.yarn.util.AbstractLivelinessMonitor: Expired:appattempt_1578970174552_3204_000002 Timed out after 600 secs
2020-05-07 21:49:48,230 INFO org.apache.hadoop.yarn.server.resourcemanager.rmapp.attempt.RMAppAttemptImpl: Updating application attempt appattempt_1578970174552_3204_000002 with final
state: FAILED, and exit status: -1000
2020-05-07 21:49:48,231 INFO org.apache.hadoop.yarn.server.resourcemanager.rmapp.attempt.RMAppAttemptImpl: appattempt_1578970174552_3204_000002 State change from LAUNCHED to FINAL_SAV
ING on event = EXPIRE

表明，yarn本身是接收任务的，但是发现任务迟迟没有启动。在spark的场景下其实是指只有driver启动了，但是没有启动executor。
而查看driver日志，发现日志输出到一个地方就卡住了，不往下继续了。通过对比成功运行和卡住的情况发现，日志卡在这条上：

2020/05/07 19:37:10.324 INFO SecurityManager: Changing view acls to: yarn,root
2020/05/07 19:37:10.344 INFO Metadata: Cluster ID: 6iG6WHA2SoK7FfgGgWHt_A