纱环境中应用程序JAR包冲突问题的分析及解决




纱环境中应用程序JAR包冲突问题的分析及解决

图1:先生的pom.xml,依赖杰克逊的1.9.13





15/11/13 18:14:33信息mapreduce。工作:地图,0%减少0%

15/11/13 18:14:40信息mapreduce。Job: Task Id : attempt_1444449356029_0022_m_000000_0, Status : FAILED

Error: org.codehaus.jackson.JsonNode.asText()Ljava/lang/String;




YARN环境中应用程序JAR包冲突问题的分析及解决

图2:YARN架构图













/Users/umeng/worktools/hadoop-2.3.0-cdh6.1.0/ops/tmp/hadoop-umeng/nm-local-dir/usercache/umeng/appcache/application_1444449356029_0023



图3:NM中Job运行时的目录




Container的CLASSPATH,是由MRApps(MapReduce的AM)传给NodeManager的,NodeManager再写到sh脚本中。


TaskAttemptImpl::createCommonContainerLaunchContext()


setMRFrameworkClasspath()

DEFAULT_YARN_APPLICATION_CLASSPATH


conf.getStrings()












纱环境中应用程序JAR包冲突问题的分析及解决