在hadoop上运行作业时,得到以下结果

2024-09-28 21:56:32 发布

您现在位置:Python中文网/ 问答频道 /正文

我试着做地图缩小的工作。我的mapper代码和reducer代码(python代码)在本地应用程序中都运行良好系统。但是当我尝试在hadoop上运行它时,我得到了以下错误

错误:java.lang.RuntimeException异常: PipeMapRed.waitOutputThreads文件():子进程失败,代码为127 在org.apache.hadoop下载.streaming.PipeMapRed.waitOutputThreads流(PipeMapRed.java:320) 在org.apache.hadoop下载.streaming.PipeMapRed.mapred已完成(PipeMapRed.java:533) 在org.apache.hadoop下载.streaming.PipeMapper.close文件(PipeMapper.java:130) 在org.apache.hadoop下载.mapred.MapRunner.run运行(MapRunner.java:61) 在org.apache.hadoop下载.streaming.PipeMapRunner.run运行(PipeMapRunner.java:34) 在org.apache.hadoop下载.mapred.MapTask.runOldMapper映射器(MapTask.java:430) 在org.apache.hadoop下载.mapred.MapTask.run(MapTask.java:342) 在org.apache.hadoop下载.mapred.YarnChild公司250万美元(YarnChild.java:167) 在java.security.AccessController.doPrivileged(本机方法) 在javax.security.auth文件.主题.doAs(主题:java:415) 在org.apache.hadoop下载.security.UserGroupInformation.doAs(UserGroupInformation.java:1557) 在org.apache.hadoop下载.mapred.YarnChild.main地图(YarnChild.java:162)你知道吗

15/01/22 23:32:06信息mapreduce作业:任务Id:尝试\u 1414619043632 \u 78083 \u m \u000000 \u 0,状态:失败 错误:java.lang.RuntimeException异常: PipeMapRed.waitOutputThreads文件():子进程失败,代码为127 在org.apache.hadoop下载.streaming.PipeMapRed.waitOutputThreads流(PipeMapRed.java:320) 在org.apache.hadoop下载.streaming.PipeMapRed.mapred已完成(PipeMapRed.java:533) 在org.apache.hadoop下载.streaming.PipeMapper.close文件(PipeMapper.java:130) 在org.apache.hadoop下载.mapred.MapRunner.run运行(MapRunner.java:61) 在org.apache.hadoop下载.streaming.PipeMapRunner.run运行(PipeMapRunner.java:34) 在org.apache.hadoop下载.mapred.MapTask.runOldMapper映射器(MapTask.java:430) 在org.apache.hadoop下载.mapred.MapTask.run(MapTask.java:342) 在org.apache.hadoop下载.mapred.YarnChild公司250万美元(YarnChild.java:167) 在java.security.AccessController.doPrivileged(本机方法) 在javax.security.auth文件.主题.doAs(主题:java:415) 在org.apache.hadoop下载.security.UserGroupInformation.doAs(UserGroupInformation.java:1557) 在org.apache.hadoop下载.mapred.YarnChild.main地图(YarnChild.java:162)你知道吗

15/01/22 23:32:14信息mapreduce作业:任务Id:尝试\u 1414619043632 \u 78083 \u m \u000000 \u 1,状态:失败 错误:java.lang.RuntimeException异常: PipeMapRed.waitOutputThreads文件():子进程失败,代码为127 在org.apache.hadoop下载.streaming.PipeMapRed.waitOutputThreads流(PipeMapRed.java:320) 在org.apache.hadoop下载.streaming.PipeMapRed.mapred已完成(PipeMapRed.java:533) 在org.apache.hadoop下载.streaming.PipeMapper.close文件(PipeMapper.java:130) 在org.apache.hadoop下载.mapred.MapRunner.run运行(MapRunner.java:61) 在org.apache.hadoop下载.streaming.PipeMapRunner.run运行(PipeMapRunner.java:34) 在org.apache.hadoop下载.mapred.MapTask.runOldMapper映射器(MapTask.java:430) 在org.apache.hadoop下载.mapred.MapTask.run(MapTask.java:342) 在org.apache.hadoop下载.mapred.YarnChild公司250万美元(YarnChild.java:167) 在java.security.AccessController.doPrivileged(本机方法) 在javax.security.auth文件.主题.doAs(主题:java:415) 在org.apache.hadoop下载.security.UserGroupInformation.doAs(UserGroupInformation.java:1557) 在org.apache.hadoop下载.mapred.YarnChild.main地图(YarnChild.java:162)你知道吗

15/01/22 23:32:14信息mapreduce作业:任务Id:尝试\u 1414619043632 \u 78083 \u m \u000001 \u 1,状态:失败 错误:java.lang.RuntimeException异常: PipeMapRed.waitOutputThreads文件():子进程失败,代码为127 在org.apache.hadoop下载.streaming.PipeMapRed.waitOutputThreads流(PipeMapRed.java:320) 在org.apache.hadoop下载.streaming.PipeMapRed.mapred已完成(PipeMapRed.java:533) 在org.apache.hadoop下载.streaming.PipeMapper.close文件(PipeMapper.java:130) 在org.apache.hadoop下载.mapred.MapRunner.run运行(地图跑步者.jav答:61) 在org.apache.hadoop下载.streaming.PipeMapRunner.run运行(PipeMapRunner.java:34) 在org.apache.hadoop下载.mapred.MapTask.runOldMapper映射器(MapTask.java:430) 在org.apache.hadoop下载.mapred.MapTask.run(MapTask.java:342) 在org.apache.hadoop下载.mapred.YarnChild公司250万美元(YarnChild.java:167) 在java.security.AccessController.doPrivileged(本机方法) 在javax.security.auth文件.主题.doAs(主题:java:415) 在org.apache.hadoop下载.security.UserGroupInformation.doAs(UserGroupInformation.java:1557) 在org.apache.hadoop下载.mapred.YarnChild.main地图(YarnChild.java:162)你知道吗

15/01/22 23:32:21信息mapreduce作业:任务Id:尝试\u 1414619043632 \u 78083 \u m \u000000 \u 2,状态:失败 错误:java.lang.RuntimeException异常: PipeMapRed.waitOutputThreads文件():子进程失败,代码为127 在org.apache.hadoop下载.streaming.PipeMapRed.waitOutputThreads流(PipeMapRed.java:320) 在org.apache.hadoop下载.streaming.PipeMapRed.mapred已完成(PipeMapRed.java:533) 在org.apache.hadoop下载.streaming.PipeMapper.close文件(PipeMapper.java:130) 在org.apache.hadoop下载.mapred.MapRunner.run运行(MapRunner.java:61) 在org.apache.hadoop下载.streaming.PipeMapRunner.run运行(PipeMapRunner.java:34) 在org.apache.hadoop下载.mapred.MapTask.runOldMapper映射器(MapTask.java:430) 在org.apache.hadoop下载.mapred.MapTask.run(MapTask.java:342) 在org.apache.hadoop下载.mapred.YarnChild公司250万美元(YarnChild.java:167) 在java.security.AccessController.doPrivileged(本机方法) 在javax.security.auth文件.主题.doAs(主题:java:415) 在org.apache.hadoop下载.security.UserGroupInformation.doAs(UserGroupInformation.java:1557) 在org.apache.hadoop下载.mapred.YarnChild.main地图(YarnChild.java:162)你知道吗

15/01/22 23:32:22信息mapreduce作业:任务Id:尝试\u 1414619043632 \u 78083 \u m \u000001 \u 2,状态:失败 错误:java.lang.RuntimeException异常: PipeMapRed.waitOutputThreads文件():子进程失败,代码为127 在org.apache.hadoop下载.streaming.PipeMapRed.waitOutputThreads流(PipeMapRed.java:320) 在org.apache.hadoop下载.streaming.PipeMapRed.mapred已完成(PipeMapRed.java:533) 在org.apache.hadoop下载.streaming.PipeMapper.close文件(PipeMapper.java:130) 在org.apache.hadoop下载.mapred.MapRunner.run运行(MapRunner.java:61) 在org.apache.hadoop下载.streaming.PipeMapRunner.run运行(PipeMapRunner.java:34) 在org.apache.hadoop下载.mapred.MapTask.runOldMapper映射器(MapTask.java:430) 在org.apache.hadoop下载.mapred.MapTask.run(MapTask.java:342) 在org.apache.hadoop下载.mapred.YarnChild公司250万美元(YarnChild.java:167) 在java.security.AccessController.doPrivileged(本机方法) 在javax.security.auth文件.主题.doAs(主题:java:415) 在org.apache.hadoop下载.security.UserGroupInformation.doAs(UserGroupInformation.java:1557) 在org.apache.hadoop下载.mapred.YarnChild.main地图(YarnChild.java:162)你知道吗

15/01/22 23:32:30信息mapreduce作业:映射100%减少100% 15/01/22 23:32:31信息mapreduce作业:作业作业\u 1414619043632 \u 78083失败,状态为失败,原因是:任务失败任务\u 1414619043632 \u 78083 \u m\u000001 作业失败,因为任务失败。f级故障地图:1个故障减少:0

15/01/22 23:32:31信息mapreduce作业:计数器:12 作业计数器 失败的映射任务=7 终止的地图任务=1 启动的地图任务=8 其他本地地图任务=8 所有映射在占用的插槽中花费的总时间(ms)=51787 所有服务器在占用的插槽中花费的总时间(ms)=0 所有map任务花费的总时间(毫秒)=51787 所有地图任务占用的vcore总秒数=51787 所有映射任务占用的总兆字节秒数=450754048 Map-Reduce框架 CPU时间(毫秒)=0 物理内存(字节)快照=0 虚拟内存(字节)快照=0 15/01/22 23:32:31错误流.StreamJob:作业未成功!你知道吗


Tags: 文件runorghadoopapache作业地图java