Python中文
首页
教程
问答
标签
搜索
登录
注册
python中的MapReduce:操作系统环境[“map_input_file”]无法在中工作地图.py
回答此问题可获得
20
贡献值,回答如果被采纳可获得
50
分。
<p>这是我第一次用python研究hadoopmapreduce。在</p> <p>我写了一个地图.py获取两个文件的文件名,以便学习如何连接两个文件。 以下是两个CSV文件:</p> <p><em>工作表1.csv</em></p> <pre><code>sno,name 1,name1 2,name2 3,name3 4,name4 </code></pre> <p><em>worksheet2.csv</em></p> ^{pr2}$ <p>在地图.py公司名称:</p> <pre><code>#!/bin/bash # -*- coding: utf-8 -*- import os import sys def mapper(): filepath = os.environ["map_input_file"] filename = os.path.split(filepath)[-1] #get the names for line in sys.stdin: if line.strip()=="": continue fields = line[:-1].split("\t") sno = fields[0] #get student ID if filename == 'worksheet1': #get student ID and name, mark 0 name = fields[1] print '\t'.join((sno,'0',name)) elif filename == 'worksheet2': #get student ID, course number, grade, mark 1 courseno = fields[1] grade = fields[2] print '\t'.join((sno,'1',courseno,grade)) if __name__=='__main__': mapper() </code></pre> <p>然后我用</p> <pre><code> $cat worksheet1 worksheet2 |python map.py </code></pre> <p>测试程序。在</p> <p>错误显示如下:</p> <pre><code>Traceback (most recent call last): File "map.py", line 30, in <module> mapper() File "map.py", line 11, in mapper filepath = os.environ['map_input_file'] File "/usr/lib64/python2.7/UserDict.py", line 23, in __getitem__ raise KeyError(key) KeyError: 'map_input_file' </code></pre> <p>请告诉我为什么以及如何修改代码。 非常感谢你!在</p>
0 条评论
分类:
Python问答
请先
登录
后评论
默认排序
时间排序
1 个回答
匿名
1天前
擅长:python、mysql、java
<p>尚未设置<code>map_input_file</code>环境变量。此外,您将数据文件管道化到脚本中,以便在脚本中以<code>sys.stdin</code>的形式提供,但是发现当前正在读取其中哪一个的代码是完全错误的。我建议只使用<code>fileinput</code>模块。在</p>
请先
登录
后评论
针对此问题:
更多的回答
关注
89
关注
收藏
1
收藏,
216
浏览
网友 提问于 2天前
相关Python问题
如何提高Djang的410误差
7 回答
如何提高doc2vec模型中两个文档(句子)的余弦相似度?
1 回答
如何提高Docker的日志限制?|[输出已剪裁,达到日志限制100KiB/s]
6 回答
如何提高DQN的性能?
10 回答
如何提高EasyOCR的准确性/预测?
6 回答
如何提高Euler#39项目解决方案的效率?
10 回答
如何提高F1成绩进行分类
5 回答
如何提高FaceNet的准确性
7 回答
如何提高fft处理的精度?
1 回答
如何提高Fibonacci实现对大n的精度?
5 回答
如何提高Flask与psycopg2的连接时间
1 回答
如何提高FosterCauer变换的scipy.signal.invres()的数值稳定性?
7 回答
如何提高gae查询的性能?
2 回答
如何提高GANs用于时间序列预测/异常检测的结果
2 回答
如何提高gevent和tornado组合的性能?
9 回答
如何提高googleappengin请求日志的吞吐量
2 回答
如何提高googlevision文本识别的准确性
8 回答
如何提高groupby/apply效率
6 回答
如何提高Gunicorn中的请求率
10 回答
如何提高G中的文件编码转换
2 回答