Python中文
首页
教程
问答
标签
搜索
登录
注册
大数据分析
回答此问题可获得
20
贡献值,回答如果被采纳可获得
50
分。
<p>我正试图分析大量的GitHub存档数据,但受到许多限制的困扰。在</p> <p>所以我的分析需要我搜索一个350GB的数据集。我有一个本地的数据拷贝,还有一个拷贝可以通过googlebigquery获得。本地数据集被分成25000个单独的文件。数据集是事件的时间轴。在</p> <p>我想画出每个存储库自创建以来的星数。(仅适用于目前超过1000英镑的回购)</p> <p>我可以使用googlebigquery很快得到这个结果,但它每次“分析”13.6GB的数据。这就限制了我75个请求,而不必每增加75个就支付5美元。在</p> <p>我的另一个选择是搜索本地副本,但在每个文件中搜索特定字符串(存储库名称)的时间太长。在我停止进程之前,我在一个SSD驱动器上花了一个多小时浏览了一半的文件。在</p> <p>我有什么更好的方法来分析如此大量的数据?在</p> <p>用于搜索所有本地文件的Python代码:</p> <pre><code>for yy in range(11,15): for mm in range(1,13): for dd in range(1,32): for hh in range(0,24): counter = counter + 1 if counter < startAt: continue if counter > stopAt: continue #print counter strHH = str(hh) strDD = str(dd) strMM = str(mm) strYY = str(yy) if len(strDD) == 1: strDD = "0" + strDD if len(strMM) == 1: strMM = "0" + strMM #print strYY + "-" + strMM + "-" + strDD + "-" + strHH try: f = json.load (open ("/Volumes/WD_1TB/GitHub Archive/20"+strYY+"-"+strMM+"-"+strDD+"-"+strHH+".json", 'r') , cls=ConcatJSONDecoder) for each_event in f: if(each_event["type"] == "WatchEvent"): try: num_stars = int(each_event["repository"]["watchers"]) created_at = each_event["created_at"] json_entry[4][created_at] = num_stars except Exception, e: print e except Exception, e: print e </code></pre> <p>Google Big Query SQL命令:</p> ^{pr2}$ <p>我真的很为难,所以在这一点上的任何建议将不胜感激。在</p>
0 条评论
分类:
Python问答
请先
登录
后评论
默认排序
时间排序
1 个回答
匿名
1天前
擅长:python、mysql、java
<p>我找到了解决这个问题的方法——使用数据库。我将360+GB JSON数据中的相关数据导入到MySQL数据库中并进行查询。以前每个元素3小时以上的查询时间变成了<;10秒。在</p> <p>MySQL的设置不是最容易的,导入大约需要7.5小时,但是结果让我觉得值得。在</p>
请先
登录
后评论
针对此问题:
更多的回答
关注
89
关注
收藏
1
收藏,
216
浏览
网友 提问于 2天前
相关Python问题
我想从用户inpu创建一个类的实例
4 回答
我想从用户导入值,为此
6 回答
我想从用户那里得到一个整数输入,然后让for循环遍历该数字,然后调用一个函数多次
6 回答
我想从用户那里收到一个列表,并在其中执行一些步骤,然后在步骤完成后将其打印回来,但它没有按照我想要的方式工作
10 回答
我想从用户那里获取输入,并将值传递给(average=dict[x]/6),然后在那里获取resu
9 回答
我想从第一个列表中展示第一个词,然后从第二个列表中展示十个词,以此类推- Python
8 回答
我想从第一个空lin开始解析文本文件
5 回答
我想从简历、简历中提取特定部分
2 回答
我想从给定字典(python)的字符串中删除\u00a9、\u201d和类似的字符。
8 回答
我想从给定的网站Lin下载许多文件扩展名相同的Wget或Python文件
10 回答
我想从网上搜集一些关于抵押贷款的数据
10 回答
我想从网站上删除电子邮件地址
2 回答
我想从网站上读取数据该网站包含可下载的文件,然后我想用python脚本把它发送给oracle如何?
6 回答
我想从网站中提取数据,然后将其显示在我的网页上
1 回答
我想从网页上提取统计数据。
4 回答
我想从网页上解析首都城市,并在用户输入国家时在终端上打印它们
4 回答
我想从色彩图中删除前n个颜色,而不丢失原始颜色数
4 回答
我想从课堂上打印字典里的键
5 回答
我想从费用表中获取学生上次支付的费用,其中学生id=id
3 回答
我想从较低的顺序对多重列表进行排序,但我无法在一行中生成结果
8 回答