如何使用分布式方法IPython和Spark找到整数的RDD
中值?RDD
大约是700000个元素,因此太大,无法收集和找到中位数。
这个问题和这个问题类似。但是,问题的答案是使用Scala,我不知道。
How can I calculate exact median with Apache Spark?
使用Scala答案的思想,我试图用Python编写一个类似的答案。
我知道我首先想对RDD
排序。我不知道怎么做。我看到了sortBy
(按给定的keyfunc
对这个RDD进行排序)和sortByKey
(对这个RDD
进行排序,假设它由(键、值)对组成)方法。我认为use key value和myRDD
都只有整数元素。
myrdd.sortBy(lambda x: x)
?rdd.count()
)。编辑:
我有个主意。也许我可以索引我的RDD
,然后key=index和value=element。然后我可以试着按价值排序?我不知道这是否可能,因为只有一个sortByKey
方法。
火花2.0+:
您可以使用实现Greenwald-Khanna algorithm的
approxQuantile
方法:Python:
斯卡拉:
其中最后一个参数是相对误差。数值越小,结果越精确,计算量越大。
由于Spark 2.2(SPARK-14352),它支持对多个列的估计:
以及
火花<;2.0
Python
正如我在评论中提到的,这很可能不值得大惊小怪。如果数据相对较小(如您的情况),则只需在本地收集和计算中值:
在我那台几年前的电脑上大约需要0.01秒,内存大约为5.5MB。
如果数据要大得多,排序将是一个限制因素,因此与其获得确切的值,不如在本地进行采样、收集和计算。但如果你真的想用星火,像这样的东西应该能起到作用(如果我没有搞砸任何事情的话):
还有一些测试:
最后让我们定义中值:
到目前为止还不错,但在没有任何网络通信的情况下,本地模式需要4.66秒。也许有办法改善这一点,但为什么还要费心呢?
与语言无关(Hive UDAF):
如果使用
HiveContext
,也可以使用配置单元UDAFs。积分值:连续值:
在
percentile_approx
中,可以传递一个额外的参数,该参数确定要使用的记录数。下面是我使用窗口函数(pyspark 2.2.0)的方法。
然后调用addMedian方法计算col2的中值:
最后你可以根据需要分组。
如果您只想要一个RDD方法,而不想移动到DF,则添加一个解决方案。 此代码段可以为RDD为double获取百分位数。
如果您输入的百分位数为50,您应该获得您所需的中位数。 如果有什么角落的案子没交代,请告诉我。
相关问题 更多 >
编程相关推荐