Python spark_专题 - Python中文网

当前热门话题： Python spark: 本站为您提供最新、最全的spark的Python教程、文档、代码、资源等相关内容，Python中文网技术交流社区同时还提供学习资源下载，如：电子书、IDE编辑器软件、编程视频、代码规范标准、WEB开发、GUI、科学计算与人工智能等相关内容。

本文网址：https://cnpython.com/tags/253414
欢迎加入QQ群-->： 979659372

关于spark 相关联的Python项目和问题：

如何将新列添加到Spark数据帧（使用PySpark）？

我有一个Spark数据框（使用PySpark 1.5.1），希望添加一个新列。我试过以下方法，但没有成功： type(randomed_hours) # => list # Create i ...

2024-05-02 已阅读: n次

为什么我的Spark数据帧比RDD慢得多？

我有一个非常简单的Spark DataFrame，当运行dataframegroupby时，性能非常糟糕-大约比（在我脑海中）等效的RDD reduceByKey慢8倍。。。在我缓存的DF只有两列， ...

2024-05-02 已阅读: n次

pyspark-一个RDD和一个输出fi中有多个输入文件

我在Python中有一个wordcount，我想在Spark上运行它，它包含多个文本文件，并得到一个输出文件，因此单词在所有文件中都被计算在内。我尝试了一些解决方案，例如找到了here和here，但它 ...

2024-05-02 已阅读: n次

如何将Python列表添加到Spark数据帧？

我有一个10000*1的Python列表。我想把它添加到一个Spark数据框中，这样数据框就包含10000行。我该怎么做？ ...

2024-05-02 已阅读: n次

PySpark:StructField（…，…，False）总是返回“nullable=true”，而不是“nullable=False”`

我刚来PySpark，正面临一个奇怪的问题。我试图在加载CSV数据集时将某列设置为不可为空。我可以用一个非常小的数据集来复制我的案例（test.csv）： col1,col2,col3 11,12,1 ...

2024-05-02 已阅读: n次

用Sp将列转换为行

我正试图将表中的某些列转换为行。我正在使用Python和Spark 1.5.0。这是我的初始表格： +-----+-----+-----+-------+ | A |col_1|col_2|co ...

2024-05-02 已阅读: n次

（py）sp中的简单映射分区作业

这是我的代码： # map function def echo(lines): if lines: for i, line in enumerate(lines): ...

2024-05-02 已阅读: n次

如何用Sp求中值和分位数

如何使用分布式方法IPython和Spark找到整数的RDD中值？RDD大约是700000个元素，因此太大，无法收集和找到中位数。这个问题和这个问题类似。但是，问题的答案是使用Scala，我不知道。 ...

2024-05-02 已阅读: n次

如何在pyspark中将密集向量的RDD转换成数据帧？

我有一个这样的DenseVectorRDD >>> frequencyDenseVectors.collect() [DenseVector([1.0, 0.0, 1.0, 1.0, ...

2024-05-02 已阅读: n次

Apache Spark与Python：

新来的火花。下载了所有内容，但运行pyspark时会出现以下错误： Type "help", "copyright", "credits" or "license" for more informat ...

2024-05-02 已阅读: n次

Pyspark—py文件不

我用这个作为文档建议http://spark.apache.org/docs/1.1.1/submitting-applications.html spsark版本1.1.0 ./spark/bin/ ...

2024-05-02 已阅读: n次

检查RDD中是否存在值

我用python编写了一个正常工作的Spark程序。但是，从内存消耗的角度来看，它是低效的，我正在尝试优化它。我在AWS EMR上运行它，EMR因为消耗太多内存而终止了工作。 Lost execu ...

2024-05-02 已阅读: n次

pixioptimus

spark python笔记本生产力库此包Python名称：pixioptimus 目前版本： pixioptimus 1.0.10 ...

2024-05-02 已阅读: n次

spark-test

一个断言函数集合，用于测试像dataframes这样的spark集合 - 在开发spark应用程序时，最终可以编写在spark数据帧上应用转换的方法。为了测试结果，您可以创建pandasdatafra ...

2024-05-02 已阅读: n次

aztk

azure分布式数据工程工具包（aztk） azure分布式数据工程工具包（aztk）是一个python cli应用程序，用于在azure的docker集群上提供按需spark。这是一个廉价和容易的方 ...

2024-05-02 已阅读: n次

isparkcache

在ipython笔记本中定义要缓存的%sparkcache单元格魔术持久化中持久计算的数据帧和输出 Hadoop中的拼花文件。当笔记本中的某些计算是很长，并且您希望轻松地将结果保存到文件中。基于 ...

2024-05-02 已阅读: n次

lofn

轻量级编排：使用spark和docker并行化的串行工具包装器此包Python名称：lofn 目前版本： lofn 0.4.0 最 ...

2024-05-02 已阅读: n次

mesos

apache mesos是一个提供高效资源隔离的集群管理器。以及跨分布式应用程序共享。米索斯可以运行hadoop，詹金斯， Spark、Aurora和动态共享节点池上的其他应用程序。这个包为基于 ...

2024-05-02 已阅读: n次

spark-python

Cisco Spark API的Python绑定此包Python名称：spark-python 目前版本： spark-python 0.0.13 ...

2024-05-02 已阅读: n次

spark-monitoring

火花监测与Spark历史服务器交互的Python库。快速启动基本 $ pip install spark-monitoring import sparkmonitoring as sparkm ...

2024-05-02 已阅读: n次

tensorspark

高性能机器学习可扩展系统spark上的tensorflow 此包Python名称：tensorspark 目前版本： tensorspark 1.0 ...

2024-05-02 已阅读: n次

Lython

使用spark解析lisp方言。简单的宏。编译为python字节码。生成pyc，pyo文件。全功能交互式翻译。基于迈尔斯·伊根的莱顿。 ...

2024-05-02 已阅读: n次

gitsearch-cli

Git搜索搜索github的简单命令行。简介 git-search是一个简单的命令行工具，允许您在GitHub中搜索用户和存储库。安装要安装git search，可以使用pip和以下命令； p ...

2024-05-02 已阅读: n次

spark-access-pp

示例python类提供与cisco spark的基本交互。 ...

2024-05-02 已阅读: n次

sparkpickle

[！[构建状态]（https://travis-ci.org/src-d/sparkpickle.svg？branch=master）（https://travis-ci.org/src-d/spar ...

2024-05-02 已阅读: n次

pyrasterframes

#太阳星框架 PyrasterFrames允许访问和处理Pyspark数据帧中的地理空间光栅数据。 ##入门开始的最快方法是[pip]（https://pip.pypa.io/en/stable/i ...

2024-05-02 已阅读: n次

spark-stratifier

Spark的分层交叉验证程序关于 Spark Stratifier是一个具有当前Spark CrossValidator类扩展的工具。它旨在对数据集进行分层，以便在处理包含不平衡类的数据集时消除不 ...

2024-05-02 已阅读: n次

nose2-spark

nose2在pyspark（Apache Spark）支持下运行测试的插件。功能：在nose2执行的代码中使“pyspark”可导入。添加pyspark应用程序的py-files依赖项列表（其 ...

2024-05-02 已阅读: n次

spark-df-profiling-optimus

从apache spark数据帧创建html分析报告此包Python名称：spark-df-profiling-optimus 目前版本： spa ...

2024-05-02 已阅读: n次

pipetree

一个建立在Spark之上的极简数据管道库和cli。此包Python名称：pipetree 目前版本： pipetree 0.1.0 ...

2024-05-02 已阅读: n次

h2o-pysparkling-2.4

PySparkling文档位于我们的文档页：对于Spark 2.4-http://docs.h2o.ai/sparkling-water/2.4/latest-stable/doc/pyspar ...

2024-05-02 已阅读: n次

sparkl

pyspark的helpers&syntax; sugar。有几个功能可以让您的生活更轻松：在代码中定义spark包、外部jar、udf和spark选项； Cassandra、Elastic、M ...

2024-05-02 已阅读: n次