提供使用python pickle读取sequencefile-s的函数。

sparkpickle的Python项目详细描述


[![构建状态](https://travis-ci.org/src-d/sparkpickle.svg?branch=master)(https://travis-ci.org/src-d/sparkpickle)[![pypi](https://img.shields.io/pypi/v/sparkpickle.svg)(https://pypi.python.org/pypi/sparkpickle)


sparkpickle
==


spark编写的pickle读取序列文件的纯python实现[saveaspicklefile()](http://spark.apache.org/docs/latest/api/python/pyspark.html pyspark.rdd.saveaspicklefile)。
如果您以有效的二进制pickle格式存储spark的结果,并且希望在不安装任何spark的情况下在计算机上本地加载它们,则需要此操作,
仅给出实际的文件。

[关于创建此项目的文章。](https://blog.sourced.tech/post/reading_pyspark_pickle_locally)


installation
----
```````
pip install sparkpickle
``
支持python 2.7和3.x。


用法
-
行:
```
python-m sparkpickle/path/to/file
````


code:
````
sparkpickle中obj的导入sparkpickle

load-gen(“/path/to/file”):
print(obj)
````

api
--
有3个函数:`load()`,`loads()`和`load-gen()`。前两个
与“pickle”包中的类似,而最后一个是
生成器,它生成反序列化对象,从而提供最小的
内存占用。

许可证
----
apache 2.0.

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
java连接usb到uart设备到安卓设备>3.1   可以强制Php中的web应用程序与Java中的桌面应用程序一起工作吗?   java为什么自定义系统类加载器不工作?   数组在Java中解析具有多个分隔符的字符串   PMD Java 8德米特定律   JavaSpringMVC表单验证不适用于嵌套的复杂类型   让Eclipse Java组织导入以使用Google checkstyle   java Appium:无法创建新会话   java如何在数组中声明新字段   java如何解决“无法初始化类org.apache.cassandra.config.DatabaseDescriptor”?   java AsyncTask创建socket   java向@CreatedBy添加更多信息   如何在ubuntu中运行包含大量jars依赖项的java文件   java如何使用<s:select>标记并在中休眠来填充下拉列表?   java获取错误:找不到符号变量“level”和“next_level_button”   javaweb应用中基于UI的ajax显示代码流   Java长到MySql   java JvisualVM:奇怪的应用程序行为   ubuntu将Java程序的输出结果保存到一个文件中