用于大数据场景的pycompss库。

ddf-pycompss的Python项目详细描述


分布式数据帧库提供分布式算法和操作,可作为通过pycompss编程模型实现的库使用。目前,它高度关注etl(extract-

转换负载)和机器学习算法到数据科学任务。DDF的灵感来自Spark的数据帧和它的运营商。

目前,一个操作可以是两种类型,转换或操作。操作操作是产生最终结果的操作(是保存到文件还是显示在屏幕上)。转变 操作是将一个输入ddf转换为另一个输出ddf的操作。除此分类外,还有一个处理阶段和两个或多个处理阶段的操作(即 需要在分区之间交换信息)。

当运行ddf操作/算法时,上下文变量(compss context)将在comps任务调度期间检查优化的可能性。这些优化可以是以下类型:分组一 将操作转移到单个任务compss和stacking操作,直到找到操作操作为止。

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
java DB2查看最近执行的命令   java正则表达式如何只匹配数字后的字符,而不在匹配模式中包含数字   java是否可以使用Jmh运行基于时间的预热阶段?   java必须输入两次输入,扫描仪才能读取   java如何使用一个或多个类方法设置多个类字段,而这些类方法并不专门引用任何字段?   java Quartz的CronTrigger每24小时一次,如午夜   java字符串索引超出边界异常?   java FXMLLoader找不到fxml文件Maven项目   java Eclipse Indigo在安装m2ewtp插件时遇到问题   java如何为连接池配置Hibernate、Spring和ApacheDBCP?   java netbeans:类中的类路径。福奈姆   javajmx及其在Tomcat内部Docker上的调试   java HTTP状态404 tomcat 7   Java:String split():我希望它在末尾包含空字符串   java我应该使用枚举集吗?   Java StringTokenizer如何查找段落结尾?