没有项目描述

Trough的Python项目详细描述


https://travis-ci.org/internetarchive/trough.svg?branch=master

大数据,小数据库。

大数据其实就是一堆又一堆的小数据。

如果您将一个大数据集拆分为许多小的sql数据库,这些数据库被切分在一个精心选择的键上, 它们可以协同工作,创建一个可以查询非常大的数据集的数据库系统。

最坏情况下的性能是重要的

使用大型数据集时的一个关键洞察是,使用单片大数据工具的性能 很大程度上依赖于完整的数据集在 生产质量集群。

槽的设计具有非常可预测的性能特点:只需确定切分键, 确定最大的碎片,在本地将其加载到sqlite数据库中,您已经知道最坏的情况 性能场景。

旨在利用存储,而不是ram

而不是有巨大的CPU和内存需求来在大型数据集上提供性能查询, 槽依赖于平面的sqlite文件,这些文件很容易分发到集群并进行查询。

可靠部件,可靠整体

堆栈中的每一项技术都经过精心选择和负载测试,以确保数据保持不变 可靠的向上和可靠的可查询性。代码足够小,一个程序员可以审核。

易于安装

建立一个大数据系统最糟糕的部分通常是设置合理的默认值和 将其部署到登台和生产环境中。槽的设计要求 尽可能配置。

Ansible部署规范示例已从槽中删除 回购,但可以在https://github.com/internetarchive/trough/tree/cc32d3771a7/ansible找到。 它是为集群ubuntu 16.04xenial节点设计的。

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
Java Swing窗体的Nullpointerexception   java getWidth()在onCreate中返回0   java如何在扩展活动的类中显示Toast   jsp如何在Java中捕获HTTP 404   运行AlexaHelloWorldSample时出现java问题   jdatechooser Java日期选择器弹出日历   JavaGoogle在一个图表上绘制多条线   java日志文件备份问题   java获取实现泛型接口的类的泛型类型   Android Studio单元测试:读取数据(输入)文件   java合并两个Google地图代码   java Struts2 s:带有特殊字符的url参数未正确解码   java如何制作跳过开关的开关?   java如何在appium中验证元素唯一性   java搜索视图回收器视图搜索过滤器在安卓中无法正常工作