这是纽交所的工具
nysol的Python项目详细描述
nysol(读作nee-sol)是为支持大数据分析而设计的软件工具和项目活动的总称。这些工具是从各种大规模数据分析和大学研究项目中开发出来的。到目前为止,纽交所包括两个套餐,即mcmd和take。
mcmd是为高速处理python列表或csv文件中的大规模结构化表格数据而开发的一组方法。每个方法从标准输入读取表格数据,并执行非常简单的处理方法(如排序、汇总、联接、合并等)并将结果写入标准输出。它通过将单个方法与名为“pipe”的线程间流连接来实现各种处理功能,因此每个进程的输出直接作为下一个进程的输入。在一台标准的PC机上,可以有效地处理一个包含数亿行记录的大规模数据。
ta ke(发音是“take”,不是普通的“take”,代表开发人员的名字)是一个数据挖掘库,它由多种方法组成,如项集挖掘、顺序模式挖掘、集团枚举、图形抛光等。该软件包是由日本国立信息学研究所(national institute of informatics in japan)的Takeaki uno教授领导的中心开发的。用python包装他的原始软件。
nysol在unix环境下运行(linux和mac os x,而不是windows)。