为股票上的个人数据科学项目存储数据的最佳方式？

Question

我已经试着开始这个项目有一段时间了，我终于开始了，我马上就被卡住了。我的项目的目标是建立一个“bot”，使用股票市场数据为我交易股票。首先，数据将是历史数据，用于作为概念证明的回溯测试/模拟。然后数据将是“动态”的，就像实时添加的一样

首先，我不确定我的数据是结构化的还是半结构化的。我的第一个直觉是在MySQL中构建和使用数据库，但似乎MySQL并不是我真正想要的，因为仅仅添加不同的列来计算派生变量是一个巨大的挑战，加上Python 3似乎不喜欢在程序运行时从MySQL中获取变量。因此，我需要能够高效地存储大量股票数据的东西，我可以轻松地向其中添加派生变量，例如移动平均值，以及Python 3可以轻松地从中提取数据的东西

我对文件扩展名（JSON、CSV？）或存储此类项目数据的系统（DBMS？）感兴趣。我是数据科学的新手，我真的很想把这个做好，这样我就可以开始建立一个投资组合了。我正在使用SSH和一个运行linux的服务器

编辑： 在企业环境中，该流程将如何工作？我的理解是，一家公司可能会将信息存储在SQL DB中，但他们会直接从中提取信息进行分析/处理，还是会先转换为更易访问的内容

Answer 1

将数据存储在文件（JSON、CSV）中是一个良好的开端，但它无法扩展到大量数据。 SQLite非常易于使用，Python库也有很好的文档记录。没有要设置的数据库服务器，所有内容都存储在一个文件中。 如果您需要能够扩展到大量数据并且易于使用时间序列的东西，可以尝试使用XDB。它主要用于分析和监控，但对您的用例可能有用

Answer 2

两种简单的启动方式是TinyDB（json，NoSQL）和sqlite（SQL）

如果您不确定您的数据是结构化的还是半结构化的，我将使用TinyDB开始。这可能不是你最终的结局，但可能会帮助你启动并运行一些东西