Python中文网 - 问答频道, 解决您学习工作中的Python难题和Bug
Python常见问题
我目前正试图在谷歌云平台上建立一个培训管道。虽然我可以在单个实例上进行训练，但数据可以扩展<；=1 TB。这就给我留下了一些选择，比如如何使用云平台来处理这个应用程序的培训管道。我正在考虑使用spark连接器连接Postgres，它可以读取数据，然后使用pandas或其他数据帧功能执行数据争用。这将输入深度学习/机器学习培训，然后输出模型。我曾读到类似气流/路易吉这样的东西可以帮助装载这样的管道。然而，在设计这个系统之前，我有一大堆问题想知道答案：
- 当Spark连接到Postgres数据库时，它会将整个数据集下载到临时文件/Avro/Parquet文件中进行处理。我可以在这里使用最小内存吗？我如何确保这种情况发生
- 谷歌云平台/AWS上是否有任何工具已经能够实现类似的功能？没有说明原因，我不想使用DataBricks
- 我想使用大量的机器学习算法。一开始我想使用传统的回归方法，如套索等，随着时间的推移，我想开始使用更深入的学习技术，如CNN/RNN。我知道这是一个满载的问题，可能适合于它自己的堆栈溢出问题
- 此体系结构是否存在任何可伸缩性问题
Tags： 数据实例lt功能机器应用程序pandas管道
热门问题
- Python中是否有类似Clojure的线程宏？
- Python中是否有类似JPanel的组件？
- Python中是否有类似MATLAB的vpasolve的等价解算器
- python中是否有类似NLTK的东西不需要安装？
- python中是否有类似osgi在java中试图解决的需求？
- python中是否有类似PAM的模块？
- Python中是否有类似Perl的Data::Dumper的工具用来检查数据结构？
- python中是否有类似robocy的函数，带有重试选项？
- Python中是否有类似Rstudio的帮助部分？
- python中是否有类似ruby的索引方法？
- python中是否有类似于“perlpe”选项的内容？
- Python中是否有类似于C++ STL映射的结构？
- python中是否有类似于C中预处理器行为的工具？
- Python中是否有类似于Harmony的let关键字的内容？
- python中是否有类似于matlab中fzero的函数？
- python中是否有类似于MATLAB中peaks（N）的函数/实现？
- Python中是否有类似于Matlab的deconvblind的函数？
- Python中是否有类似于Perl中“想要”的东西
- Python中是否有类似于Perl正则表达式中的"local"变量？
- python中是否有类似于php的$$变量的语法
热门文章
- Python覆盖写入文件
- 怎样创建一个 Python 列表？
- Python3 List append()方法使用
- 派森语言
- Python List pop()方法
- Python Django Web典型模块开发实战
- Python input() 函数
- Python3 列表(list) clear()方法
- Python游戏编程入门
- 如何创建一个空的set?
- python如何定义(创建)一个字符串
- Python标准库 [The Python Standard Library by Ex
- Python网络数据爬取及分析从入门到精通（分析篇）
- Python3 for 循环语句
- Python List insert() 方法
- Python 字典(Dictionary) update()方法
- Python编程无师自通 专业程序员的养成
- Python3 List count()方法
- Python 网络爬虫实战 [Web Crawler With Python]
- Python Cookbook（第2版）中文版
对此，我的回答是使用了以下的一些方法：
请让我知道是否有任何关于此架构的反馈
相关问题 更多 >
编程相关推荐