Python中文
首页
教程
问答
标签
搜索
登录
注册
我可以将google数据流与本机python一起使用吗?
回答此问题可获得
20
贡献值,回答如果被采纳可获得
50
分。
<p>我正试图在谷歌云中构建一个python ETL管道,谷歌云数据流似乎是一个不错的选择。当我浏览文档和开发人员指南时,我看到ApacheBeam总是连接到数据流,因为它是基于它的。 我可能会发现在apache beam中处理数据帧时出现问题</p> <p>我的问题是:</p> <ul> <li>如果我想用原生python和数据流构建我的ETL脚本,这可能吗?或者我的ETL需要使用ApacheBeam</李> <li>如果数据流只是为了使用ApacheBeam而构建的?是否有用于构建python ETL的无服务器google cloud工具(google cloud函数的执行时间为9分钟,这可能会导致我的管道出现一些问题,我希望避免执行限制)</li> </ul> <p>我的管道旨在从BigQuery中读取数据并处理它,然后将其重新保存在BigQuery表中。我可以在脚本中使用一些外部API</p>
0 条评论
分类:
Python问答
请先
登录
后评论
默认排序
时间排序
1 个回答
匿名
1天前
擅长:python、mysql、java
<p>关于第一个问题,Dataflow需要使用apachebeam。事实上,在ApacheBeam出现之前,有一个叫做Dataflow SDK的东西,它是Google专有的,然后它向ApacheBeam开放源码</p> <p>PythonBeamSDK非常容易,只要您投入一点精力,并且您需要的主要进程操作非常接近本机Python语言</p> <p>如果您的最终目标是读取、处理和写入BQ,我认为Beam+数据流是一个很好的匹配</p>
请先
登录
后评论
针对此问题:
更多的回答
关注
89
关注
收藏
1
收藏,
216
浏览
网友 提问于 2天前
相关Python问题
为什么在使用strptime时会出现未进行转换的数据错误?
3 回答
为什么在使用strptim时会出现这个datetime日期错误
5 回答
为什么在使用StyleFrame时索引列的标题不显示sf.至excel()?
4 回答
为什么在使用sum()函数时会发生“int”对象不可调用的错误?
7 回答
为什么在使用sympy.dsolve时会得到“'list'对象没有属性'func'”?
8 回答
为什么在使用tabla时会得到一个空的数据帧?
4 回答
为什么在使用tensorboard时需要add_graph()的第二个参数?
9 回答
为什么在使用TensorFlow Lite转换YOLOv4时,推断时间/大小没有改进?有什么可能的改进吗?
1 回答
为什么在使用Tensorflow加载训练批时会出现内存泄漏?
9 回答
为什么在使用tensorflow时会收到警告/错误(使用函数API,但未实现错误)
2 回答
为什么在使用tetpyclient发出POST请求时出现403错误?
7 回答
为什么在使用TextBlob时会出现HTTP错误?
3 回答
为什么在使用TFIDF时出现错误“IndexError:list index out of range”pyspark.ml.feature?
10 回答
为什么在使用timedelta格式化之后,我在python中的日期是错误的?
3 回答
为什么在使用timeit或exec函数时,函数中的变量不会在提供的全局命名空间中搜索?
10 回答
为什么在使用tkinter时不能使用复选框?
8 回答
为什么在使用todoistpythonapi时会返回这个奇怪的ID?
6 回答
为什么在使用TQM时,在调整图像大小时,处理时间会有很大的差异?
8 回答
为什么在使用Tweepy下载用户时间线时收到错误消息
8 回答
为什么在使用twitter帐户登录Django应用程序时重定向127.0.0.1:8000?
4 回答