如何用Python将内存中的小JSON对象上传到googlebigquery?

2024-06-26 02:23:42 发布

您现在位置:Python中文网/ 问答频道 /正文

有没有办法从内存中获取一个小数据JSON对象并将其上传到googlebigquery而不使用文件系统?在

我们有将文件上传到BigQuery的工作代码。这个代码不再适用于我们,因为我们的新脚本运行在googleappengine上,而googleappengine没有对文件系统的写访问权限。在

我们注意到BigQuery上传配置有一个“MediaFileUpload”选项,其中有一个数据路径。我们无法找到是否有某种方法可以将数据路径更改为内存中的某个内容,或者除了MediaFileUpload之外还有其他方法可以将数据从内存上载到BigQuery。在

 media_body=MediaFileUpload(
            data_path,
            mimetype='application/octet-stream'))
 job = insert_request.execute()

我们已经看到了一些解决方案,建议将数据上传到Google云存储,然后在数据集较大时引用该文件上载到BigQuery。我们的数据集很小,所以这一步似乎不需要占用带宽、处理和时间。在

因此,我们想知道是否有一种方法可以使用Python将小JSON对象直接上传到BigQuery?在


Tags: 文件数据对象方法内存代码路径脚本