使用apachebeam从Google云数据存储中批量读取记录

2024-09-23 16:33:09 发布

您现在位置：Python中文网/ 问答频道 /正文
4962 3

我使用apachebeam在Beam自己的io.gcp.datastore.v1.datastoreioPython api的帮助下从Google云数据存储读取数据。你知道吗

我在Google云数据流上运行我的管道。你知道吗

我想确保我的员工没有数据过载。你知道吗

如何分批读取数据，或者使用其他机制确保我的工作人员不会一次性提取大量数据？你知道吗


Tags： 数据ioapi管道google员工读取数据机制
1条回答
网友
1楼 · 发布于 2024-09-23 16:33:09

Dataflow会自动为您执行此操作。默认情况下，datastoreio将文件分为64MB卡盘。如果要将它们分成更小的部分，请使用初始值设定项上的num_splits参数指定要将每个文件分成多少部分。你知道吗

相关问题 更多 >

    编程相关推荐