数据流BigQuery插入作业在大数据时立即失败
回答此问题可获得 20 贡献值，回答如果被采纳可获得 50 分。
<p>我使用beam python库设计了一个beam/dataflow管道。管道大致执行以下操作：</p>
<ol>
<li>ParDo：从API收集JSON数据</li>
<li>ParDo:转换JSON数据</li>
<li>转换到写入数据的表：bigo</li>
</ol>
<p>一般来说，代码做它应该做的事情。但是，当从API收集大数据集（大约500.000个JSON文件）时，在使用DataflowRunner（它与在我的计算机上执行的DirectRunner一起工作）时，bigquery插入作业在启动后立即停止（=在一秒钟内）。当使用较小的数据集时，一切正常。在</p>
<p>数据流日志如下：</p>
<pre><code>2019-04-22 (00:41:29) Executing BigQuery import job "dataflow_job_14675275193414385105". You can check its status with the...
Executing BigQuery import job "dataflow_job_14675275193414385105". You can check its status with the bq tool: "bq show -j --project_id=X dataflow_job_14675275193414385105".
2019-04-22 (00:41:29) Workflow failed. Causes: S01:Create Dummy Element/Read+Call API+Transform JSON+Write to Bigquery /Wr...
Workflow failed. Causes: S01:Create Dummy Element/Read+Call API+Transform JSON+Write to Bigquery /WriteToBigQuery/NativeWrite failed., A work item was attempted 4 times without success. Each time the worker eventually lost contact with the service. The work item was attempted on:
beamapp-X-04212005-04211305-sf4k-harness-lqjg,
beamapp-X-04212005-04211305-sf4k-harness-lgg2,
beamapp-X-04212005-04211305-sf4k-harness-qn55,
beamapp-X-04212005-04211305-sf4k-harness-hcsn
</code></pre>
<p>按照建议使用bqcli工具来获取有关bq加载作业的更多信息是行不通的。找不到这个工作（我怀疑它是因为瞬间的失败而创建的）。在</p>
<p>我想我遇到了某种配额/bq限制，甚至内存不足的问题（请参见：<a href="https://beam.apache.org/documentation/io/built-in/google-bigquery/" rel="nofollow noreferrer">https://beam.apache.org/documentation/io/built-in/google-bigquery/</a>）</p>
<blockquote>
<p>Limitations
BigQueryIO currently has the following limitations.</p>
<p>You can’t sequence the completion of a BigQuery write with other steps of >your pipeline.</p>
<p>If you are using the Beam SDK for Python, you might have import size quota >issues if you write a very large <a href="https://www.cnpython.com/pypi/dataset" class="inner-link">dataset</a>. As a workaround, you can partition >the dataset (for example, using Beam’s Partition transform) and write to >multiple BigQuery tables. The Beam SDK for Java does not have this >limitation as it partitions your dataset for you.</p>
</blockquote>
<p>如果能给我一些关于如何缩小这个问题根源的建议，我将不胜感激。在</p>
<p>我还想尝试一个分区Fn，但是没有找到任何python源代码示例如何将分区的pcollection写入BigQuery表。在</p>
请先 登录 后评论
针对此问题: 更多的回答
- 89 关注
- 1 收藏，216 浏览
- 网友 提问于 2天前
相关Python问题
- 如何在乒乓球比赛中预测球的轨迹，对于AI球拍预测？ 1 回答
- 如何在乒乓球游戏中阻止球 1 回答
- 如何在乘法和模中不乘空间？ 5 回答
- 如何在乘法和除以2个不同的数字之间进行交换？ 8 回答
- 如何在也是数据一部分的单个字符上拆分大字符串 1 回答
- 如何在乾草堆中找到針，有更好的解決方案嗎？ 9 回答
- 如何在事件wxWidgets中传递自定义数据 10 回答
- 如何在事件中使用lambda i=i？ 9 回答
- 如何在事件中心只接收最近的数据 9 回答
- 如何在事件发生之前保持云函数运行？ 2 回答
- 如何在事件发生后使页面重定向到同一页面 6 回答
- 如何在事件回调之间保持python生成器的状态 7 回答
- 如何在事件处理程序（pythonsocket、sphinx）中保留docstring 5 回答
- 如何在事件处理程序中更改wxRichTextCtrl的光标位置？ 6 回答
- 如何在事件处理程序中访问外部对象？ 2 回答
- 如何在事件循环中将协程打包为正常函数？ 8 回答
- 如何在事件循环之外运行协同程序？ 4 回答
- 如何在事件循环结束时为并发未来的所有线程调用类方法？ 6 回答
- 如何在事件文件中只保留一份摘要？ 6 回答
- 如何在事件模板中添加事件 9 回答
