Apache Beam+大查询表读取

2024-09-26 04:54:55 发布

您现在位置:Python中文网/ 问答频道 /正文

我在项目中的大查询中有数据集: 项目:项目-x 表:表01 数据集:dataset01

我想从ApacheBeam连接到它,并读取一个column-column01的值,例如。。。你知道吗

这就是我所拥有的:

import apache_beam as beam
from apache_beam.options.pipeline_options import PipelineOptions
import os

os.environ["GOOGLE_APPLICATION_CREDENTIALS"]="Z:\DEV\CREDENTIALS\cred.json"

QUERY="""
    SELECT column01 from project-x:table01.dataset01
    """
options = {'project': 'project-x',
'runner': 'DirectRunner',
'region': 'EU'
}
pipeline_options = beam.pipeline.PipelineOptions(flags=[], **options)
pipeline=beam.Pipeline(options=pipeline_options)   
BQ_source = beam.io.BigQuerySource(query = QUERY)
BQ_data = pipeline | beam.io.Read(BQ_source)

所以在执行死刑后我什么也得不到。。。。我认为这是一些基本的问题,但我刚刚开始,真的很想看到一些结果。谢谢你的帮助。你知道吗


Tags: 数据项目fromimportprojectpipelineosapache
1条回答
网友
1楼 · 发布于 2024-09-26 04:54:55

有一个错误,我有一个建议 错误:from格式为项目:dataset.Table为遗留SQL。你知道吗

建议:更喜欢标准SQL,因为它能够使用所有新的bigquery特性!从格式是`项目.dataset.table` 后报价是必需的。并在beam中设置legacy=off选项。你知道吗

相关问题 更多 >