我在项目中的大查询中有数据集: 项目:项目-x 表:表01 数据集:dataset01
我想从ApacheBeam连接到它,并读取一个column-column01的值,例如。。。你知道吗
这就是我所拥有的:
import apache_beam as beam
from apache_beam.options.pipeline_options import PipelineOptions
import os
os.environ["GOOGLE_APPLICATION_CREDENTIALS"]="Z:\DEV\CREDENTIALS\cred.json"
QUERY="""
SELECT column01 from project-x:table01.dataset01
"""
options = {'project': 'project-x',
'runner': 'DirectRunner',
'region': 'EU'
}
pipeline_options = beam.pipeline.PipelineOptions(flags=[], **options)
pipeline=beam.Pipeline(options=pipeline_options)
BQ_source = beam.io.BigQuerySource(query = QUERY)
BQ_data = pipeline | beam.io.Read(BQ_source)
所以在执行死刑后我什么也得不到。。。。我认为这是一些基本的问题,但我刚刚开始,真的很想看到一些结果。谢谢你的帮助。你知道吗
有一个错误,我有一个建议 错误:from格式为项目:dataset.Table为遗留SQL。你知道吗
建议:更喜欢标准SQL,因为它能够使用所有新的bigquery特性!从格式是`项目.dataset.table` 后报价是必需的。并在beam中设置legacy=off选项。你知道吗
相关问题 更多 >
编程相关推荐