Bigquery如何将数据插入嵌套表

2024-09-30 22:18:09 发布

您现在位置:Python中文网/ 问答频道 /正文

我试图故意将一条包含完整模式数据的虚拟记录插入到BigQueryGA360表中

我找到的一种方法是“插入”所有字段:

INSERT INTO <project.dataset.table> (visitorId,visitStartTime,date,totals,customDimension.......)
VALUES ( 1234, 12345, 20200101, ( 1,2,3,4,5,6,7,8,9,10,11,12,13),[(1,"asd"),....].....)

当我遇到具有复杂嵌套结构的“hits”字段时,我放弃了

还有其他方法吗(例如,我可以想象使用表模式JSON文件编写客户端API代码) 或者任何一个成功使用DDL的人


Tags: 数据方法projectdate记录table模式dataset
1条回答
网友
1楼 · 发布于 2024-09-30 22:18:09

我将如何解决这个问题:

  1. 以JSON对象的形式获取示例:
SELECT TO_JSON_STRING(a)
FROM `bigquery-public-data.google_analytics_sample.ga_sessions_20170801` a
LIMIT 1
  1. 将长JSON字符串保存到文件中

  2. 根据需要修改该文件

  3. 创建新表以插入该文件:

CREATE TABLE `temp.analy` AS
SELECT *
FROM `bigquery-public-data.google_analytics_sample.ga_sessions_20170801` 
LIMIT 0
  1. 使用手动修改的值插入文件:

bq load source_format=NEWLINE_DELIMITED_JSON temp.analy my.json

5b。创建一个联邦表,以便

INSERT INTO 'table'
SELECT * 
FROM `federated_table_that_reads_the_json_file`

相关问题 更多 >