Airflow PostgresToGCSOperator以历元格式导出时间戳列

Question

Im使用PostgresToGCSOperator [v1.10和v2.0导出数据。我知道那个操作符中有一个映射。我已经改变了这一点，并作为一个定制运营商。如果Postgres有时间戳，那么在BQ中使用DATETIME作为时间戳Z使用时间戳

       1114: 'DATETIME',
        1184: 'TIMESTAMP',
        1082: 'DATE',
        1083: 'TIME',
        1005: 'INTEGER',
        1007: 'INTEGER',
        1016: 'INTEGER',
        20: 'INTEGER',
        21: 'INTEGER',
        23: 'INTEGER',
        16: 'BOOLEAN',
        700: 'FLOAT',
        701: 'FLOAT',
        1700: 'FLOAT'

但是，在以CSV格式导出数据时，它不会考虑这一点，而是以EPOCH格式导出值。我怎么修理它

Answer 1

还有一个最佳选择：为地面军事系统操作员定制气流Postgres。因此，您可以使用CSV或JSON，并且没有任何限制

在原始操作器上更换：

type_map = {
        1114: 'DATETIME',
        1184: 'TIMESTAMP',
        1082: 'DATE',
        1083: 'TIME',
        1005: 'INTEGER',
        1007: 'INTEGER',
        1016: 'INTEGER',
        20: 'INTEGER',
        21: 'INTEGER',
        23: 'INTEGER',
        16: 'BOOLEAN',
        700: 'FLOAT',
        701: 'FLOAT',
        1700: 'FLOAT',
    }

以及转换：

        if isinstance(value, (datetime.datetime, datetime.date)):
            return str(value)
        if isinstance(value, datetime.time):
            return str(value)
        if isinstance(value, Decimal):
            return float(value)
        return value