将字典列表写入S3文件中的分隔行

2024-09-30 16:22:16 发布

您现在位置:Python中文网/ 问答频道 /正文

我正在使用Kinesis Firehose从Kinesis流读取数据并存储在s3 json文件中,每个字符串都写入单独的行:

{"DeviceID":"1000000","DeviceTypeID":2,"DeviceRecordTime":"2020-11-10"}
{"DeviceID":"1000000","DeviceTypeID":2,"DeviceRecordTime":"2020-11-10"}

我尝试使用Lambda和boto3从Kinesis流中读取数据,将所有记录放入单个列表,并使用put_对象函数将其写入s3,这就是为什么我得到:

{"_1":[{"DeviceID":"1000000","DeviceTypeID":2,"DeviceRecordTime":"2020-11-10"},{"DeviceID":"1000000","DeviceTypeID":2,"DeviceRecordTime":"2020-11-10"}]}

是否有任何方法可以像Kinesis Firehose那样使用Lambda实现相同的输出,在单独的行中分离json字符串

谢谢你的建议


Tags: 文件lambda字符串json列表s3put记录