Python中文
首页
教程
问答
标签
搜索
登录
注册
使用Lambda从S3将大文件的内容写入Dynamo
回答此问题可获得
20
贡献值,回答如果被采纳可获得
50
分。
<p>我在一个S3存储桶中有多个大型csv文件。我想把他们的数据写入dynamoDB表。 问题是我的函数运行超过15分钟,并且在没有完全写入csv文件VTO DynamoDB的情况下出现超时错误。 那么有没有办法将csv分割成更小的部分呢</p> <p>到目前为止我试过的东西</p> <p><a href="https://medium.com/swlh/processing-large-s3-files-with-aws-lambda-2c5840ae5c91" rel="nofollow noreferrer">this</a>-这不会像预期的那样调用自身(向表中写入几行,然后停止,不会出现任何错误。<br/> <a href="https://docs.aws.amazon.com/pinpoint/latest/developerguide/tutorials-importing-data-lambda-function-input-split.html" rel="nofollow noreferrer">aws document</a>-给出了s3fs模块未找到的错误。尝试了许多方法使其正常工作,但未能成功</p> <p>我还能完成我的任务吗</p> <p>多谢各位</p>
0 条评论
分类:
Python问答
请先
登录
后评论
默认排序
时间排序
1 个回答
匿名
1天前
擅长:python、mysql、java
<p>我可以通过将dynamodb上的最小写入容量增加到1000来解决我的问题(部分)。我能在10分钟内写出100万张唱片。我仍然需要分割csv文件。此外,使用批处理写入而不是逐行写入每个项目也有很大帮助</p>
请先
登录
后评论
针对此问题:
更多的回答
关注
89
关注
收藏
1
收藏,
216
浏览
网友 提问于 2天前
相关Python问题
无法使用Django/mongoengine连接到MongoDB(身份验证失败)
9 回答
无法使用Django\u mssql\u后端迁移到外部hos
7 回答
无法使用Django&Python3.4连接到MySql
9 回答
无法使用Django+nginx上载媒体文件
7 回答
无法使用Django1.6导入名称模式
9 回答
无法使用Django1.7和mongodb登录管理站点
8 回答
无法使用Djangoadmin创建项目,进程使用了错误的路径,因为我事先安装了错误的Python
9 回答
无法使用Djangockedi验证CBV中的字段
5 回答
无法使用Djangocketditor上载图像(错误400)
4 回答
无法使用Djangocron进行函数调用
2 回答
无法使用Djangofiler djang上载文件
3 回答
无法使用Djangokronos
2 回答
无法使用Djangomssql provid
7 回答
无法使用Djangomssql连接到带有Django 1.11的MS SQL Server 2016
5 回答
无法使用Djangomssq迁移Django数据库
7 回答
无法使用Djangonox创建用户
4 回答
无法使用Djangopyodb从Django查询SQL Server
5 回答
无法使用Djangopython3ldap连接到ldap
8 回答
无法使用Djangoredis连接到redis
3 回答
无法使用Django中的FK创建新表
10 回答