Python中文
首页
教程
问答
标签
搜索
登录
注册
使用LDA mod运行Sagemaker批处理转换时出错
回答此问题可获得
20
贡献值,回答如果被采纳可获得
50
分。
<p>我已经成功地用sagemaker训练了一个LDA模型,我已经能够建立一个推理API,但是它对一次可以查询的记录数量有限制。在</p> <p>我需要得到一个大文件的预测,并一直试图使用批量转换,但运行的路障。在</p> <p>我的输入日期在application/x-recordio-protobuf内容类型中,代码如下:</p> <pre><code># Initialize the transformer object transformer =sagemaker.transformer.Transformer( base_transform_job_name='Batch-Transform', model_name=model_name, instance_count=1, instance_type='ml.c4.xlarge', output_path=output_location, max_payload=20, strategy='MultiRecord' ) # Start a transform job transformer.transform(input_location, content_type='application/x-recordio-protobuf',split_type="RecordIO") # Then wait until the transform job has completed transformer.wait() # Fetch validation result s3_client.download_file(bucket, 'topic_model_batch_transform/output/batch_tansform_part0.pbr.out', 'batch_tansform-result') with open('batch_tansform-result') as f: results = f.readlines() print("Sample transform result: {}".format(results[0])) </code></pre> <p>我把输入文件分成10个文件,每个文件的大小约为19MB。我首先尝试在单个块上运行,因此总共19MB。我尝试过改变策略,尝试单曲唱片。我也试过不同的分体式,也试过None和Line。在</p> <p>我已经阅读了文档,但不清楚我还应该尝试什么,而且错误消息也非常不清楚。在</p> ^{pr2}$ <p>以上是我使用上述配置得到的最后一个配置,在此之前,我还得到了一个400http错误代码。在</p> <p>任何帮助或建议将不胜感激!谢谢你</p>
0 条评论
分类:
Python问答
请先
登录
后评论
默认排序
时间排序
1 个回答
匿名
1天前
擅长:python、mysql、java
<p>我设法解决了这个问题,我使用的最大有效载荷似乎太高了。我设置了<code>MaxPayloadInMB=1</code>,现在它像一个梦一样运行</p>
请先
登录
后评论
针对此问题:
更多的回答
关注
89
关注
收藏
1
收藏,
216
浏览
网友 提问于 2天前
相关Python问题
如何在用户使用jquery单击按钮(提交选项之前)时突出显示html中的选项
2 回答
如何在用户使用midd注销时删除用户
4 回答
如何在用户停止滑动和缩放时同步范围?
10 回答
如何在用户关闭Android kivy应用程序后恢复上一个活动?
3 回答
如何在用户关闭浏览器后不强制登录
4 回答
如何在用户函数中返回两个数据帧
6 回答
如何在用户创建后更新用户列表字段;信号
8 回答
如何在用户单击Django中的“ok”后触发Javascript警报并重定向页面?
7 回答
如何在用户单击查询后显示消息؟
7 回答
如何在用户可以使用键盘的健身房制作cartpole游戏
8 回答
如何在用户名和密码来自数据库的python脚本中添加最大登录尝试?
4 回答
如何在用户名和密码相同的情况下登录网站?
10 回答
如何在用户向Django注册时添加新的数据库条目?
9 回答
如何在用户和他们进行的不同交易之间建立关系?
2 回答
如何在用户和会话之间创建一对多的关系,其中用户在一方,会话在多方?
6 回答
如何在用户喜欢帖子时动态更新Flask模板?
1 回答
如何在用户在Django中注册后自动将users表链接到另一个表
3 回答
如何在用户定义的Python函数中打印给定参数的长度?
5 回答
如何在用户定义的Python类中实现哈希?
8 回答
如何在用户定义的块中迭代Numpy数组?
9 回答