Python中文
首页
教程
问答
标签
搜索
登录
注册
如何实现速度超过1000 msg/sec到SQS?
回答此问题可获得
20
贡献值,回答如果被采纳可获得
50
分。
<p>我有以下代码将批处理消息发送到SQS。 我的目标是在<code>while true</code>循环中发送<code>1000 msg/sec</code>。你知道吗</p> <p>我有一个瓶颈-从CSV文件中随机选择id。如何改进算法以达到目标?你知道吗</p> <pre><code>async def send_to_sqs(file_path, loop): ids = load_file_to_list(file_path) while True: messages = [] for id in ids: message = {'Id': id} messages.append(message) for i in range(0, 10000, 10): #butch size is 10 messages_batch = messages[i:i+10] entries = [] for message in messages_batch: entries.append({'Id': str(message['Id']), 'MessageBody': json.dumps(message)}) await sqs.send_message_batch(QueueUrl=sqs_url, Entries=entries) def load_file_to_list(file_path): with open(file_path, 'r') as f: reader = csv.reader(f) return list(reader) </code></pre>
0 条评论
分类:
Python问答
请先
登录
后评论
默认排序
时间排序
1 个回答
匿名
1天前
擅长:python、mysql、java
<p>在开始while循环之前,我会尝试从内存中的CSV文件中收集所有可能的随机id。这样循环就不必打开文件并获取随机数。然后可以编写一个函数,从内存中保存的随机数列表中选择一个随机数。这会使事情加速很多。你知道吗</p>
请先
登录
后评论
针对此问题:
更多的回答
关注
89
关注
收藏
1
收藏,
216
浏览
网友 提问于 2天前
相关Python问题
为什么在使用strptime时会出现未进行转换的数据错误?
4 回答
为什么在使用strptim时会出现这个datetime日期错误
3 回答
为什么在使用StyleFrame时索引列的标题不显示sf.至excel()?
8 回答
为什么在使用sum()函数时会发生“int”对象不可调用的错误?
10 回答
为什么在使用sympy.dsolve时会得到“'list'对象没有属性'func'”?
8 回答
为什么在使用tabla时会得到一个空的数据帧?
1 回答
为什么在使用tensorboard时需要add_graph()的第二个参数?
10 回答
为什么在使用TensorFlow Lite转换YOLOv4时,推断时间/大小没有改进?有什么可能的改进吗?
10 回答
为什么在使用Tensorflow加载训练批时会出现内存泄漏?
10 回答
为什么在使用tensorflow时会收到警告/错误(使用函数API,但未实现错误)
10 回答
为什么在使用tetpyclient发出POST请求时出现403错误?
6 回答
为什么在使用TextBlob时会出现HTTP错误?
6 回答
为什么在使用TFIDF时出现错误“IndexError:list index out of range”pyspark.ml.feature?
4 回答
为什么在使用timedelta格式化之后,我在python中的日期是错误的?
6 回答
为什么在使用timeit或exec函数时,函数中的变量不会在提供的全局命名空间中搜索?
10 回答
为什么在使用tkinter时不能使用复选框?
1 回答
为什么在使用todoistpythonapi时会返回这个奇怪的ID?
10 回答
为什么在使用TQM时,在调整图像大小时,处理时间会有很大的差异?
6 回答
为什么在使用Tweepy下载用户时间线时收到错误消息
7 回答
为什么在使用twitter帐户登录Django应用程序时重定向127.0.0.1:8000?
7 回答