Python中文
首页
教程
问答
标签
搜索
登录
注册
使用python获取ES索引中的所有文档
回答此问题可获得
20
贡献值,回答如果被采纳可获得
50
分。
<p>我正在尝试将所有文档保存在一个名为:news(44908 Document)的ES索引中 然后将它们保存在数据框中</p> <p>但是当运行脚本时,我只得到前十个文档</p> <p>这是我的代码:</p> <pre><code>esClient = Elasticsearch() response = esClient.search(index = 'news', body = {}, ) #scrollId = response["_scroll_id"] #print(scrollId) esDocs = response["hits"]["hits"] fields = {} for num, doc in enumerate(esDocs): sourceData = doc["_source"] #response = esClient.scroll(scroll_id=scrollId, scroll = '1m') #scrollId = response['_scroll_id'] #print(scrollId) for key, val in sourceData.items(): if key == 'tags' or key == 'text' or key == 'title': try: fields[key] = np.append(fields[key], val) except KeyError: fields[key] = np.array([val]) else: continue; df = pd.DataFrame(fields) </code></pre> <p>我试着使用<code>.scroll()</code>,但没用。我仍然只收到10份第一批文件</p> <p>我也尝试过指定<code>size = number</code>,但这不是我想要的</p> <p>这是我的输出数据帧 <a href="https://i.stack.imgur.com/ctN66.png" rel="nofollow noreferrer"><img src="https://i.stack.imgur.com/ctN66.png" alt="Dataframe output"/></a></p> <p>注:我用的是Jupyter Notbook</p>
0 条评论
分类:
Python问答
请先
登录
后评论
默认排序
时间排序
1 个回答
匿名
1天前
擅长:python、mysql、java
<p>如果您试图通过pandas DataFrame API访问Elasticsearch索引,我建议使用<a href="https://eland.readthedocs.io" rel="nofollow noreferrer">Eland</a>。然后,不必将所有文档加载到内存中,就可以对它们执行操作</p> <p><;披露:我是Eland的维护者,受雇于Elastic></p>
请先
登录
后评论
针对此问题:
更多的回答
关注
89
关注
收藏
1
收藏,
216
浏览
网友 提问于 2天前
相关Python问题
当用户用PYTHON设置一个或一个不带值的URL时,他们怎么能输入一个/a的代码呢?
9 回答
当用户登录到站点时,如何显示不同的导航栏
2 回答
当用户登录时,在Flask中向用户显示处理结果
5 回答
当用户的Flask会话结束时,我如何从Redis后端中移除所有Celery结果?
10 回答
当用户的Okta配置文件字段当前为blan时,更新该字段
4 回答
当用户的付款逾期2天时,从Django模型检索数据
9 回答
当用户的消息以问号结尾时,如何让机器人说些什么?
9 回答
当用户的系统上可能也安装了Python 2.7时,如何在用户的系统上运行Python 3脚本?
5 回答
当用户确定打印数量时,使用Matplotlib打印动画
8 回答
当用户离开时是否可以删除整个网页?
9 回答
当用户给出一个单词时如何打印?
5 回答
当用户继续更改TKin中的值(使用trace方法)时,使用Entry并更新输入的条目
1 回答
当用户编辑表单字段时,从Django时间字段中删除秒数
8 回答
当用户被更改时,消息不会来自web套接字
4 回答
当用户访问表单时,如何使表单为只读,而不具有更改权限
9 回答
当用户试图更改对象的值时,使用描述符类引发RuntimeError
4 回答
当用户调整GUI的大小时,是否有方法更改GUI内容的大小?
1 回答
当用户调整风的大小时,pythontkinter小部件的大小会不均匀
5 回答
当用户购买某个类别时,是否查找其他类别的销售?
9 回答
当用户转到上一页时,Django和芹菜插入操作
3 回答