在googleappenginepython上处理大数据

2024-09-29 19:34:59 发布

您现在位置:Python中文网/ 问答频道 /正文

我在googleappengine上使用python来保存数据。基本上,一个测试设备的位置已经被记录了一段时间。数据的长度可以非常大(大到702104)。该文件是一个json文件,我基本上遍历对象,将数据保存在数据存储中。在

class LocationObject(ndb.Model):
index = ndb.IntegerProperty()
lat = ndb.FloatProperty()
lng = ndb.FloatProperty()

对这个实现有严重的问题。它会遇到死线错误,因为遍历大数据需要很长时间。另外,我以这种方式保存数据,因为我想查询位置并能够在服务器中获得与搜索参数匹配的数据。在

我怎样才能最好地处理这些数据而不遇到所述的任何问题呢。在


Tags: 文件数据对象jsonindexmodel记录class

热门问题