我想用chromedriver收集数据
我使用url'http://web.mta.info/developers/turnstile.html'来获取数据,提取文件链接,然后根据数据的日期将其放入两个表中 这是我要执行的代码:
record_cnt = 0
for link in data_list_post:
data = pd.read_table(link, sep=',')
print('%s:%s rows %s columns' % (link[-10:-4],data.shape[0], data.shape[1]))
record_cnt += data.shape[0]
data.to_sql(name='post', con=conPost, flavor='sqlite', if_exists='append')
回溯:
^{pr2}$
你的问题是你想从页面上的每个链接中提取表,然后把它们编译成一个数据库表。。。但是你链接中的表是不同的。指向列表顶部的链接
第一行/标题行:
vs链接指向页面底部
第一排看起来很不一样,比如:
^{pr2}$一开始看起来上面的第二页缺少一个标题行,但是它的顶行(所有行)也不像第一组中的数据行。你能解释一下第二组中的那些行应该调用哪些字段吗?在
基本上,有些链接(通常在列表的下方)与顶部的链接不同,因为表格不同。在
相关问题 更多 >
编程相关推荐