我正在制作一个网络刮板,从这个website中刮表。如您所见,我让它在一个循环中运行,为每个网页生成一个新的CSV文件。你知道吗
问题是,因为它正在制作一个新的网页,我在最后像100个CSV文件。我应该如何编译这些?我希望它是一个包含所有列的单一CSV文件(第一个CSV文件中的列是a列,第二个CSV文件中的列是B列,等等)。每个CSV文件只有一列,所以我只想合并所有的文件。这是我的密码:
import csv
import requests
import bs4
count = 1
while count < 1000:
url = "https://www.techpowerup.com/gpudb/" + str(count)
response = requests.get(url)
html = response.content
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
soup = bs4.BeautifulSoup(html, "lxml")
tables = soup.findAll("table")
tableMatrix = []
for table in tables:
#Here you can do whatever you want with the data! You can findAll table row headers, etc...
list_of_rows = []
for row in table.findAll('tr'):
list_of_cells = []
for cell in row.findAll('td'):
text = cell.text.replace(' ', '')
list_of_cells.append(text)
list_of_rows.append(list_of_cells)
tableMatrix.append((list_of_rows, list_of_cells))
placeHolder = 0
excelTable = []
for table in tableMatrix:
for row in table:
if placeHolder == 0:
for entry in row:
excelTable.append(entry)
placeHolder = 1
else:
placeHolder = 0
excelTable.append('\n')
for value in excelTable:
print value
print '\n'
count += 1
fl = open(str(count) + '.csv', 'w')
writer = csv.writer(fl)
for values in excelTable:
writer.writerow(values)
fl.close()
您可以使用pyexcel。首先将列的数据存储在一个列表中,然后将此列数据动态存储在另一个列表中。下面的代码将帮助您动态创建列表的列表。一旦您将所有数据存储在最终的\u列表中,您就可以将其转储到pyexcel临时工作表中,然后将其保存到csv文件中。你知道吗
相关问题 更多 >
编程相关推荐