用python抓取多个google scholar页面

Question

我想抓取多个GoogleScholar用户配置文件——出版物、期刊、引文等。我已经编写了python代码，用于抓取给定url的用户配置文件。现在，假设我在excel文件中有100个名称和相应的URL，如下所示

name       link

Autor      https://scholar.google.com/citations?user=cp-8uaAAAAAJ&hl=en
Dorn       https://scholar.google.com/citations?user=w3Dri00AAAAJ&hl=en
Hanson     https://scholar.google.com/citations?user=nMtHiQsAAAAJ&hl=en
Borjas     https://scholar.google.com/citations?user=Patm-BEAAAAJ&hl=en
....

我的问题是，我是否可以读取该文件的“link”列，并为URL编写for循环，这样我就可以刮取每个配置文件，并将结果附加到同一个文件中。我似乎有点牵强，但我希望有办法做到这一点。提前谢谢

Answer 1

您可以使用pandas.read_csv()从csv读取特定文件。例如：

import pandas as pd

df = pd.read_csv('data.csv')
arr = []
link_col = df['link']
for i in link_col:
    arr.append(i);
   
print(arr)

这将允许您仅提取链接列并将每个值附加到数组中。如果您想了解更多信息，可以参考pandas