Python中文
首页
教程
问答
标签
搜索
登录
注册
使用包含Python和beautifulsoup的url的.txt文件从多个网页中获取数据
回答此问题可获得
20
贡献值,回答如果被采纳可获得
50
分。
<p>我有一个.txt文件,其中包含指向多个页面的完整URL,每个页面都包含一个我想从中获取数据的表。我的代码适用于一个URL,但是当我试图添加一个循环并从.txt文件中读取URL时,我得到以下错误</p> <pre><code>raise ValueError, "unknown url type: %s" % self.__original ValueError: unknown url type: ? </code></pre> <p>这是我的密码</p> ^{pr2}$ <p>我检查了我的.txt文件,所有的条目都是正常的。它们以HTTP:开头,以.html结尾。它们周围没有撇号或引号。我是不是把for循环编码错了?</p> <p>使用</p> <pre><code>with open('urls.txt', 'r') as f: for url in f: print(url) </code></pre> <p>我得到以下信息</p> <pre><code>??http://www.thegreenpapers.com/PCC/AL-D.html http://www.thegreenpapers.com/PCC/AL-R.html http://www.thegreenpapers.com/PCC/AK-D.html </code></pre> <p>以此类推100行。只有第一行有问号。 我的.txt文件包含那些只改变州和党的缩写的url。</p>
0 条评论
分类:
Python问答
请先
登录
后评论
默认排序
时间排序
1 个回答
匿名
1天前
擅长:python、mysql、java
<p>您尝试的方式可以通过在代码中抽动两个不同的行来修复。在</p> <p>试试这个:</p> <pre><code>with open('urls.txt', 'r') as f: urls = f.readlines() #make sure this line is properly indented. for url in urls: uClient = urlopen(url.strip()) </code></pre>
请先
登录
后评论
针对此问题:
更多的回答
关注
89
关注
收藏
1
收藏,
216
浏览
网友 提问于 2天前
相关Python问题
我想从用户inpu创建一个类的实例
9 回答
我想从用户导入值,为此
10 回答
我想从用户那里得到一个整数输入,然后让for循环遍历该数字,然后调用一个函数多次
3 回答
我想从用户那里收到一个列表,并在其中执行一些步骤,然后在步骤完成后将其打印回来,但它没有按照我想要的方式工作
3 回答
我想从用户那里获取输入,并将值传递给(average=dict[x]/6),然后在那里获取resu
6 回答
我想从第一个列表中展示第一个词,然后从第二个列表中展示十个词,以此类推- Python
4 回答
我想从第一个空lin开始解析文本文件
8 回答
我想从简历、简历中提取特定部分
6 回答
我想从给定字典(python)的字符串中删除\u00a9、\u201d和类似的字符。
8 回答
我想从给定的网站Lin下载许多文件扩展名相同的Wget或Python文件
4 回答
我想从网上搜集一些关于抵押贷款的数据
2 回答
我想从网站上删除电子邮件地址
8 回答
我想从网站上读取数据该网站包含可下载的文件,然后我想用python脚本把它发送给oracle如何?
6 回答
我想从网站中提取数据,然后将其显示在我的网页上
9 回答
我想从网页上提取统计数据。
2 回答
我想从网页上解析首都城市,并在用户输入国家时在终端上打印它们
8 回答
我想从色彩图中删除前n个颜色,而不丢失原始颜色数
8 回答
我想从课堂上打印字典里的键
7 回答
我想从费用表中获取学生上次支付的费用,其中学生id=id
6 回答
我想从较低的顺序对多重列表进行排序,但我无法在一行中生成结果
6 回答