Python中文
首页
教程
问答
标签
搜索
登录
注册
在python中清除废弃的url
回答此问题可获得
20
贡献值,回答如果被采纳可获得
50
分。
<p>我正在写一个网页刮板从网站上刮链接。它工作正常,但输出链接不干净。它输出断开的html链接,也检索相同的html链接。这是密码</p> <pre><code>links = re.findall('<a class=.*?href="?\'?([^"\'>]*)', sourceCode) for link in links: print link </code></pre> <p>这就是输出的样子</p> <pre><code>/preferences?hl=en&someting /preferences?hl=en&someting /history/something /history/something /support?pr=something /support?pr=something http://www.web1.com/parameters http://www.web1.com/parameters http://www.web2.com/parameters http://www.web2.com/parameters </code></pre> <p>我尝试用这个正则表达式清理非html的链接</p> <pre><code>link = re.findall('http[s]?://(?:[a-zA-Z]|[0-9]|[$-_@.&+]|[!*\(\),]|(?:%[0-9a-fA-F][0-9a-fA-F]))+', link) print link </code></pre> <p>它清除url,但在其中添加方括号。没有方括号怎么洗这个?我应该如何防止打印同一个网址两次或多次</p> <pre><code>/preferences?hl=en&someting -> [] http://www.web1.com/parameters -> [http://www.web1.com/parameters] </code></pre>
0 条评论
分类:
Python问答
请先
登录
后评论
默认排序
时间排序
1 个回答
匿名
1天前
擅长:python、mysql、java
<p>尝试使用</p> <pre><code>links = re.findall('href="(http.*?)"', sourceCode) links = sorted(set(links)) for link in links: print(links) </code></pre> <p>这将只获取以<code>http</code>开头的链接,并删除重复项并对其排序</p>
请先
登录
后评论
针对此问题:
更多的回答
关注
89
关注
收藏
1
收藏,
216
浏览
网友 提问于 2天前
相关Python问题
尽管Python中的所有内容都是引用,为什么Python导师在没有指针的列表中绘制字符串和整数?
3 回答
尽管python中的表达式为false,但循环仍在运行
3 回答
尽管python代码正确,但从nifi ExecuteScript处理器获取语法错误
2 回答
尽管Python在Neovim中工作得很好,但插件不能识别Neovim中的Python主机
2 回答
尽管python字典包含了大量的条目,但它并没有增长
5 回答
尽管python说模块存在,为什么我会得到这个消息?
4 回答
尽管setuptools和控制盘是最新的,但无法识别singleversionexternallymanaged
5 回答
尽管stdout和stderr重定向,但未捕获错误消息
6 回答
尽管Tensorboard的事件太大,但Tensorboard的步骤太少了
5 回答
尽管tkinter上的变量已更改,但显示未更改
2 回答
尽管try/except使用Python进行单元测试时出现断言错误
7 回答
尽管URL是sam,但仍会抛出“达到最大重定向”
3 回答
尽管url有效,Pandas仍读取url的\u csv错误
10 回答
尽管while中存在时间延迟,但LINUX线程的CPU利用率为100%(1)
2 回答
尽管x0在范围内,Scipy优化仍会引发ValueError
3 回答
尽管xpath正确,但使用selenium单击链接仍不起作用
4 回答
尽管下载了ffmpeg并设置了路径变量python,但没有后端错误
5 回答
尽管下载了i,但找不到型号“fr”
1 回答
尽管下载了plotnine包,但未获取名为“plotnine”的模块时出错
4 回答
尽管为所有行指定了权重,网格(0)仍不起作用
8 回答