我如何检测到这两个url驱动到同一个站点？

Question

我如何检测到这两个URL驱动到同一个站点（因此它们是相同的URL），而不必使用web抓取来读取内容？在

例如：我需要检查（使用GET请求）

• http://www.n-economia.com/index.asp
• http://www.n-economia.com/

这两个网址是同一个网站，但我如何检测？在

我更喜欢Ruby或Python，但我可以使用任何语言。在

编辑：

另一个类似http://www.inprovo.com/ &；http://www.inprovo.com/default.asp。这个网站有一些随机的横幅，当重新加载时会改变，所以HTML与每次重新加载不同。在

谢谢你！在

Answer 1

可以在python中使用urllib2。其方法urlopen返回一个响应对象。可以使用read（）方法检查响应的内容。如果两个相同的回答有相同的内容，那么它们是相同的。在

import urllib2
page1 = urllib2.urlopen('http://www.n-economia.com/index.asp')
page2 = urllib2.urlopen('http://www.n-economia.com/')
if page1.read() == page2.read(): print 'same site'
else: print 'different'

编辑：也许我误解了你的帖子，但我认为这意味着你需要检查两个url是否链接到同一个页面，即它们有相同的内容。如果不是这样，我道歉。在