Python中文网 - 问答频道, 解决您学习工作中的Python难题和Bug
Python常见问题
我试图解析this site的表。我用Python靓汤来做这个。当它在我的ubuntu14.04机器上产生正确的输出时，它在我朋友的windows机器上产生了错误的输出。我将代码片段粘贴在此处：
from bs4 import BeautifulSoup
def buildURL(agi, families):
#agi and families contains space seperated string of genes and families
genes = agi.split(" ")
families = families.split(" ")
base_url = "http://www.athamap.de/search_gene.php"
url = base_url
if len(genes):
url = url + "?agi="
for i, gene in enumerate(genes):
if i>0:
url = url + "%0D%0A"
url = url + gene
url = url + "&upstream=-500&downstream=50&restriction=0&sortBy1=gen&sortBy2=fac&sortBy3=pos"
for family in families:
family = family.replace("/", "%2F")
url = url +"&familySelected%5B"+family+"%5D=on"
url = url + "&formSubmitted=TRUE"
return url
def fetch_html(agi, families):
url = buildURL(agi, families)
response = requests.get(url)
soup = BeautifulSoup(str(response.text), "lxml")
divs = soup.find_all('div')
seldiv = ""
for div in divs:
try:
if div["id"] == "geneAnalysisDetail":
'''
This div contains interesting data
'''
seldiv = div
except:
None
return seldiv
def parse(seldiv):
soup = seldiv
rows= soup.find_all('tr')
attributes =["Gene", "Factor", "Family", "Position", "Relative orientation", "Relative Distance", "Max score", "Threshold Score", "Score"]
print attributes
save_rows = []
for i in range(2, len(rows)):
cols = rows[i].find_all('td')
lst = []
for j,col in enumerate(cols):
if j==0:
lst.append(re.sub('', '',str(col.contents[1].contents[0])))
elif j==1:
lst.append(str(col.contents[1].contents[0]))
elif j==2:
lst.append(str(col.contents[0]))
elif j==3:
lst.append(str(col.contents[1].contents[0]))
else:
lst.append(str(col.contents[0]))
save_rows.append(lst)
return save_rows
你知道这里会出什么问题吗？我试过使用和不使用lxml。在
提前谢谢。在
Tags： indivurlforifcontentscolrows
热门问题
- 如何在乒乓球比赛中预测球的轨迹，对于AI球拍预测？
- 如何在乒乓球游戏中阻止球
- 如何在乘法和模中不乘空间？
- 如何在乘法和除以2个不同的数字之间进行交换？
- 如何在也是数据一部分的单个字符上拆分大字符串
- 如何在乾草堆中找到針，有更好的解決方案嗎？
- 如何在事件wxWidgets中传递自定义数据
- 如何在事件中使用lambda i=i？
- 如何在事件中心只接收最近的数据
- 如何在事件发生之前保持云函数运行？
- 如何在事件发生后使页面重定向到同一页面
- 如何在事件回调之间保持python生成器的状态
- 如何在事件处理程序（pythonsocket、sphinx）中保留docstring
- 如何在事件处理程序中更改wxRichTextCtrl的光标位置？
- 如何在事件处理程序中访问外部对象？
- 如何在事件循环中将协程打包为正常函数？
- 如何在事件循环之外运行协同程序？
- 如何在事件循环结束时为并发未来的所有线程调用类方法？
- 如何在事件文件中只保留一份摘要？
- 如何在事件模板中添加事件
热门文章
- Python覆盖写入文件
- 怎样创建一个 Python 列表？
- Python3 List append()方法使用
- 派森语言
- Python List pop()方法
- Python Django Web典型模块开发实战
- Python input() 函数
- Python3 列表(list) clear()方法
- Python游戏编程入门
- 如何创建一个空的set?
- python如何定义(创建)一个字符串
- Python标准库 [The Python Standard Library by Ex
- Python网络数据爬取及分析从入门到精通（分析篇）
- Python3 for 循环语句
- Python List insert() 方法
- Python 字典(Dictionary) update()方法
- Python编程无师自通 专业程序员的养成
- Python3 List count()方法
- Python 网络爬虫实战 [Web Crawler With Python]
- Python Cookbook（第2版）中文版
一种可能是您没有为请求添加用户代理。不同的用户代理有时会得到不同的结果，特别是来自怪异网站的结果。这是所有可能的代理的列表，只需选择一个。它不一定是你的机器
您可以用这种方式解析表，并且在两台机器上都能正常工作。
buildURL函数应该保持不变。在相关问题 更多 >
编程相关推荐