xpath未提取所有字段

2024-10-03 13:18:59 发布

您现在位置：Python中文网/ 问答频道 /正文
8812 3

我试图用以下代码从html输出中检索所有数据：

proxy_auth = "http://"+proxyUser+":"+proxyPass+"@"+proxyHost
proxy_handler = urllib2.ProxyHandler({"http": proxy_auth})
opener = urllib2.build_opener(proxy_handler)
opener = urllib2.build_opener()
urllib2.install_opener(opener)

request = urllib2.Request("http://"+iserver+"/invoke/pub.art/listRegisteredAdapters")
base64string = base64.encodestring('%s:%s' % (login, password)).replace('\n', '')
request.add_header("Authorization", "Basic %s" % base64string)
response = urllib2.urlopen(request)
html = response.read()

doc = LH.fromstring(html)
tds = (td.text_content() for td in doc.xpath("//td"))

print html

for td, val in zip(*[tds]*2):
    if td == "adapterTypeName" :

        adapterTypeName=val
        print adapterTypeName

这是原始的html输出

<BODY bgcolor=#dddddd>
<TABLE bgcolor=#dddddd border=1>
<TR>
<TD valign="top"><B>registeredAdapterList</B></TD>
<TD>
<TABLE>
<TR>
<TD><TABLE bgcolor=#dddddd border=1>
<TR>
<TD valign="top"><B>adapterTypeName</B></TD>
<TD>SAPAdapter</TD>
</TR>
</TABLE>
</TD>
</TR>
<TR>
<TD><TABLE bgcolor=#dddddd border=1>
<TR>
<TD valign="top"><B>adapterTypeName</B></TD>
<TD>SMSCAdapter</TD>
</TR>
</TABLE>
</TD>
</TR>
<TR>
<TD><TABLE bgcolor=#dddddd border=1>
<TR>
<TD valign="top"><B>adapterTypeName</B></TD>
<TD>PRTServerAdapter</TD>
</TR>
</TABLE>
</TD>
</TR>
<TR>
<TD><TABLE bgcolor=#dddddd border=1>
<TR>
<TD valign="top"><B>adapterTypeName</B></TD>
<TD>com.vf.bdp.BDPAdapter</TD>
</TR>
</TABLE>
</TD>
</TR>
<TR>
<TD><TABLE bgcolor=#dddddd border=1>
<TR>
<TD valign="top"><B>adapterTypeName</B></TD>
<TD>SiebelAdapter</TD>
</TR>
</TABLE>
</TD>
</TR>
<TR>
<TD><TABLE bgcolor=#dddddd border=1>
<TR>
<TD valign="top"><B>adapterTypeName</B></TD>
<TD>JDBCAdapter</TD>
</TR>
</TABLE>
</TD>
</TR>
</TABLE>
</TD>
</TR>
</TABLE>
</BODY>

我所期望的是检索以下字段：

SAPAdapter
SMSCAdapter
PRTServerAdapter
com.vf.bdp.BDPAdapter
SiebelAdapter
JDBCAdapter

相反，我只收到：

SMSCAdapter
com.vf.bdp.BDPAdapter
JDBCAdapter

因为我是Python的新手，我不知道这里会出什么问题。你知道吗


Tags： httptophtmltableopenerurllib2trtd
1条回答
网友
1楼 · 发布于 2024-10-03 13:18:59

您的问题在于xpath表达式过于宽松。
它是在寻找你实际上不想找到的元素。
试着打印结果看看我在说什么。你知道吗

在我看来，您似乎希望找到文本中所有不包含子元素的td元素。
一个简单的方法是：

doc = LH.fromstring(html)
for td in doc.xpath('//td[not(*)]/text()'):
    print td

相关问题 更多 >

    编程相关推荐