<p>我喜欢这个问题。因此,我将给出一个非常彻底的答案。为此,我将使用我最喜欢的请求库和BeautifulSoup4。如果你真的想用的话,移植到Mechanize是你自己的事。不过,提出要求会让你省去很多麻烦。</p>
<hr/>
<p>首先,你可能在寻找一个POST请求。但是,如果搜索函数<em>将</em>带到您要查找的页面,则通常不需要POST请求。我们来检查一下,好吗?</p>
<p>当我登陆基本URL <code>http://www.dailyfinance.com/</code>时,我可以通过Firebug或Chrome的inspect工具进行一个简单的检查,当我在搜索栏上输入CSCO或AAPL并启用“跳转”时,会有一个<code>301 Moved Permanently</code>状态代码。这是什么意思?</p>
<p><img src="https://i.stack.imgur.com/nPXcC.png" alt="enter image description here"/></p>
<p>简单地说,我被转移到了某处。此GET请求的URL如下:</p>
<pre><code>http://www.dailyfinance.com/quote/jump?exchange-input=&ticker-input=CSCO
</code></pre>
<p>现在,我们通过使用一个简单的URL操作来测试它是否与AAPL一起工作。</p>
<pre><code>import requests as rq
apl_tick = "AAPL"
url = "http://www.dailyfinance.com/quote/jump?exchange-input=&ticker-input="
r = rq.get(url + apl_tick)
print r.url
</code></pre>
<p>上述结果如下:</p>
<pre><code>http://www.dailyfinance.com/quote/nasdaq/apple/aapl
[Finished in 2.3s]
</code></pre>
<p>查看响应的URL是如何更改的?让我们通过在上面的代码后面附加以下内容来查找<code>/financial-ratios</code>页面,进一步执行URL操作:</p>
<pre><code>new_url = r.url + "/financial-ratios"
p = rq.get(new_url)
print p.url
</code></pre>
<p>运行时,会得到以下结果:</p>
<pre><code>http://www.dailyfinance.com/quote/nasdaq/apple/aapl
http://www.dailyfinance.com/quote/nasdaq/apple/aapl/financial-ratios
[Finished in 6.0s]
</code></pre>
<p>现在我们走上了正轨。我现在将尝试使用BeautifulSoup解析数据。我的完整代码如下:</p>
<pre><code>from bs4 import BeautifulSoup as bsoup
import requests as rq
apl_tick = "AAPL"
url = "http://www.dailyfinance.com/quote/jump?exchange-input=&ticker-input="
r = rq.get(url + apl_tick)
new_url = r.url + "/financial-ratios"
p = rq.get(new_url)
soup = bsoup(p.content)
div = soup.find("div", id="clear").table
rows = table.find_all("tr")
for row in rows:
print row
</code></pre>
<p>然后我尝试运行此代码,但遇到以下回溯错误:</p>
<pre><code> File "C:\Users\nanashi\Desktop\test.py", line 13, in <module>
div = soup.find("div", id="clear").table
AttributeError: 'NoneType' object has no attribute 'table'
</code></pre>
<p>值得注意的是<code>'NoneType' object...</code>行。这意味着我们的目标<code>div</code>不存在!伊加斯,但我为什么要看到下面这些?!</p>
<p><img src="https://i.stack.imgur.com/lGI8O.png" alt="enter image description here"/></p>
<p>只能有一个解释:表是动态加载的!胡扯。让我们看看能否找到另一个表的源。我研究了一下页面,发现底部有滚动条。这可能意味着表是在一个框架内加载的,或者是直接从另一个源完全加载的,并放在页面的<code>div</code>中。</p>
<p>我刷新页面并再次查看GET请求。对了,我发现了一些有希望的东西:</p>
<p><img src="https://i.stack.imgur.com/T4us5.png" alt="enter image description here"/></p>
<p>一个第三方来源的网址,看,它很容易操作使用股票代码!我们试着把它放进一个新的标签页。我们得到的是:</p>
<p><img src="https://i.stack.imgur.com/XFA3z.png" alt="enter image description here"/></p>
<p>哇!我们现在有了非常准确的数据来源。不过,最后一个障碍是,当我们尝试使用此字符串提取CSCO数据时,它是否有效(请记住,我们使用了CSCO->;AAPL,现在再次返回CSCO,所以您不会感到困惑)。让我们把字符串清理干净,在这里完全抛弃<code>www.dailyfinance.com</code>的角色。我们的新网址如下:</p>
<pre><code>http://www.motleyfool.idmanagedsolutions.com/stocks/financial_ratios.idms?SYMBOL_US=AAPL
</code></pre>
<p>让我们试着在最后一个刮刀上使用它!</p>
<pre><code>from bs4 import BeautifulSoup as bsoup
import requests as rq
csco_tick = "CSCO"
url = "http://www.motleyfool.idmanagedsolutions.com/stocks/financial_ratios.idms?SYMBOL_US="
new_url = url + csco_tick
r = rq.get(new_url)
soup = bsoup(r.content)
table = soup.find("div", id="clear").table
rows = table.find_all("tr")
for row in rows:
print row.get_text()
</code></pre>
<p>我们对中信建投(国际)财务比率数据的原始结果如下:</p>
<pre><code>Company
Industry
Valuation Ratios
P/E Ratio (TTM)
15.40
14.80
P/E High - Last 5 Yrs
24.00
28.90
P/E Low - Last 5 Yrs
8.40
12.10
Beta
1.37
1.50
Price to Sales (TTM)
2.51
2.59
Price to Book (MRQ)
2.14
2.17
Price to Tangible Book (MRQ)
4.25
3.83
Price to Cash Flow (TTM)
11.40
11.60
Price to Free Cash Flow (TTM)
28.20
60.20
Dividends
Dividend Yield (%)
3.30
2.50
Dividend Yield - 5 Yr Avg (%)
N.A.
1.20
Dividend 5 Yr Growth Rate (%)
N.A.
144.07
Payout Ratio (TTM)
45.00
32.00
Sales (MRQ) vs Qtr 1 Yr Ago (%)
-7.80
-3.70
Sales (TTM) vs TTM 1 Yr Ago (%)
5.50
5.60
Growth Rates (%)
Sales - 5 Yr Growth Rate (%)
5.51
5.12
EPS (MRQ) vs Qtr 1 Yr Ago (%)
-54.50
-51.90
EPS (TTM) vs TTM 1 Yr Ago (%)
-54.50
-51.90
EPS - 5 Yr Growth Rate (%)
8.91
9.04
Capital Spending - 5 Yr Growth Rate (%)
20.30
20.94
Financial Strength
Quick Ratio (MRQ)
2.40
2.70
Current Ratio (MRQ)
2.60
2.90
LT Debt to Equity (MRQ)
0.22
0.20
Total Debt to Equity (MRQ)
0.31
0.25
Interest Coverage (TTM)
18.90
19.10
Profitability Ratios (%)
Gross Margin (TTM)
63.20
62.50
Gross Margin - 5 Yr Avg
66.30
64.00
EBITD Margin (TTM)
26.20
25.00
EBITD - 5 Yr Avg
28.82
0.00
Pre-Tax Margin (TTM)
21.10
20.00
Pre-Tax Margin - 5 Yr Avg
21.60
18.80
Management Effectiveness (%)
Net Profit Margin (TTM)
17.10
17.65
Net Profit Margin - 5 Yr Avg
17.90
15.40
Return on Assets (TTM)
8.30
8.90
Return on Assets - 5 Yr Avg
8.90
8.00
Return on Investment (TTM)
11.90
12.30
Return on Investment - 5 Yr Avg
12.50
10.90
Efficiency
Revenue/Employee (TTM)
637,890.00
556,027.00
Net Income/Employee (TTM)
108,902.00
98,118.00
Receivable Turnover (TTM)
5.70
5.80
Inventory Turnover (TTM)
11.30
9.70
Asset Turnover (TTM)
0.50
0.50
[Finished in 2.0s]
</code></pre>
<p>清理数据取决于你。</p>
<hr/>
<p>从这一擦边球中可以学到的一个好教训是,并非所有数据都单独包含在一个页面中。很高兴看到它来自另一个静态站点。如果它是通过JavaScript或AJAX调用等方式生成的,那么我们的方法可能会有一些困难。</p>
<p>希望你能从中学到一些东西。如果有帮助,请告诉我们,祝你好运。</p>