如何使用mechanize提交表单获取下一个网页的URL？

Question

我正在努力搜集一些资料，决定采用机械化与美容相结合的方式。我必须在这个网页的表单中输入要搜索的字段，然后单击“搜索”按钮以进入下一个相关的页面，我想从该页面的URL中获取数据。在

开发人员模式显示窗体的以下代码-

<form name="topsearch" id="topsearch" method="get" onsubmit="javascript:return search_post();" action="">
        <input type="hidden" name="search_data" id="search_data" value="">
            <input type="hidden" name="cid" id="cid" value="">
            <input type="hidden" name="mbsearch_str" id="mbsearch_str">
            <input type="hidden" name="topsearch_type" id="topsearch_type" value="1">
            <input name="search_str" id="search_str" autocomplete="off" onkeyup="getAutosuggesion();" type="text" value="Search Quotes, News, NAVs..." onblur="if(this.value=='')this.value='Search Quotes, News, NAVs...';" onfocus="if(this.value=='Search Quotes, News, NAVs...')this.value='';if(this.value=='Search Quotes, News, NAVs...')this.value='';" class="txtsrchbox">     
            <div id="autosugg_mc" class="sugbx"></div>
            <div class="PR srch_qote">
                <div class="srchdrp" id="srchR">Quotes</div>
                <div id="srch" class="qubx">
                    <ul class="qlist">
                        <li><a onclick="tab_topser('1');getAutosuggesion();" id="tab1" href="javascript:void(0)" class="">Quotes</a></li>
                        <li><a onclick="tab_topser('2');getAutosuggesion();" id="tab2" href="javascript:void(0)" class="">NAVs</a></li>
                        <li><a onclick="tab_topser('5');" id="tab5" href="javascript:void(0)" class="">Commodities</a></li>
                        <li><a onclick="tab_topser('9');" id="tab9" href="javascript:void(0)" class="active">Futures</a></li>
                        <li><a onclick="tab_topser('3');getAutosuggesion();" id="tab3" href="javascript:void(0)" class="">News</a></li>
                        <li><a onclick="tab_topser('4');" id="tab4" href="javascript:void(0)" class="">Messages</a></li>                                    
                        <li><a onclick="tab_topser('6');getAutosuggesion();" id="tab6" href="javascript:void(0)" class="">Notices</a></li>
                        <li><a onclick="tab_topser('7');" id="tab7" href="javascript:void(0)" class="">Videos</a></li>
                        <li><a class="" onclick="tab_topser('8');" id="tab8" href="javascript:void(0)">All</a></li>
                    </ul>
                </div>                  
            </div>
            <a href="javascript:;" onclick="$('#topsearch').submit()" style="float:left;" class="btn_search"></a>    
            <div class="CL"></div>
            </form>

我使用-

^{pr2}$

提交表单后，如果我在网站上手动搜索相同的字符串，则该url不会更改为它指向的url。在

我在以-

'baseURL?search_data=&cid=&mbsearch_str=&topsearch_type=1&search_str=Kiri+Industries'

而如果我手动提交，我会进入下一页的网址-

'baseURL/stockpricequote/dyes-pigments/kiriindustries/KDC01'

这是我需要能够抓取数据的网址。在

submit按钮是使用javascript不能使用mechanize调用的吗？如果是这个问题，我该如何使它工作？在

谢谢你的帮助。在

Answer 1

看来，至少从我的类似问题来看，mechanize根本不处理Javascript。尝试使用selenium，它可以很好地处理javascript。我正在建立我的脚本，如果它解决了我的问题，我会更新。在