"在Python中使用PHP Curl代码进行URL抓取 - 需要帮助"

Question

这是我用Curl编写的PHP代码。我需要在GAE Python中使用urlphetch执行相同的函数。如何将所有这些参数传递给urlphetch。请帮帮我。在

    $curl = curl_init();
    $timeout = 30;

// Logining to my TNT 
    curl_setopt ($curl, CURLOPT_URL, "https://my.tnt.com/myTNT/login/LoginInitial.do?cmd=1&navigation=1");
    curl_setopt ($curl, CURLOPT_POST, 1);
    curl_setopt ($curl, CURLOPT_POSTFIELDS, "userid=aaaa@bb.com&password=1234qwe");
    curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, false);
    curl_setopt ($curl, CURLOPT_COOKIESESSION, 1);
    curl_setopt ($curl, CURLOPT_COOKIEFILE, "userid=; password=; JSESSIONID=E1FC9A6D18002370BD4AF7DDBBA617A0; BIGipServermy_tnt_com_pool=2636720036.20480.0000");
    curl_setopt ($curl, CURLOPT_FOLLOWLOCATION, 1);
    curl_setopt ($curl, CURLOPT_MAXREDIRS, 20);
    curl_setopt ($curl, CURLOPT_RETURNTRANSFER, 1);
    curl_setopt ($curl, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows NT 6.1; rv:5.0.1) Gecko/20100101 Firefox/5.0.1");
    curl_setopt ($curl, CURLOPT_CONNECTTIMEOUT, $timeout);
    curl_setopt ($curl, CURLOPT_REFERER, "https://my.tnt.com/myTNT/login/LoginInitial.do");
    $text = curl_exec($curl);
    $pos = curl_getinfo($curl, CURLINFO_EFFECTIVE_URL);

这是我的python代码。在

^{pr2}$

我正在尝试访问MyTNT的网页。所以首先我需要登录到那个页面。以上代码用于登录mytnt网站。当我运行PHP代码时，它将重定向到mytnt主页(https://my.tnt.com/myTNT/landing/landingPage.do). 但当我运行python文件时，它重定向到同一个登录页面。当我使用urlphetch执行python文件时，登录失败。在

Answer 1

我怀疑您的php代码使用了一个“cookiejar”，就像mechanize库中提供的一样。在

我以前用过mechanize对网站进行基本的抓取，但实际上并没有登录，所以我不能说它100%对你有用，但我认为这是你最好的选择。在