如何使用oauth2为网站构建Python爬虫程序

Question

我是网络编程新手。我想用Python在Foursquare中构建一个爬行器来爬行社交图。 我使用apiv2库获得了一个“手动”控制的爬虫程序。主要方法如下：

def main():
    CODE = "******"
    url = "https://foursquare.com/oauth2/authenticate?client_id=****&response_type=code&redirect_uri=****"
    key = "***"
    secret = "****"
    re_uri = "***"

    auth = apiv2.FSAuthenticator(key, secret, re_uri)
    auth.set_token(code)    
    finder = apiv2.UserFinder(auth)        

    #DO SOME REQUIRES By USING THE FINDER
    finder.finde(ANY_USER_ID).mayorships()
    bla bla bla

问题是，目前，我必须在浏览器中输入URL并从重定向URL中获取代码，然后更新程序中的代码，然后再次运行它。我想也许有一种方法可以把代码编码到我当前的程序中，并使其自动化。在

任何指示或示例代码都是感激的。在

Answer 1

您应该查看python-oauth2模块。这似乎是最稳定的。在

特别是，this blog post对如何使用Python轻松地完成Oauth有一个非常好的总结。示例代码使用foursquareAPI，因此我将首先检查它。在

我最近不得不让oauth使用Dropbox，and wrote this module包含进行oauth交换的必要步骤。在

对于我的系统，我能想到的最简单的事情就是pickleOauth客户机。我的博客包刚刚反序列化了pickled客户端并使用以下函数请求了终结点：

get = lambda x: client.request(x, 'GET')[1]

只需确保您的工作人员拥有此客户机对象，并且您应该准备就绪：-）