使用Scrapy/Selenium填充字段并在LinkedIn高级搜索页面上搜索

Question

LinkedIn高级搜索的url:https://www.linkedin.com/vsearch/p?adv=true&trk=advsrch

我正在使用Selenium（Python）在LinkedIn高级搜索页面上填充字段并点击submit按钮。在

但是，当我试图将键发送到要填充的字段（例如，名字）时，我得到了一个错误：ElementNotVisibleException:Message:Element当前不可见，因此可能无法与之交互。我猜隐藏搜索的切换和我的高级搜索。我原以为高级搜索框在默认情况下是可见的，但是看起来Selenium驱动程序没有意识到这一点。在

如何使这些“不可见”字段和提交按钮元素可见？在

我试过：

• 使用Wait函数在页面上设置延迟。

• 运行脚本使div元素保存高级搜索页面

  在self.driver.execute_脚本("文档.getElementById（'advs'）。样式.显示='block'）

• “点击”切换显示/隐藏按钮进行高级搜索，虽然我不确定我做的正确

  在self.driver.find_element_id（“advs link”）。单击（）

Answer 1

如果您查看submit按钮，您可以看到它是一个GET请求。因此，您也可以从输入字段和要用参数填充URL的值进行组装。唯一棘手的值是rsid，但在站点中可以找到"searchId"。在

然后，当GET请求的URL在那里时，您可以使用Scrapy将该URL称为Request并刮取内容。在