如何对仅在单击按钮后出现的数据进行爬网？

Question

我想建立一个传奇联盟的游戏统计数据库。我使用https://op.gg作为源代码，现在可以对搜索名称后显示为默认值的数据进行爬网，但我希望数据只在单击某个对象后显示自己

默认情况下，html显示以下内容：

<div class="GameItem Lose" data-summoner-id="2919237" data-game-time="1557391914" data-game-id="3653488889" data-game-result="lose">

但按下按钮后，将变为：

<div class="GameItem Lose extended" data-summoner-id="2919237" data-game-time="1557391914" data-game-id="3653488889" data-game-result="lose">

我需要的数据在新的章节下面

我试着用Docker阅读了scrapy教程，但这似乎只解释了如何用javascript获取预加载的数据

Answer 1

你可以使用硒包

我用它来做和你一样的案子。我不得不把youtube视频上的所有评论都删掉。它们只在您向下滚动并等待加载时出现。 检查我的code。免责声明：这不是很好的评论和结构，因为这是一个练习的课程，我做了，但它给你一个想法

Selenium的模拟就像您在操作浏览器一样。所以你可以看到它向下滚动页面，然后等待一段时间，并点击东西。我觉得很酷

祝你好运，好好享受