如何强制页面显示面包屑菜单？

Question

我正在用Python和Scrapy库构建一些Web爬虫。目标是从一些商店获取数据。在

爬行时，有两种站点：

1. 目录网站，展示产品和链接。。在
2. 产品站点，可以查看商店不同产品的站点

现在，作为一个用户，当我从一个目录站点打开一个产品站点时，我会看到一个“面包屑风格”菜单——这显示了我的位置。例如，如果商店是电子商店，而产品是iPhone，则面包屑可以显示：

“电子产品->手机->iPhone->iPhone 5S 64GB”

但是，只有当我遵循上面概述的直接路径时才会发生这种情况。我的问题是，当我通过Scrapy抓取这些站点时，breadcrumb不会出现，即使使用crawler，我还是按照上面的路径（即，我从电子站点开始，然后继续深入，直到我到达产品站点）。我甚至修改了推荐人的设置，但没有任何帮助。在

有没有其他方法，我可以让这些面包屑菜单出现？在

非常感谢您的意见。：）

Answer 1

最有可能的是，站点将breadcrumbs实现为您忽略的cookies。您需要将会话cookie从一个请求传递到后续请求。This question演示scrapy的cookie用法。在