似乎无法循环浏览该网站Pythonn、Selenium和BeautifulSoup页面中的所有数据

2024-09-29 23:31:03 发布

您现在位置:Python中文网/ 问答频道 /正文

似乎无法循环浏览所有页面的所有数据。你知道吗

for i in range(10):
    for media in ul.find_all('div', class_='media-body'):
        cname = media.find('h6').text.strip()
        cdiv = media.find('div').text.strip()
        ctype = media.find('p').text.strip()
        result = [cname, cdiv, ctype]
        print(result)
        print()

    nextPage = browser.find_element_by_xpath('/html/body/div[3]/div/div[2]/div/div/div[1]/div/ul[2]/li[12]/a')
    nextPage.send_keys(Keys.ENTER)
    time.sleep(5)

当我试图在这个网站上搜集数据时,我从第一页获取数据,但不是从所有页面获取数据。你知道吗

我可以看到Selenium在所有页面中循环,但是当我使用Selenium查找“next”按钮时,我只在第一页得到列表。你知道吗

我想得到的是每页10个结果(有10条数据),有10页,所以我应该在最后得到100个结果

我得到的是第一页x10的结果。你知道吗

这是我实际得到的,但是x10:

['GONG APHASIE', 'Santé, Biotech, Chimie - Health Tech', 'L’application qui rétablit la communication grâce aux images']

['SURFY', 'SSII & NTIC - Big Data', 'Solution digitale de centralisation des plans et des données en mode SaaS']

['YRCASH', 'Finance', 'Gestion dématérialisée de votre trésorerie']

['NAHIBU', 'Santé, Biotech, Chimie - Diagnostique, Analyse', "Commercialise un kit d'analyse de votre microbiote intestinal"]

['JERONIMOOOO', 'Emploi, Job', 'Permettre aux indépendants de mettre en place un réseau efficient pour leur activité professionnelle']

['HELLOHOME', 'Immobilier, BTP, Architecture - Immobilier', "Met en relation des personnes cherchant un bien à louer ou acheter, et les professionnels de l'immobilier"]

['MILVUE', 'Santé, Biotech, Chimie - Accessoires médicaux', "L'Intelligence Artificielle Pour La Radiologie d'Urgence"]

['CALA', 'Restauration, Cuisine, Alimentation', "Le premier restaurant de pâtes, où le cuisto c'est le robot"]

['URBASSIST', 'Services aux particuliers', 'Le premier assistant d’urbanisme en ligne']

['BEAUTYCAB', 'Mode, Textile, Beauté - Cosmétique', 'Votre espace beauté où vous voulez, quand vous voulez']

['GONG APHASIE', 'Santé, Biotech, Chimie - Health Tech', 'L’application qui rétablit la communication grâce aux images']

['SURFY', 'SSII & NTIC - Big Data', 'Solution digitale de centralisation des plans et des données en mode SaaS']

Tags: 数据textdivde页面findmediaet

热门问题