从具有挑战性的网站刮信息没有指导性的HTML结构

Question

我需要从一个非常有挑战性的网站上搜集一些信息

这是一个例子：

<div class="overview">
        <span class="course_titles">Courses:</span> 
        <a href="/schools/courses/173/" class="course_name">Math101</a> (Math; Monday; Room 10);
        <a href="/schools/student/1388/" class="coursestudent_name">Mark</a> 17, 
        <a href="/schools/student/1401/" class="coursestudent_name">Alex</a> 18, ), 

        <a href="/schools/courses/2693/" class="course_name">English101</a> (English; Thursdays; Room 12); 
        <a href="/schools/student/1403/" class="coursestudent_name">Sarah</a> 16, 
        <a href="/schools/student/1411/" class="coursestudent_name">Nancy</a> 17, 
        <a href="/schools/student/1390/" class="coursestudent_name">Casey</a> 17 ), 
</div>

每门课程都有特定的学生，他们的年龄以他们的名字命名（那些随机的字符已经在里面了）。你知道吗

我需要与他们各自的学生，加上年龄刮每门课程。你知道吗

不幸的是，除了包罗万象的div类之外，没有固有的层次结构。我试着用BeautifulSoup按“coursestudent\u name”刮，然后添加所有具有“coursestudent\u name”属性的项目，但这样我就添加了每个课程的所有学员。你知道吗

我希望我能改变网站，但我不能。有人知道我怎样才能得到正确的学生每门课的信息吗？你知道吗

谢谢你！你知道吗

Answer 1

你可以用一点regex来获得学生年龄，而不是任何html标记

soup = BeautifulSoup(html, "html.parser")
allA = soup.find("div", {"class" : "overview"}).find_all("a")

classInfo = {}
currentClass = None
for item in allA:
    if item['class'] == ['course_name']:
        classInfo[item.text] = []
        currentClass = item.text
    else:
        classInfo[currentClass] += [(item.text, int(re.search(item.text + r"</a> (\d+)", html).group(1)))]


print(classInfo)

这将输出：

{'English101': [('Sarah', 16), ('Nancy', 17), ('Casey', 17)], 'Math101': [('Mark', 17), ('Alex', 18)]}