URL = "https://bitcointalk.org/index.php?board=1.0"
page = requests.get(URL)
soup = BeautifulSoup(page.content, 'html.parser')
links_with_text = []


for random in soup.find_all("span", attrs={"id": re.compile("^msg")}):
    for b in random.find_all('a', href=True):
          print(b['href'])

Приведенный выше код работает нормально. Я могу получить все темы с первой страницы, но проблема заключается в получении названий тем. есть идеи?

0
CSharpdocsz 28 Фев 2021 в 13:30

1 ответ

Лучший ответ

Следующий код должен работать:

URL = "https://bitcointalk.org/index.php?board=1.0"
page = requests.get(URL)
soup = BeautifulSoup(page.content, 'html.parser')
links_with_text = []

for random in soup.find_all("span", attrs={"id": re.compile("^msg")}):
    for b in random.find_all('a', href=True):
          print(b['href'])
          print(b.string)

Пример вывода:

...
https://bitcointalk.org/index.php?topic=5320354.0
Craig Wright's Latest Escapade -- Give me the bitcoins I stole from Mt. Gox!
https://bitcointalk.org/index.php?topic=5233719.0
Opera now lets US users buy crypto with Apple Pay or debit card
...
0
Bonfire 28 Фев 2021 в 10:59