Структура сайта, которую я пытаюсь разобрать, выглядит так:

<table border="0" cellpadding="3" cellspacing="0" width="100%">
    <tr height="25">
        <td class="th" style="border:none" width="2%"> </td>
        <td class="th">movie</td>
        <td class="th"> </td>
        <td class="th"> </td>
    </tr>

    <tr id="place_1">
        <td style="color: #555; vertical-align: top; padding: 6px">
            <a name="1"></a>1.
        </td>

        <td style="height: 27px; vertical-align: middle; padding: 6px 30px 6px 0">
            <a class="all" href="/326/">MOVIE TITLE IN SPANISH</a>

            <br/>

            <span class="text-grey">MOVIE TITLE IN ENGLISH</span> 
        </td>

        <td style="width: 85px">
            <div style="width: 85px; position: relative">
                <a class="continue" href="/326/votes/">
                    9.191
                </a> 

                <span style="color: #777">
                    (592 184)
                </span>
            </div>
        </td>
    </tr>

    ...
    ...
    ...

Проблема в том, что я не могу получить текст внутри тега span. Я пробовал .text как для a-тега, также пробовал .get_text () . Но ничего из этого не сработало. Мой код на Python:

for row in table.find_all('tr')[1:]:

    info = row.find_all('td')

    movies.append({
        'spn_title' : info[1].a.text,
        'eng_title' : info[1].span.text,
    })

Я получаю ошибки:

AttributeError: у объекта 'NoneType' нет атрибута 'get_text'

Или

'eng_title': info [1] .span.text AttributeError: у объекта 'NoneType' нет атрибута 'text'

3
j_noe 14 Апр 2019 в 16:26

2 ответа

Лучший ответ

Попробуйте следующее. Кроме того, проверьте вашу переменную супа, потому что я могу запустить ваш код без проблем. Я подозреваю, что где-то позже в HTML у вас нет ни одного из них, присутствующих подряд.


Если имена классов непротиворечивы, вы можете фильтровать только подходящие строки, имеющие соответствующие элементы типа, с этими классами. Использование bs4 4.7.1.

for row in table.select('tr :has(span.text-grey):has(a.all)'):
    movies.append({
        'spn_title' : row.select_one('.all').text,
        'eng_title' : row.select_one('.text-grey').text
    })
print(movies)

В противном случае вам нужен способ обработки, если он отсутствует. Например,

for row in table.find_all('tr')[1:]:
     movies.append({
        'spn_title' : row.select_one('.all').text if row.select_one('.all') is not None else 'None',
        'eng_title' : row.select_one('.text-grey').text if row.select_one('.text-grey') is not None else 'None'
    })
print(movies)

1
QHarr 14 Апр 2019 в 15:53

Я думаю, что вы должны использовать innerHTML.

info[1].getElementsByTagName('span')[0].innerHTML 

Должно сработать.

0
Bhargav Rao 14 Апр 2019 в 16:51