Как разобрать href изображения в Nokogiri

Question 1

Я анализирую веб-страницу с помощью Nokogiri и хочу разобрать URL-адрес изображения. Это моя установка:

require 'nokogiri'
require 'open-uri'

doc = Nokogiri::HTML(open('https://themeforest.net/search?sort=sales'))

Я вижу следующий блок кода, если просматриваю страницу в хроме:

<div class="_2_3rp " style="padding-top:50.847457627118644%">            
  <div style=""> 
    <img class="_1xvs1" src="https://themeforest.img.customer.envatousercontent.com/files/274559780/screenshots/00-Preview.jpg?auto=compress%2Cformat&amp;fit=crop&amp;crop=top&amp;w=590&amp;h=300&amp;s=37354d884fd0f3b574238e013b4ea423"                                         
      title="Avada | Responsive Multi-Purpose Theme"                    
      alt="Avada | Responsive Multi-Purpose Theme" style="left: 0%;">            
  </div>                                                                     
</div>

Однако когда я бегу:

puts doc.search("//div[@class = '_2_3rp ']")

Получаю следующее:

  <div class="_2_3rp " style="padding-top:50.847457627118644%"><div style="height:100%" class="lazyload-placeholder"></div></div>
  <div class="_2_3rp " style="padding-top:50.847457627118644%"><div style="height:100%" class="lazyload-placeholder"></div></div>
  .....
  => nil

Почему я не получаю класс img, а вместо этого получаю lazyload-placeholder? Есть ли способ преодолеть это и избежать заполнителя изображения?

ruby html-parsing nokogiri

-3

Ibraheem Ahmed 10 Ноя 2019 в 00:24

Вопросы, требующие помощи в отладке («почему этот код не работает?»), должны включать желаемое поведение, конкретную проблему или ошибку и кратчайший код, необходимый для их воспроизведения в самом вопросе. См.: Как создать минимальный воспроизводимый пример. При запросе удалите все несущественные части информации из вашего кода и данных. Я не могу воспроизвести проблему, поэтому я думаю, что она где-то в чем-то, что вы нам не показываете. И «следующий» вывод не может быть из входного HTML, потому что второй div style отличается.

–

the Tin Man

10 Ноя 2019 в 09:09

Я обновил свой вопрос точным кодом. Только так я мог создать воспроизводимый пример.

–

Ibraheem Ahmed

10 Ноя 2019 в 19:19

Answer

Вот минимальный код, который я придумал, необходимый для проверки вашего утверждения:

require 'nokogiri'

doc = Nokogiri::HTML(<<EOT)
<div class="12345">
    <div>
        <img class="67890" src="https://foo.bar">
    </div>
</div>
EOT

doc.search('//div[@class=12345]').map(&:to_html)
# => ["<div class=\"12345\">\n" +
#     "    <div>\n" +
#     "        <img class=\"67890\" src=\"https://foo.bar\">\n" +
#     "    </div>\n" +
#     "</div>"]
#     "</div>"]

Похоже, что тег img есть.

Вы используете Nokogiri::XML для разбора. Не делайте этого, потому что происходит строгий синтаксический анализ, а с HTML, который не является строгим, могут возникнуть проблемы, если HTML искажен.

-1

the Tin Man 10 Ноя 2019 в 09:09

Анализ с помощью Nokogiri::HTML дал тот же результат.

–

Ibraheem Ahmed

10 Ноя 2019 в 19:20

Question 2

Вот минимальный код, который я придумал, необходимый для проверки вашего утверждения:

require 'nokogiri'

doc = Nokogiri::HTML(<<EOT)
<div class="12345">
    <div>
        <img class="67890" src="https://foo.bar">
    </div>
</div>
EOT

doc.search('//div[@class=12345]').map(&:to_html)
# => ["<div class=\"12345\">\n" +
#     "    <div>\n" +
#     "        <img class=\"67890\" src=\"https://foo.bar\">\n" +
#     "    </div>\n" +
#     "</div>"]
#     "</div>"]

Похоже, что тег img есть.

Вы используете Nokogiri::XML для разбора. Не делайте этого, потому что происходит строгий синтаксический анализ, а с HTML, который не является строгим, могут возникнуть проблемы, если HTML искажен.

-1

the Tin Man 10 Ноя 2019 в 09:09

Анализ с помощью Nokogiri::HTML дал тот же результат.

–

Ibraheem Ahmed

10 Ноя 2019 в 19:20

Как разобрать href изображения в Nokogiri

1 ответ

Похожие вопросы

Новые вопросы

ruby