Получите доступный XPath и его имена элементов с помощью HtmlAgilityPack

Question 1

Я использую функцию, чтобы получить все доступные выражения XPath из HTML, используя библиотеку HtmlAgilityPack.

Проблема в том, что я получаю выражения в таком формате:

/html[1]/body[1]/div[1]/div[1]/div[1]/div[1]/h4[1]/a[1]

Я бы улучшил его, чтобы получить также имена узлов / элементов, например:

/html/body/div[@class='infolinks']/div[@class='music']/div[@class='item']/div[@class='release']/h4[1]/a[@title]

Но я не знаю, как правильно получить их имена с помощью HtmlAgilityPack .

Как я мог это сделать?

Примечание. Я не эксперт по XPath, извините, если синтаксис XPath плохой или я что-то неправильно понимаю.

Исходный код веб-страницы, который я пытаюсь:

<div class="infolinks"><input type="hidden" name="IL_IN_TAG" value="1"/></div><div id="main">

    <div class="music">

        <h2 class="boxtitle">New releases \ <small>
            <a href="/newalbums" title="New releases mp3 downloads" rel="bookmark">see all</a></small>
        </h2>

        <div class="item">

            <div class="thumb">
                <a href="http://www.mp3crank.com/curt-smith/deceptively-heavy-121861" rel="bookmark" lang="en" title="Curt Smith - Deceptively Heavy album downloads"><img width="100" height="100" alt="Mp3 downloads Curt Smith - Deceptively Heavy" title="Free mp3 downloads Curt Smith - Deceptively Heavy" src="http://www.mp3crank.com/cover-album/Curt-Smith-Deceptively-Heavy-400x400.jpg"/></a>
            </div>

            <div class="release">
                <h3>Curt Smith</h3>
                <h4>
                    <a href="http://www.mp3crank.com/curt-smith/deceptively-heavy-121861" title="Mp3 downloads Curt Smith - Deceptively Heavy">Deceptively Heavy</a>
                </h4>
                <script src="/ads/button.js"></script>
            </div>

            <div class="release-year">
                <p>Year</p>
                <span>2013</span>
            </div>

            <div class="genre">
                <p>Genre</p>
                <a href="http://www.mp3crank.com/genre/indie" rel="tag">Indie</a><a href="http://www.mp3crank.com/genre/pop" rel="tag">Pop</a>
            </div>

        </div>

        <div class="item">

            <div class="thumb">
                <a href="http://www.mp3crank.com/wolf-eyes/lower-demos-121866" rel="bookmark" lang="en" title="Wolf Eyes - Lower Demos album downloads"><img width="100" height="100" alt="Mp3 downloads Wolf Eyes - Lower Demos" title="Free mp3 downloads Wolf Eyes - Lower Demos" src="http://www.mp3crank.com/cover-album/Wolf-Eyes-–-Lower-Demos.jpg" /></a>
            </div>

            <div class="release">
                <h3>Wolf Eyes</h3>
                <h4>
                    <a href="http://www.mp3crank.com/wolf-eyes/lower-demos-121866" title="Mp3 downloads Wolf Eyes - Lower Demos">Lower Demos</a>
                </h4>
                <script src="/ads/button.js"></script>
            </div>

            <div class="release-year">
                <p>Year</p>
                <span>2013</span>
            </div>

            <div class="genre">
                <p>Genre</p>
                <a href="http://www.mp3crank.com/genre/rock" rel="tag">Rock</a>
            </div>

        </div>

    </div>

</div>

Функция для получения XPath:

Public Function GetXPaths(ByVal Document As HtmlAgilityPack.HtmlDocument) As List(Of String)

    Dim XPathList As New List(Of String)
    Dim XPath As String = String.Empty

    For Each Child As HtmlAgilityPack.HtmlNode In Document.DocumentNode.ChildNodes

        If Child.NodeType = HtmlAgilityPack.HtmlNodeType.Element Then
            GetXPaths(Child, XPathList, XPath)
        End If

    Next ' child'

    Return XPathList

End Function

Private Sub GetXPaths(ByVal Node As HtmlAgilityPack.HtmlNode,
                      ByRef XPathList As List(Of String),
                      Optional ByVal XPath As String = Nothing)

    XPath = Node.XPath

    If Not XPathList.Contains(XPath) Then
        XPathList.Add(XPath)
    End If

    For Each Child As HtmlAgilityPack.HtmlNode In Node.ChildNodes

        If Child.NodeType = HtmlAgilityPack.HtmlNodeType.Element Then
            GetXPaths(Child, XPathList, XPath)

        End If

    Next ' child

End Sub

И это XPath, которые я использую для получения некоторых значений, я хотел бы получить более или менее такое же полное представление XPath для функции выше.

Title = node.SelectSingleNode(".//div[@class='release']/h4/a[@title]").GetAttributeValue("title", "Unknown Title")
Cover = node.SelectSingleNode(".//div[@class='thumb']/a/img[@src]").GetAttributeValue("src", String.Empty)
Year = node.SelectSingleNode(".//div[@class='release-year']/span").InnerText
Genres = (From genre In node.SelectNodes(".//div[@class='genre']/a") Select genre.InnerText).ToArray
URL = node.SelectSingleNode(".//div[@class='release']/h4/a[@href]").GetAttributeValue("href", "Unknown URL")

html .net vb.net xpath html-agility-pack

0

ElektroStudios 19 Авг 2014 в 09:45

Html, body, div и т. д. - это имя элемента. Вы хотели получить имя класса элемента (если есть)?

–

har07

19 Авг 2014 в 10:05

Да, это то, что я имею в виду, спасибо за комментарий

–

ElektroStudios

19 Авг 2014 в 11:24

Answer

Это добавит фильтр атрибута класса к XPath, если соответствующий элемент имеет атрибут класса:

Private Sub GetHtmlXPaths(ByVal Node As HtmlAgilityPack.HtmlNode,
                          ByRef XPathList As List(Of String),
                          Optional ByVal XPath As String = Nothing)

    XPath &= Node.XPath.Substring(Node.XPath.LastIndexOf("/"c))

    Const ClassNameFilter As String = "[@class='{0}']"
    Dim ClassName As String = Node.GetAttributeValue("class", String.Empty)

    If Not String.IsNullOrEmpty(ClassName) Then
        XPath &= String.Format(ClassNameFilter, ClassName)
    End If

    If Not XPathList.Contains(XPath) Then
        XPathList.Add(XPath)
    End If

    For Each Child As HtmlAgilityPack.HtmlNode In Node.ChildNodes

        If Child.NodeType = HtmlAgilityPack.HtmlNodeType.Element Then
            GetHtmlXPaths(Child, XPathList, XPath)
        End If

    Next Child

End Sub

1

ElektroStudios 19 Авг 2014 в 12:15

Функция не дает желаемых результатов, отсутствуют XPath, например, когда имеется более одного div с одним и тем же именем класса (например, имя класса "Item" в источнике, который я предоставил выше), другие div считаются добавленными (не добавляются из-за ложного срабатывания), я взял на себя смелость изменить ваше решение, чтобы исправить проблему, извините, если это вас раздражает, вы можете отменить мою модификацию (или улучшить ее). извините за мой английский и спасибо за ваш ответ

–

ElektroStudios

19 Авг 2014 в 12:15

Просто сейчас вместо добавления чего-то в XPath, например div[@class='item'], теперь я добавляю div[1][@class='item'] и div[2][@class='item'], эти xpath работают должным образом с использованием htmlagilitypath

–

ElektroStudios

19 Авг 2014 в 12:18

Question 2

Это добавит фильтр атрибута класса к XPath, если соответствующий элемент имеет атрибут класса:

Private Sub GetHtmlXPaths(ByVal Node As HtmlAgilityPack.HtmlNode,
                          ByRef XPathList As List(Of String),
                          Optional ByVal XPath As String = Nothing)

    XPath &= Node.XPath.Substring(Node.XPath.LastIndexOf("/"c))

    Const ClassNameFilter As String = "[@class='{0}']"
    Dim ClassName As String = Node.GetAttributeValue("class", String.Empty)

    If Not String.IsNullOrEmpty(ClassName) Then
        XPath &= String.Format(ClassNameFilter, ClassName)
    End If

    If Not XPathList.Contains(XPath) Then
        XPathList.Add(XPath)
    End If

    For Each Child As HtmlAgilityPack.HtmlNode In Node.ChildNodes

        If Child.NodeType = HtmlAgilityPack.HtmlNodeType.Element Then
            GetHtmlXPaths(Child, XPathList, XPath)
        End If

    Next Child

End Sub

1

ElektroStudios 19 Авг 2014 в 12:15

Функция не дает желаемых результатов, отсутствуют XPath, например, когда имеется более одного div с одним и тем же именем класса (например, имя класса "Item" в источнике, который я предоставил выше), другие div считаются добавленными (не добавляются из-за ложного срабатывания), я взял на себя смелость изменить ваше решение, чтобы исправить проблему, извините, если это вас раздражает, вы можете отменить мою модификацию (или улучшить ее). извините за мой английский и спасибо за ваш ответ

–

ElektroStudios

19 Авг 2014 в 12:15

Просто сейчас вместо добавления чего-то в XPath, например div[@class='item'], теперь я добавляю div[1][@class='item'] и div[2][@class='item'], эти xpath работают должным образом с использованием htmlagilitypath

–

ElektroStudios

19 Авг 2014 в 12:18

Получите доступный XPath и его имена элементов с помощью HtmlAgilityPack

1 ответ

Похожие вопросы

Связанные вопросы

Новые вопросы

html