DiDOM - простая и быстрая библиотека для парсинга HTML.

Статья

Автор: Материалы сайта rigin.net ★ (id:5)
Дата: 2021-06-08 10:42:01

Категории: Программир.; Интернет, сети, web;

<h1>DiDOM - простая и быстрая библиотека для парсинга HTML.</h1><h3>Исходный материал публикации расположен  <a href="https://rigin.net/raznoe/php/didom-prostaya-i-bystraya-biblioteka-dlya-parsinga-html.html">на сайте rigin.net</a></h3><h4>Установка</h4><h4>Для установки DiDOM выполните команду:</h4><figure class="table"><table><tbody><tr><td>composer require imangazaliev/didom</td></tr></tbody></table></figure><h4>Быстрый старт</h4><figure class="table"><table><thead><tr><th><p>use DiDom\Document;</p><p>$document = new Document('http://www.news.com/', true);</p><p>$posts = $document->find('.post');</p><p>foreach($posts as $post) {</p><p>    echo $post->text(), "\n";</p><p>}</p></th></tr></thead></table></figure><h4>Создание нового документа</h4><h4>DiDom позволяет загрузить HTML несколькими способами:</h4><h4>Через конструктор</h4><figure class="table"><table><thead><tr><th><p>// в первом параметре передается строка с HTML</p><p>$document = new Document($html);</p><p>// путь к файлу</p><p>$document = new Document('page.html', true);</p><p>// или URL</p><p>$document = new Document('http://www.example.com/', true);</p></th></tr></thead></table></figure><h4>Второй параметр указывает на то, что загружается файл. По умолчанию - false.</h4><h4>Через отдельные методы</h4><figure class="table"><table><thead><tr><th><p>$document = new Document();</p><p>$document->loadHtml($html);</p><p>$document->loadHtmlFile('page.html');</p><p>$document->loadHtmlFile('http://www.example.com/');</p></th></tr></thead></table></figure><h4>Для загрузки XML есть соответствующие методы loadXml и loadXmlFile.</h4><h4>При загрузке через эти методы документу можно передать дополнительные параметры:</h4><figure class="table"><table><thead><tr><th>$document->loadHtml($html, LIBXML_HTML_NOIMPLIED | LIBXML_HTML_NODEFDTD);</th></tr></thead></table></figure><h4>Поиск элементов</h4><h4>В качестве выражения для поиска можно передать CSS-селектор или XPath-путь. Для этого в первом параметре нужно передать само выражение, а во втором - его тип (по умолчанию - Query::TYPE_CSS):</h4><h4>Через метод find:</h4><figure class="table"><table><thead><tr><th><p>use DiDom\Document;</p><p>use DiDom\Query;</p><p>...</p><p>// CSS-селектор</p><p>$posts = $document->find('.post');</p><p>// XPath-выражение</p><p>$posts = $document->find("//div[contains(@class, 'post')]", Query::TYPE_XPATH);</p></th></tr></thead></table></figure><h4>Через метод first:</h4><h4>Возвращает первый найденный элемент, либо null, если элементы, подходящие под селектор не были найдены.</h4><h4>Через магический метод __invoke():</h4><figure class="table"><table><thead><tr><th>$posts = $document('.post');</th></tr></thead></table></figure><h4>Через метод xpath:</h4><figure class="table"><table><thead><tr><th>$posts = $document->xpath("//*[contains(concat(' ', normalize-space(@class), ' '), ' post ')]");</th></tr></thead></table></figure><h4>Можно осуществлять поиск и внутри элемента:</h4><figure class="table"><table><thead><tr><th>echo $document->find('.post')[0]->find('h2')[0]->text();</th></tr></thead></table></figure><h4>Если элементы, соответствующие заданному выражению, найдены, метод вернет массив с экземплярами класса DiDom\Element, иначе - пустой массив. При желании можно получить массив объектов DOMElement. Для этого необходимо передать в качестве третьего параметра false.</h4><h4>Проверка наличия элемента</h4><h4>Проверить наличие элемента можно с помощью метода has():</h4><figure class="table"><table><thead><tr><th><p>if ($document->has('.post')) {</p><p>    // код  }</p></th></tr></thead></table></figure><h4>Если нужно проверить наличие элемента, а затем получить его, то можно сделать так:</h4><figure class="table"><table><thead><tr><th><p>if ($document->has('.post')) {</p><p>    $elements = $document->find('.post');</p><p>    // код }</p></th></tr></thead></table></figure><h4>но быстрее так:</h4><figure class="table"><table><thead><tr><th><p>if (count($elements = $document->find('.post')) > 0) {</p><p>    // код }</p></th></tr></thead></table></figure><h4>т.к. в первом случае выполняется два запроса.</h4><h4>Поддерживамые селекторы</h4><h4>DiDom поддерживает поиск по:</h4><h4>тэгу</h4><h4>классу, идентификатору, имени и значению атрибута</h4><h4>псевдоклассам:</h4><h4>first-, last-, nth-child</h4><h4>empty и not-empty</h4><h4>contains</h4><h4>has</h4><figure class="table"><table><thead><tr><th><p>// все ссылки</p><p>$document->find('a');</p><p>// любой элемент с id = "foo" и классом "bar"</p><p>$document->find('#foo.bar');</p><p>// любой элемент, у которого есть атрибут "name"</p><p>$document->find('[name]');</p><p>// эквивалентно</p><p>$document->find('*[name]');</p><p>// поле ввода с именем "foo"</p><p>$document->find('input[name=foo]');</p><p>$document->find('input[name=\'foo\']');</p><p>$document->find('input[name="foo"]');</p><p>// поле ввода, название которого НЕ равно "foo"</p><p>$document->find('input[name!="foo"]');</p><p>// любой элемент, у которого есть атрибут,</p><p>// начинающийся с "data-" и равный "foo"</p><p>$document->find('*[^data-=foo]');</p><p>// все ссылки, у которых адрес начинается с https</p><p>$document->find('a[href^=https]');</p><p>// все изображения с расширением png</p><p>$document->find('img[src$=png]');</p><p>// все ссылки, содержащие в своем адресе строку "example.com"</p><p>$document->find('a[href*=example.com]');</p><p>// все ссылки, содержащие в атрибуте data-foo значение bar отделенное пробелом</p><p>$document->find('a[data-foo~=bar]');</p><p>// текст всех ссылок с классом "foo"</p><p>$document->find('a.foo::text');</p><p>// адрес и текст подсказки всех полей с классом "bar"</p><p>$document->find('a.bar::attr(href|title)');</p><p>// все ссылки, которые являются прямыми потомками текущего элемента</p><p>$element->find('> a');</p></th></tr></thead></table></figure><h4>Изменение содержимого</h4><h4>Изменение HTML</h4><figure class="table"><table><thead><tr><th>$element->setInnerHtml('<a href="#">Foo</a>');</th></tr></thead></table></figure><h4>Изменение значения</h4><figure class="table"><table><thead><tr><th>$element->setValue('Foo');</th></tr></thead></table></figure><h4>Вывод содержимого</h4><h4>Получение HTML</h4><h4>Через метод html():</h4><figure class="table"><table><thead><tr><th><p>$posts = $document->find('.post');</p><p>echo $posts[0]->html();</p></th></tr></thead></table></figure><h4>Приведение к строке:</h4><figure class="table"><table><thead><tr><th>$html = (string) $posts[0];</th></tr></thead></table></figure><h4>Форматирование HTML при выводе</h4><figure class="table"><table><thead><tr><th>$html = $document->format()->html();</th></tr></thead></table></figure><h4>Метод format() отсутствует у элемента, поэтому, если нужно получить отформатированный HTML-код элемента, необходимо сначала преобразовать его в документ:</h4><figure class="table"><table><thead><tr><th>$html = $element->toDocument()->format()->html();</th></tr></thead></table></figure><h4>Внутренний HTML</h4><figure class="table"><table><thead><tr><th>$innerHtml = $element->innerHtml();</th></tr></thead></table></figure><h4>Метод innerHtml() отсутствует у документа, поэтому, если нужно получить внутренний HTML-код документа, необходимо сначала преобразовать его в элемент:</h4><figure class="table"><table><thead><tr><th>$innerHtml = $document->toElement()->innerHtml();</th></tr></thead></table></figure><h4>Дополнительные параметры</h4><figure class="table"><table><thead><tr><th>$html = $document->format()->html(LIBXML_NOEMPTYTAG);</th></tr></thead></table></figure><h4>Получение содержимого</h4><figure class="table"><table><thead><tr><th>echo $element->text();</th></tr></thead></table></figure><h4>Создание нового элемента</h4><h4>Создание экземпляра класса</h4><figure class="table"><table><thead><tr><th><p>use DiDom\Element;</p><p>$element = new Element('span', 'Hello');</p><p>// выведет "Hello"</p><p>echo $element->html();</p></th></tr></thead></table></figure><h4>Первым параметром передается название элемента, вторым - его значение (необязательно), третьим - атрибуты элемента (необязательно).</h4><h4>Пример создания элемента с атрибутами:</h4><figure class="table"><table><thead><tr><th><p>$attributes = ['name' => 'description', 'placeholder' => 'Enter description of item'];</p><p>$element = new Element('textarea', 'Text', $attributes);</p></th></tr></thead></table></figure><h4>Элемент можно создать и из экземпляра класса DOMElement:</h4><figure class="table"><table><thead><tr><th><p>use DiDom\Element;</p><p>use DOMElement;</p><p>$domElement = new DOMElement('span', 'Hello');</p><p>$element = new Element($domElement);</p></th></tr></thead></table></figure><h4>С помощью метода createElement</h4><figure class="table"><table><thead><tr><th><p>$document = new Document($html);</p><p>$element = $document->createElement('span', 'Hello');</p></th></tr></thead></table></figure><h4>С помощью CSS-селектора</h4><figure class="table"><table><thead><tr><th><p>$document = new Document($html);</p><p>$element = $document->createElementBySelector('div.block', 'Foo', ['id' => '#content']);</p></th></tr></thead></table></figure><h4>Можно так же использовать статический метод createBySelector класса Element:</h4><figure class="table"><table><thead><tr><th>$element = Element::createBySelector('div.block', 'Foo', ['id' => '#content']);</th></tr></thead></table></figure><h4>Получение родительского элемента</h4><figure class="table"><table><thead><tr><th>$element->parent();</th></tr></thead></table></figure><h4>Так же можно получить родительский элемент, соответствующий селектору:</h4><figure class="table"><table><thead><tr><th>$element->closest('.foo');</th></tr></thead></table></figure><h4>Вернет родительский элемент, у которого есть класс foo. Если подходящий элемент не найден, метод вернет null.</h4><h4>Получение соседних элементов</h4><figure class="table"><table><thead><tr><th><p>$document = new Document($html);</p><p>$item = $document->find('ul.menu > li')[1];</p><p>// предыдущий элемент</p><p>var_dump($item->previousSibling());</p><p>// следующий элемент</p><p>var_dump($item->nextSibling());</p></th></tr></thead></table></figure><h4>Получение дочерних элементов</h4><figure class="table"><table><thead><tr><th><p>$html = 'ul></p><p>    li>Fooclass="pl-ent">li></p><p>    li>Barclass="pl-ent">li></p><p>    li>Bazclass="pl-ent">li></p><p>class="pl-ent">ul>';</p><p> </p><p>$document = new Document($html);</p><p>$list = $document->first('ul');</p><p> // string(3) "Baz"</p><p>var_dump($item->child(2)->text());</p><p> // string(3) "Foo"</p><p>var_dump($item->firstChild()->text());</p><p> // string(3) "Baz"</p><p>var_dump($item->lastChild()->text());</p><p> // array(3) { ... }</p><p>var_dump($item->children());</p></th></tr></thead></table></figure><h4>Получение документа</h4><figure class="table"><table><thead><tr><th><p>$document = new Document($html);</p><p>$element  = $document->first('input[name=email]');</p><p>$document2 = $element->getDocument();</p><p>// bool(true)</p><p>var_dump($document->is($document2));</p></th></tr></thead></table></figure><h4>Работа с атрибутами элемента</h4><h4>Получение названия элемента</h4><figure class="table"><table><thead><tr><th>$name = $element->tag;</th></tr></thead></table></figure><h4>Создание/изменение атрибута</h4><h4>Через метод setAttribute:</h4><figure class="table"><table><thead><tr><th>$element->setAttribute('name', 'username');</th></tr></thead></table></figure><h4>Через метод attr:</h4><figure class="table"><table><thead><tr><th>$element->attr('name', 'username');</th></tr></thead></table></figure><h4>Через магический метод __set:</h4><figure class="table"><table><thead><tr><th>$element->name = 'username';</th></tr></thead></table></figure><h4>Получение значения атрибута</h4><h4>Через метод getAttribute:</h4><p> </p><figure class="table"><table><thead><tr><th>$username = $element->getAttribute('value');</th></tr></thead></table></figure><h4>Через метод attr:</h4><figure class="table"><table><thead><tr><th>$username = $element->attr('value');</th></tr></thead></table></figure><h4>Через магический метод __get:</h4><figure class="table"><table><thead><tr><th>$username = $element->name;</th></tr></thead></table></figure><h4>Если атрибут не найден, вернет null.</h4><h4>Проверка наличия атрибута</h4><h4>Через метод hasAttribute:</h4><figure class="table"><table><thead><tr><th><p>if ($element->hasAttribute('name')) {</p><p>    // код }</p></th></tr></thead></table></figure><h4>Через магический метод __isset:</h4><figure class="table"><table><thead><tr><th><p>if (isset($element->name)) {</p><p>    // код }</p></th></tr></thead></table></figure><h4>Удаление атрибута:</h4><h4>Через метод removeAttribute:</h4><figure class="table"><table><thead><tr><th>$element->removeAttribute('name');</th></tr></thead></table></figure><h4>Через магический метод __unset:</h4><figure class="table"><table><thead><tr><th>unset($element->name);</th></tr></thead></table></figure><h4>Получение всех атрибутов:</h4><figure class="table"><table><thead><tr><th>var_dump($element->attributes());</th></tr></thead></table></figure><h4>Сравнение элементов</h4><figure class="table"><table><thead><tr><th><p>$element  = new Element('span', 'hello');</p><p>$element2 = new Element('span', 'hello');</p><p>// bool(true)</p><p>var_dump($element->is($element));</p><p>// bool(false)</p><p>var_dump($element->is($element2));</p></th></tr></thead></table></figure><h4>Добавление дочерних элементов</h4><figure class="table"><table><thead><tr><th><p>$list = new Element('ul');</p><p>$item = new Element('li', 'Item 1');</p><p>$list->appendChild($item);</p><p>$items = [new Element('li', 'Item 2'),</p><p>    new Element('li', 'Item 3'),];</p><p>$list->appendChild($items);</p></th></tr></thead></table></figure><h4>Замена элемента</h4><figure class="table"><table><thead><tr><th><p>$title = new Element('title', 'foo');</p><p>$document->first('title')->replace($title);</p></th></tr></thead></table></figure><h4>Внимание: заменить можно только те элементы, которые были найдены непосредственно в документе:</h4><figure class="table"><table><thead><tr><th><p>// ничего не выйдет</p><p>$document->first('head')->first('title')->replace($title);</p><p>// а вот так да</p><p>$document->first('head title')->replace($title);</p></th></tr></thead></table></figure><h4>Удаление элемента</h4><figure class="table"><table><thead><tr><th>$document->first('title')->remove();</th></tr></thead></table></figure><h4>Внимание: удалить можно только те элементы, которые были найдены непосредственно в документе:</h4><figure class="table"><table><thead><tr><th><p>// ничего не выйдет</p><p>$document->first('head')->first('title')->remove();</p><p>// а вот так да</p><p>$document->first('head title')->remove();</p></th></tr></thead></table></figure><h4>Работа с кэшем</h4><h4>Кэш - массив XPath-выражений, полученных из CSS.</h4><h4>Получение кэша</h4><figure class="table"><table><thead><tr><th><p>use DiDom\Query;</p><p>...</p><p>$xpath    = Query::compile('h2');</p><p>$compiled = Query::getCompiled();</p><p>// array('h2' => '//h2')</p><p>var_dump($compiled);</p></th></tr></thead></table></figure><h4>Установка кэша</h4><figure class="table"><table><tbody><tr><td>Query::setCompiled(['h2' => '//h2']);</td></tr></tbody></table></figure><h4>Прочее</h4><h4>preserveWhiteSpace</h4><h4>По умолчанию сохранение пробелов между тегами отключено.</h4><h4>Включать опцию preserveWhiteSpace следует до загрузки документа:</h4><figure class="table"><table><thead><tr><th><p>$document = new Document();</p><p>$document->preserveWhiteSpace();</p><p>$document->loadXml($xml);</p></th></tr></thead></table></figure><h4>count</h4><h4>Метод count() позволяется подсчитать количество дочерних элементов, соответствующих селектору;</h4><figure class="table"><table><thead><tr><th><p>// выведет количество ссылок в документе</p><p>echo $document->count('a');</p></th></tr></thead></table></figure><h4>matches</h4><h4>Возвращает true, если узел подходит под селектор:</h4><figure class="table"><table><thead><tr><th>$element->matches('div#content');</th></tr></thead></table></figure><h4>isTextNode</h4><h4>Проверяет, является ли элемент текстовым узлом (DOMText):</h4><figure class="table"><table><thead><tr><th>$element->isTextNode();</th></tr></thead></table></figure><h4>isCommentNode</h4><h4>Проверяет, является ли элемент комментарием (DOMComment):</h4><figure class="table"><table><thead><tr><th>$element->isCommentNode();</th></tr></thead></table></figure>

Чтобы написать комментарий нужно, зарегистрироваться

Голосования и тесты: 0

	[11:47]
	[🔒]

Статьи, публикации, обзоры, заметки