Regex: Auslesen der Meta-Tags einer Webseite Sucheingrenzung

pepe24 · 26.04.2008, 18:12

Grüß Euch!

Habe ein kleines Problem mit einem Regex. Ich möchte damit aus HTML-Quelltext die meta-tags auslesen und dabei ebenfalls ein bisschen auf die Performance achten.

Den get_meta_tags-PHP-Befehl kann ich leider nicht verwenden, da er leider nur Dateien verarbeiten kann bzw. auf Zielseiten mit fopen/ fsockopen zugreift und zuerst die Seite auslesen will, bevor er die Meta's extrahiert. Der HTML_Quelltext kommt bei mir aus einer Datenbank und liegt als String vor, den "get_meta_tags" leider nicht interpretiert. In den Kommentaren des genannten Befehls habe ich folgenden REGEX übernommen:

"|<meta[^>]+name=\"([^\"]*)\"[^>]+content=\"([^\"]*)\"[^>]+>|i".

Funktioniert bisher auch zufriedenstellend. Allerdings würde mich nun noch
interessieren, wie ich die Suche des Regex schon im vorhinein auf den bereich zwischen "<head>" und "</head>" eingrenzen kann. Da die <head> Bezeichnung noch mehrere eigenschaften halten kann und davor ja sowieso nicht allzuviel Quelltext steht, reicht wohl eine Eingrenzung im Sinne von "wenn </head> gefunden, dann sofort stoppen". Hat jemand evtl eine schnelle Idee, wie man das in vorhandenes Pattern einbinden kann?

grüße.
Peter

Zergling-new · 26.04.2008, 18:38

Hallo,
ich wuerde hierfuer eher die XML Funktionen von PHP verwenden. Ueber Performance kann man ja reden wenn es so weit ist, aber da werden RegExp auch nicht so gut dastehen.

Den <head> wuerde ich so extrahieren.
[php]<?php
$strHtmlHead = substr($strHtml, 0, strpos($strHtml, "</head>"));
?>[php]

pepe24 · 26.04.2008, 18:42

Klar, logisch. Manchmal sieht man den Wald vor lauter Bäumen nichtmehr.

Danke Zergling!

nikosch · 26.04.2008, 19:35

Am besten so, dann hast Du gleich einen vollständigen xml Baum:

PHP-Code:

  <?

$strHtmlHead = substr (substr ($strHtml, 

                               0 , 

                               strpos ($strHtml, "</head>") + 7) ,

                       strpos ($strHtml, "<head>"));

pepe24 · 26.04.2008, 20:24

Hallo Nikosch, danke für das Additum.

So sieht nun die endgültige Lösung aus:

PHP-Code:

  //META-Tags auslesen und verpacken

$strHtmlHead = substr (substr ( $responseHTTP->getBody(),

                               0 ,  

                               strpos ( $responseHTTP->getBody(), "</head>") + 7) , 

                       strpos ( $responseHTTP->getBody(), "<head>"));

                       

                    preg_match_all("|<meta[^>]+name=\"([^\"]*)\"[^>]+content=\"([^\"]*)\"[^>]+>|i",  $strHtmlHead, $aMetaExtraction, PREG_SET_ORDER);

                    $aMetaArray = array();

                    

                    foreach($aMetaExtraction as $MetaUnique) {

                        $aMetaArray[$MetaUnique[1]] =  $MetaUnique[2];

                    }

                    

                    //META-Tags auslesen und verpacken ENDE

pepe24 · 29.05.2008, 19:53

Grüß Euch!

bezüglich des Regex hätte ich nun doch noch eine ergänzende Frage.
Nach wie vor benutze ich diesen hier:
"|<meta[^>]+name=\"([^\"]*)\"[^>]+content=\"([^\"]*)\"[^>]+>|i".

Allerdings erweist er sich als nicht allgemeingültig genug in folgenden Situationen:

-"name" und "content sind vertauscht, also (<meta content=... name=... />)
-anstatt " wird ' verwendet

zu Punkt zwei habe ich folgenden Versuch gemacht und habe begrenzende \" durch [\"|\'] ersetzt. Das hat allerdings einen Fehler geworfen. Kann ich leider gerade nicht nachproduzieren, weil ich nicht an der Entwicklungsumgebung sitze.

Hat jemand einen Tip bereit?

Grüße!

29.05.2008, 20:09

Zitat:

Hat jemand einen Tip bereit?

Anstelle von dein Delimiter | ein anderes Zeichen benutzen, und im Pattern eine Art ORDER ( mit | ) bauen. Oder eine Alternative mit (name|content) machen ...

pepe24 · 29.05.2008, 21:24

pepe24 · 30.05.2008, 08:47

Nun... es wäre doch zu einfach gewesen...

Wie man oben sieht, schreibe ich die "Bezeichner -> Inhalt" Matches in ein Array.
Sollte ein Benutzer nun beim Meta Tag "content" und "name" vertauschen,
habe ich auf einmal den "Inhalt" als array-key und den Bezeichner (z.B.) "description"
als Wert.
Kann ich dem regex irgendwie beibringen, dass er das Ergebnis schon so ordnet,
dass er immer erst "name" im Ergebnisarray vor dem "content" einordnet?

Grüße!

Zergling-new · 30.05.2008, 09:14

Wuesste nicht wie, was spricht denn gegen den Einsatz von SimpleXML?

Themen-Optionen
Druckbare Version zeigen Jemanden per E-Mail auf dieses Thema hinweisen
Thema bewerten
Thema bewerten:

Ähnliche Themen
Thema	Autor	Forum	Antworten	Letzter Beitrag
Bestimme HTML Tags mittels RegEx rausfiltern	Mano	PHP Tipps 2008	6	27.09.2007 14:22
[Erledigt] Regex für alle Tags auf Level 1	Andreas	PHP-Fortgeschrittene	4	16.11.2006 07:58
xml tags auslesen	LP	PHP Tipps 2006	2	14.09.2006 23:34
Webseite komplett auslesen		PHP Tipps 2006	5	20.07.2006 12:49
Webseite auslesen	Katrin	PHP Tipps 2006	6	21.04.2006 20:43
Wie Tonerstand aus Webseite vom Druckergerät auslesen?		PHP Tipps 2006	14	16.03.2006 16:16
RegEx nicht für Tags	stefanjann	PHP Tipps 2006	2	16.03.2006 10:58
eMail Adressen einer Webseite auslesen ?	madSoul	PHP Tipps 2005-2	10	08.09.2005 12:17
Mit RegEx auslesen - Hilfe beinm RegEx	Monty77	PHP-Fortgeschrittene	6	09.06.2005 14:34
META TAGS in php?	GrU3nL!nG	PHP Tipps 2005-2	19	05.06.2005 13:15
binäre id3v2 tags auslesen	mrSpok	PHP-Fortgeschrittene	5	03.06.2005 12:56
musst man ¨ in meta tags verwenden?		HTML, Usability und Barrierefreiheit	16	24.02.2005 17:50
[Erledigt] html aus einer webseite auslesen		PHP-Fortgeschrittene	7	14.02.2005 11:03
[Erledigt] meta refresh beim auslesen aus einer Datenbank umgehen		Datenbanken	1	14.09.2004 20:10
[Erledigt] Meta Tags		HTML, Usability und Barrierefreiheit	5	02.08.2004 09:29

26.04.2008, 18:12
pepe24 Erfahrener Benutzer Registriert seit: 21.07.2005 Beiträge: 209	Regex: Auslesen der Meta-Tags einer Webseite Sucheingrenzung Grüß Euch! Habe ein kleines Problem mit einem Regex. Ich möchte damit aus HTML-Quelltext die meta-tags auslesen und dabei ebenfalls ein bisschen auf die Performance achten. Den get_meta_tags-PHP-Befehl kann ich leider nicht verwenden, da er leider nur Dateien verarbeiten kann bzw. auf Zielseiten mit fopen/ fsockopen zugreift und zuerst die Seite auslesen will, bevor er die Meta's extrahiert. Der HTML_Quelltext kommt bei mir aus einer Datenbank und liegt als String vor, den "get_meta_tags" leider nicht interpretiert. In den Kommentaren des genannten Befehls habe ich folgenden REGEX übernommen: "\|<meta[^>]+name=\"([^\"])\"[^>]+content=\"([^\"])\"[^>]+>\|i". Funktioniert bisher auch zufriedenstellend. Allerdings würde mich nun noch interessieren, wie ich die Suche des Regex schon im vorhinein auf den bereich zwischen "<head>" und "</head>" eingrenzen kann. Da die <head> Bezeichnung noch mehrere eigenschaften halten kann und davor ja sowieso nicht allzuviel Quelltext steht, reicht wohl eine Eingrenzung im Sinne von "wenn </head> gefunden, dann sofort stoppen". Hat jemand evtl eine schnelle Idee, wie man das in vorhandenes Pattern einbinden kann? grüße. Peter


Mister Ad PHP Code Flüsterer Registriert seit: 21.08.2005 Beiträge: 4682 PHP-Kenntnisse: Fortgeschritten

26.04.2008, 18:38
Zergling-new Erfahrener Benutzer Registriert seit: 21.05.2008 Beiträge: 9.937	Hallo, ich wuerde hierfuer eher die XML Funktionen von PHP verwenden. Ueber Performance kann man ja reden wenn es so weit ist, aber da werden RegExp auch nicht so gut dastehen. Den <head> wuerde ich so extrahieren. [php]<?php $strHtmlHead = substr($strHtml, 0, strpos($strHtml, "</head>")); ?>[php]

26.04.2008, 18:42
pepe24 Erfahrener Benutzer Registriert seit: 21.07.2005 Beiträge: 209	Klar, logisch. Manchmal sieht man den Wald vor lauter Bäumen nichtmehr. Danke Zergling!

26.04.2008, 19:35
nikosch moderatives Dielektrikum Registriert seit: 21.05.2008 Beiträge: 35.989 PHP-Kenntnisse: Fortgeschritten	Am besten so, dann hast Du gleich einen vollständigen xml Baum: PHP-Code: `<? $strHtmlHead = substr (substr ($strHtml, 0 , strpos ($strHtml, "</head>") + 7) , strpos ($strHtml, "<head>"));`

26.04.2008, 20:24
pepe24 Erfahrener Benutzer Registriert seit: 21.07.2005 Beiträge: 209	Hallo Nikosch, danke für das Additum. So sieht nun die endgültige Lösung aus: PHP-Code: //META-Tags auslesen und verpacken $strHtmlHead = substr (substr ( $responseHTTP->getBody(), 0 , strpos ( $responseHTTP->getBody(), "</head>") + 7) , strpos ( $responseHTTP->getBody(), "<head>")); preg_match_all("\|<meta[^>]+name=\"([^\"])\"[^>]+content=\"([^\"])\"[^>]+>\|i", $strHtmlHead, $aMetaExtraction, PREG_SET_ORDER); $aMetaArray = array(); foreach($aMetaExtraction as $MetaUnique) { $aMetaArray[$MetaUnique[1]] = $MetaUnique[2]; } //META-Tags auslesen und verpacken ENDE

29.05.2008, 19:53
pepe24 Erfahrener Benutzer Registriert seit: 21.07.2005 Beiträge: 209	Grüß Euch! bezüglich des Regex hätte ich nun doch noch eine ergänzende Frage. Nach wie vor benutze ich diesen hier: "\|<meta[^>]+name=\"([^\"])\"[^>]+content=\"([^\"])\"[^>]+>\|i". Allerdings erweist er sich als nicht allgemeingültig genug in folgenden Situationen: -"name" und "content sind vertauscht, also (<meta content=... name=... />) -anstatt " wird ' verwendet zu Punkt zwei habe ich folgenden Versuch gemacht und habe begrenzende \" durch [\"\|\'] ersetzt. Das hat allerdings einen Fehler geworfen. Kann ich leider gerade nicht nachproduzieren, weil ich nicht an der Entwicklungsumgebung sitze. Hat jemand einen Tip bereit? Grüße!

29.05.2008, 21:24
pepe24 Erfahrener Benutzer Registriert seit: 21.07.2005 Beiträge: 209	Danke Cix. Nun im Einsatz (und bisher lauffähig): preg_match_all("~<meta[^>]+[content\|name]=[\"\|\']([^\"])[\"\|\'][^>]+[content\|name]=[\"\|\']([^\"])[\"\|\'][^>]+>~i", $strHtmlHead, $aMetaExtraction, PREG_SET_ORDER); Grüße

30.05.2008, 08:47
pepe24 Erfahrener Benutzer Registriert seit: 21.07.2005 Beiträge: 209	Nun... es wäre doch zu einfach gewesen... Wie man oben sieht, schreibe ich die "Bezeichner -> Inhalt" Matches in ein Array. Sollte ein Benutzer nun beim Meta Tag "content" und "name" vertauschen, habe ich auf einmal den "Inhalt" als array-key und den Bezeichner (z.B.) "description" als Wert. Kann ich dem regex irgendwie beibringen, dass er das Ergebnis schon so ordnet, dass er immer erst "name" im Ergebnisarray vor dem "content" einordnet? Grüße!

30.05.2008, 09:14
Zergling-new Erfahrener Benutzer Registriert seit: 21.05.2008 Beiträge: 9.937	Wuesste nicht wie, was spricht denn gegen den Einsatz von SimpleXML?