Ankündigung

Einklappen
Keine Ankündigung bisher.

PHP Tutorial | Websitescraping mit DomXpath

Einklappen

Neue Werbung 2019

Einklappen
X
  • Filter
  • Zeit
  • Anzeigen
Alles löschen
neue Beiträge

  • PHP Tutorial | Websitescraping mit DomXpath


    Guten Morgen,

    im heutigen Video zeige ich dir wie du mit DomXpath, eine MP3 Datei von einer Seite herunterladen kannst.

    Viel Spaß damit.
    https://youtu.be/1kRy0JgPC04

    apt-get install npm -> npm install -g bower -> bower install <package> YOLO [URL]https://www.paypal.me/BlackScorp[/URL] | Mein Youtube PHP Kanal: [url]https://www.youtube.com/c/VitalijMik[/url]

  • #2
    Ich habe das Video ehrlich gesagt nur ohne Ton kurz durchgeschaut, aber mich stört neben der Verwendung von @, dass Du dafür überhaupt eine Anleitung bietest.
    Klar, wenn Du es nicht tust, machen es andere, ich finds halt nicht sehr sinnvoll. Meine Meinung
    Competence-Center -> Enjoy the Informatrix
    PHProcks!Einsteiger freundliche TutorialsPreComposed Packages

    Kommentar


    • #3
      Arne Drews
      Soso, nächstes mal Ton einschalten, da erklärt er nämlich den Hintergrund dazu

      Kommentar


      • #4
        genau, das @ finde ich schrecklich, leider habe ich nie einen Einfluss auf den HTML Code wo ich mein Inhalt her laden will und ständig kommen da Warnungen und Fehler, selbst bei w3c obwohl die uns ja beibringen wollen wie man einen Validen HTML Code generiert.
        apt-get install npm -> npm install -g bower -> bower install <package> YOLO [URL]https://www.paypal.me/BlackScorp[/URL] | Mein Youtube PHP Kanal: [url]https://www.youtube.com/c/VitalijMik[/url]

        Kommentar


        • #5
          Okay, werde mir das fairer Weise nochmal mit Ton anhören nachher.
          Für das @ ist ja in #4 schon eine Begründung drin, bin gespannt, was den Klau von Website-Inhalten in der Tonspur rechtfertigen soll.
          Competence-Center -> Enjoy the Informatrix
          PHProcks!Einsteiger freundliche TutorialsPreComposed Packages

          Kommentar


          • #6
            Zitat von Arne Drews Beitrag anzeigen
            Okay, werde mir das fairer Weise nochmal mit Ton anhören nachher.
            Für das @ ist ja in #4 schon eine Begründung drin, bin gespannt, was den Klau von Website-Inhalten in der Tonspur rechtfertigen soll.
            Ist ja nicht wirklich Klauen, nach dem Video habe ich gesehen dass das Podcast ein Download button hat, war nur sehr klein und ich habe es am Anfang nicht gesehen. Die Daten stehen also bereits zur Verfügung ich hab es nur unnötig kompliziert gemacht
            apt-get install npm -> npm install -g bower -> bower install <package> YOLO [URL]https://www.paypal.me/BlackScorp[/URL] | Mein Youtube PHP Kanal: [url]https://www.youtube.com/c/VitalijMik[/url]

            Kommentar


            • #7
              Ich versteh die Werbung für die Ausbildungsplätze von der Firma nicht. Fand ich sehr störend.

              Ist ja nicht wirklich Klauen, nach dem Video habe ich gesehen dass das Podcast ein Download button hat, war nur sehr klein und ich habe es am Anfang nicht gesehen. Die Daten stehen also bereits zur Verfügung ich hab es nur unnötig kompliziert gemacht
              Naja, das gilt für diesen konkreten Fall.
              Im Endeffekt ist es trotzdem eine Anleitung zum Content-Klau. Mir fehlt da auch ein Warnhinweis, dass sowas ethisch (und rechtlich?) teilweise im Grenzbereich ist. Auch im Informatikstudium gibt es Module zum ethischen Handeln^^'

              "Prüfe zuerst ob es eine API gibt, crawle nur im Notfall." - Aha? Und was ist ein Notfall? Warum nicht "Ansonsten frag nach, ob es für den Betreiber ok ist zu crawlen." Von Prüfung von Nutzbungsbedingungen und was es sonst noch alles gibt ganz zu schweigen.
              [COLOR=#A9A9A9]Relax, you're doing fine.[/COLOR]
              [URL="http://php.net/"]RTFM[/URL] | [URL="http://php-de.github.io/"]php.de Wissenssammlung[/URL] | [URL="http://use-the-index-luke.com/de"]Datenbankindizes[/URL] | [URL="https://www.php.de/forum/webentwicklung/datenbanken/111631-bild-aus-datenbank-auslesen?p=1209079#post1209079"]Dateien in der DB?[/URL]

              Kommentar


              • #8
                Ja, ein Messer ist ist auch nicht automatisch eine Mordwaffe, man kann damit auch Gemüse schneiden.

                Will sagen, wer wirklich Daten klauen will, der findet schon sein weg. Ich habe nur ein Tutorial gegeben wie man php nativen DomXpath verwendet. Statt den SimpleHTMLDomParser. Das man das unter anderem auch für schlechte Dinge einsetzen kann, ist nicht meine Schuld.

                Und Nutzungsbedingung? Das leben ist zu kurz für zwei dinge. USB sicher entfernen und Nutzungsbedingungen lesen.
                apt-get install npm -> npm install -g bower -> bower install <package> YOLO [URL]https://www.paypal.me/BlackScorp[/URL] | Mein Youtube PHP Kanal: [url]https://www.youtube.com/c/VitalijMik[/url]

                Kommentar


                • #9
                  Alles klar.
                  [COLOR=#A9A9A9]Relax, you're doing fine.[/COLOR]
                  [URL="http://php.net/"]RTFM[/URL] | [URL="http://php-de.github.io/"]php.de Wissenssammlung[/URL] | [URL="http://use-the-index-luke.com/de"]Datenbankindizes[/URL] | [URL="https://www.php.de/forum/webentwicklung/datenbanken/111631-bild-aus-datenbank-auslesen?p=1209079#post1209079"]Dateien in der DB?[/URL]

                  Kommentar


                  • #10
                    Zitat von BlackScorp Beitrag anzeigen
                    Die Daten stehen also bereits zur Verfügung ich hab es nur unnötig kompliziert gemacht
                    Du lieferst aber eine Anleitung für jeden, unabhängig von Deinem Beispiel.
                    Aber vielleicht liegt es auch an mir, ich scheine ja der einzige zu sein, der das kritisch sieht...

                    Competence-Center -> Enjoy the Informatrix
                    PHProcks!Einsteiger freundliche TutorialsPreComposed Packages

                    Kommentar


                    • #11
                      Zitat von Arne Drews Beitrag anzeigen
                      Du lieferst aber eine Anleitung für jeden, unabhängig von Deinem Beispiel.
                      Aber vielleicht liegt es auch an mir, ich scheine ja der einzige zu sein, der das kritisch sieht...
                      Jetzt verstehe ich was "Framing" ist. Ich habe ein Titel und Thumbnail gewählt der etwas mehr Clickbaity sein soll. Nutzung von Xpath ist meiner Meinung nach ein Muss. Wie oft lese ich hier im forum "Brauche RegEx um dies und das aus dem HTML zu finden". Desswegen dachte ich, es ist ein Thema das mal angesprochen werden sollte.

                      Hätte ich aber im Thumb einfach nur ein Daumen hoch und "So nutzt du domxpaht" geschrieben, hätte das Video keine Clickrate von über 12.5%. Schließlich bringt ein Tutorial ja nur dann einem, wenn es auch geguckt wird.


                      Ich habe zum Beispiel mit DomXpath ein großes Projekt reverse ingeneered. Habe HTML Code heruntergeladen von einem alten Projekt, dann mit dem neuen Projekt exakt den gleichen HTML Code prodziert. Das Neue Projekt hatte aber 90% Codecoverage und nutzte Template engine. Nachdem ich wusste dass meine Logik der alten entsprach, konnte ich refactoring bezüglich HTML Darstellung machen und weitere Features zu dem projekt hinzufügen. Ihr seht halt nur das schlechte darin weil ich mit dem Thumbnail herumgespielt habe.

                      Und wer weiß, vielleicht wird am ende aus einem Content Klauer ja doch noch ein Verantwortungsvoller PHP Entwickler?
                      apt-get install npm -> npm install -g bower -> bower install <package> YOLO [URL]https://www.paypal.me/BlackScorp[/URL] | Mein Youtube PHP Kanal: [url]https://www.youtube.com/c/VitalijMik[/url]

                      Kommentar


                      • #12
                        Und wer weiß, vielleicht wird am ende aus einem Content Klauer ja doch noch ein Verantwortungsvoller PHP Entwickler?
                        Oder er scraped die falsche Seite und wird verklagt o.o Kommt natürlich immer noch darauf an was anschließend damit gemacht wird, aber darauf haben wir ja eh keinen Einfluss.

                        Davon abgesehen, dass du xpath auch ohne den Zugriff auf externe Inhalte hättest zeugen können... Geht es Arne und mir wohl nicht um die technischen Entscheidungen, sondern darum, dass man beim Zugriff auf externe Inhalte eben vorsichtig sein muss. Und mit Vorsicht meine ich nicht, dass man sich nicht erwischen lassen soll - sondern dass mit dem Anbieter der Daten besprochen werden sollte falls keine API vorhanden ist.

                        Das kannst du von mir aus anders sehen, sind aber halt Meinungen zu diesem Thema.
                        [COLOR=#A9A9A9]Relax, you're doing fine.[/COLOR]
                        [URL="http://php.net/"]RTFM[/URL] | [URL="http://php-de.github.io/"]php.de Wissenssammlung[/URL] | [URL="http://use-the-index-luke.com/de"]Datenbankindizes[/URL] | [URL="https://www.php.de/forum/webentwicklung/datenbanken/111631-bild-aus-datenbank-auslesen?p=1209079#post1209079"]Dateien in der DB?[/URL]

                        Kommentar

                        Lädt...
                        X