Ankündigung

Einklappen
Keine Ankündigung bisher.

OpenSource Web Crawler gesucht

Einklappen

Neue Werbung 2019

Einklappen
X
  • Filter
  • Zeit
  • Anzeigen
Alles löschen
neue Beiträge

  • OpenSource Web Crawler gesucht

    Moin zusammen,

    ich bin auf der Suche nach einem Webcrawler mit denen ich die Ergebnisse einer Googlesuchanfrage durch gehen kann. Gibts da bereits fertige?
    Gruß

    HCA

  • #2
    MOD: Verschoben von PHP-Fortgeschritten
    The string "()()" is not palindrom but the String "())(" is.

    Debugging: Finde DEINE Fehler selbst! | Gegen Probleme beim E-Mail-Versand | Sicheres Passwort-Hashing | Includes niemals ohne __DIR__
    PHP.de Wissenssammlung | Kein Support per PN

    Kommentar


    • #3
      Was hast du vor?

      Wenn dir vorschwebt ein Schlüsselwort in ein Suchfeld einzugeben um deine Position bei Google automatisch auszuloten oder aber URIs/Seiten die im Ergebnis erscheinen abzugreifen, dann muss ich dir mitteilen, dass du das wohl selbst programmieren musst.

      Die meisten Scripte die es gibt funktionieren nach kurzer Zeit nicht mehr, da die Suchmaschinen ihre Taktik ändern und selbst wenn es funktioniert, wirst du bald gesperrt, weil die Suchmaschine dich als automatisierend abfragend erkennt und es gegen deren Richtlinien verstösst.

      Es ist also nicht legitim dieses zu tun.



      Kommentar


      • #4
        Zitat von protestix Beitrag anzeigen
        [...] ein Schlüsselwort in ein Suchfeld einzugeben um deine Position bei Google automatisch auszuloten [....]
        Für diesen Anwendungsfall gibt es eine Reihe von sogenannter "Ranking Analyse Tools".

        [URL="https://github.com/chrisandchris"]GitHub.com - ChrisAndChris[/URL] - [URL="https://github.com/chrisandchris/symfony-rowmapper"]RowMapper und QueryBuilder für MySQL-Datenbanken[/URL]

        Kommentar


        • #5
          APIs von SEO Tools fallen mir direkt ein.

          Es gab auch mal ein SEO tool als OS Version hier: http://www.seopanel.in/

          Das funktionierte "damals" recht gut ( relativ wenig Umfang für eine SEO Suite ). Aber für das was du machen möchtest definitiv perfekt.

          EDIT: Muss auf einem Webserver installiert werden.

          Sollte aber auch lokal auf Xampp laufen...

          Kommentar


          • #6
            Das was Du willst, ist aber kein Crawler.

            Ein Crawler durchsucht Webseiten nach gewissen Inhalten und folgt Links (mitunter einen Link auf einen Link, auf einen Link, etc).

            Du suchst einfach nur ein Auswerteprogramm. Google bietet dafür bereits eine API. Auch sehen Google Web Suchergebnisse immer gleich aus, kannst also Notfalls auch mit einen regulären Ausdruck Dir alle Suchergebnis-Links heraus fischen.


            Edit: Falls Du das Ranking Deiner eigenen Seite bei Suchmaschinen verbessern willst, dann gibt es dafür natürlich auch Tools. Stichwort "organisches Suchen". Man kann da echt viel selber machen, aufgrund dessen man besser gerankt wird. Unter anderem können da folgende Kriterien darauf Einfluss haben: Wie lange gibt es die Webseite schon? Für wie viel Jahre wurde die Domain gekauft? Laufen mehrere Domains über eine IP-Adresse? Gibt es eine Sitemap.xml? Ist nur eine h1 auf der Seite vorhanden? Sind die Meta Tags gepflegt? usw. usw. usw. Es gibt Experten dafür, die Dir da wirklich gut und viel helfen können.

            Kommentar

            Lädt...
            X