Ankündigung

Einklappen
Keine Ankündigung bisher.

Große Datenmengen aus API abfragen

Einklappen

Neue Werbung 2019

Einklappen
X
  • Filter
  • Zeit
  • Anzeigen
Alles löschen
neue Beiträge

  • Große Datenmengen aus API abfragen

    Hallo zusammen,

    ich stecke in der Planung, einen Export über eine API zu realisieren und wollte nach eurem Input fragen.

    Über eine API werden in Summe ca. 200.000 Datensätze abgefragt. Diese sind jeweils pro Request auf 250 beschränkt.
    Demnach würde man für 200.000 Datensätze 800 Requests benötigen um diese Daten abzufragen.
    Pro Request benötigen wir ca. 2 Sekunden was bedeutet, dass wir rund 26 Minuten benötigen würden, wenn das Script die ganze Zeit laufen würde.
    Problematisch ist hier wohl die Scriptlaufzeit.
    Eine Idee wäre, diese Requests Stück für Stück abzuarbeiten und nach jedem Run von ca. 10 Requests das Script erneut zu starten.

    Das Script wird direkt als Cron auf dem Server aufgerufen.

    Macht diese Vorgehensweise sinn oder habt ihr andere Vorschläge?

    Grüße
    HCA
    Gruß

    HCA

  • #2
    Wenn du das über cron ausführst, also 'php -f script.php' wie auf der Konsole, hast du normalerweise keine maximale Scriptlaufzeit, ausser du hast das anders konfiguriert.
    [I]You know, my wife sometimes looks at me strangely. „Duncan“, she says, „there's more to life than Solaris“. Frankly, it's like she speaks another language. I mean, the words make sense individually, but put them together and it's complete nonsense.[/I]

    Kommentar


    • #3
      Kannst du nicht mehrere Abfragen asynchron absetzen und so die Laufzeit beschleunigen? Natürlich sollte dies nicht im Browser sondern per CronJob oder Worker ausgeführt werden.

      Kommentar


      • #4
        Wenn das per Cron aufgerufen wird, spielt die Laufzeit doch keine Rolle. Ich würde es auch parallelisieren - Oder das Ganze gleich mit einer anderen Sprache implementieren.

        Kommentar

        Lädt...
        X