Hallo zusammen,
ich stecke in der Planung, einen Export über eine API zu realisieren und wollte nach eurem Input fragen.
Über eine API werden in Summe ca. 200.000 Datensätze abgefragt. Diese sind jeweils pro Request auf 250 beschränkt.
Demnach würde man für 200.000 Datensätze 800 Requests benötigen um diese Daten abzufragen.
Pro Request benötigen wir ca. 2 Sekunden was bedeutet, dass wir rund 26 Minuten benötigen würden, wenn das Script die ganze Zeit laufen würde.
Problematisch ist hier wohl die Scriptlaufzeit.
Eine Idee wäre, diese Requests Stück für Stück abzuarbeiten und nach jedem Run von ca. 10 Requests das Script erneut zu starten.
Das Script wird direkt als Cron auf dem Server aufgerufen.
Macht diese Vorgehensweise sinn oder habt ihr andere Vorschläge?
Grüße
HCA
ich stecke in der Planung, einen Export über eine API zu realisieren und wollte nach eurem Input fragen.
Über eine API werden in Summe ca. 200.000 Datensätze abgefragt. Diese sind jeweils pro Request auf 250 beschränkt.
Demnach würde man für 200.000 Datensätze 800 Requests benötigen um diese Daten abzufragen.
Pro Request benötigen wir ca. 2 Sekunden was bedeutet, dass wir rund 26 Minuten benötigen würden, wenn das Script die ganze Zeit laufen würde.
Problematisch ist hier wohl die Scriptlaufzeit.
Eine Idee wäre, diese Requests Stück für Stück abzuarbeiten und nach jedem Run von ca. 10 Requests das Script erneut zu starten.
Das Script wird direkt als Cron auf dem Server aufgerufen.
Macht diese Vorgehensweise sinn oder habt ihr andere Vorschläge?
Grüße
HCA
Kommentar