Downloadverbindungsanzahl geöffnet geschlossen stimmt nicht überrein

[prophet]

Hallo zusammen,

Ich möchte die Anzahl der Verbindungen zu einem Download zählen.
Das Problem ist nun, dass die Anzahl der geöffneten Verbindungen, laut DB, kleiner ist als die, der geschlossenen Verbindungen und ich habe ehrlich gesagt keine Ahnung woran das liegen kann.

Jeder Download hat eine eindeutige ID um den Download in der Datenbank wiederfinden zu können.

Um einen Download starten zu können, muss die /download.php?id=ID aufgerufen werden. Hier wird zuerst die Connection um eins nach oben gezählt.
(Default-value = 0)

$connections = intval($info['connection']) + 1;
$success = $mysqli->Update('download', array('connection' => $connections), array('id' => urlencode(ID))); 

Ich bin der Ansicht das dies auch funktioniert, da mindestens eine offene Verbindung besteht.

Vorher wird noch überprüft, ob die ID existiert und gleichzeitig die Anzahl der offenen Verbindungen aus der DB geholt. "connection" ist in der DB ein Feld vom Typ int.

Um nun zu schauen ob die Verbindung geschlossen wurde, lasse ich per Crontab ein Script laufen, dass überprüft ob in der Access.log die /download.php?id=ID drinnen steht, wenn dies der Fall ist soll die Anzahl der Verbindungen in der DB um 1 hochgezählt werden.

foreach($lines as $line_num => $line){
$arr = getArrayFromString($line);
        // Überprüfe ob download_start aufgerufen wurde
        if(preg_match('/download.php/', $arr['request_uri'])){
            $query = parse_url($line);
            // _ entfernen, stammt von parse_url
            // 0 key, 1 value
            $id = explode("=", preg_replace("/_/", "", $query['query']));
            
            // Überprüfe ob key vorhanden
            $exist = $mysqli->Select('download', array('id' => $id[1]), true);
            
            if($mysqli->affected==1){
                // Downloadid existiert
                $closedConnections = intval($exist['closedconnections']) + 1;
                $mysqli->Update('download', array('closedconnections' => $closedConnections), array('id' => $id[1]));
            }
} 

Syntax von Update: Update("table", SetArray, WhereArray);
Ich kopiere vorher den gesamten Inhalt der access.log in eine tmp-file und leere die access.log, damit sich die access.log bereits füllen kann, wenn das Script die tmpfile noch bearbeitet.

Nun ist es aber oft der Fall, dass die Anzahl der geschlossenen in der Datenbank höher sind, als die der geöffneten Verbindungen und ich habe ehrlich gesagt keine Ahnung woran das liegen kann.
Es muss ja jedes mal die /download.php aufgerufen werden bevor die Datei geladen wird, und sich somit die Zugriffe in der access.log mit den tatsächlichen decken müssten, oder irre ich mich in dem Punkt?

Hoffe ihr könnt mir helfen, stehe wirklich auf dem Schlauch :/

Gruß
prophet

[mermshaus]

Wann reduzierst du die Anzahl der Connections in der DB denn wieder? Ich bin mir derzeit nicht so ganz sicher, dass dein Text inhaltlich wirklich Sinn ergibt.

(Edit: Ah, einmal erhöhst du Connections und einmal closed Connections. Sorry, hatte ich übersehen.)

Auf mich wirkt die Lösung zudem sehr umständlich. Du möchtest zählen, wie viele Downloads gerade aktiv sind?

Vielleicht hilft das hier: http://stackoverflow.com/questions/2...er-download-it (Dann eben noch eine DB-Query machen, statt zu löschen.)

Ich habe so was aber noch nie versucht.

[prophet]

Ich verringere die Anzahl an geschlossenen Verbindungen nicht, ich zähle die geschlossenen Verbindungen hoch.
Wenn die Zahl bei offenen und geschlossenen übereinstimmt, dann müsste der Download fertig ist.
Für mich ergibt er Sinn, bin aber bemüht unklarheiten zu beseitigen

Ist zwar ein Ansatz, aber hilft mir nicht konkret weiter, da es sein kann, dass das script hinter download.php schon beendet ist, bevor die Datei beim User angekommen ist.

[lstegelitz]

Um nun zu schauen ob die Verbindung geschlossen wurde, lasse ich per Crontab ein Script laufen, dass überprüft ob in der Access.log die /download.php?id=ID drinnen steht, wenn dies der Fall ist soll die Anzahl der Verbindungen in der DB um 1 hochgezählt werden.

Vermutlich zählst du die Verbindungen nochmal mit, die bereits geschlossen waren und schon mal gezählt wurden... oder leerst du die Logdatei nach dem Zählen?

[prophet]

Ich kopiere die access.log in eine tmp file, leere die access.log, lasse das script über die tmpfile laufen und leere im Anschluss die tmpfile.
Also ja leere die Logdatei.

[lstegelitz]

Ganz blöd gefragt: Klappt das Leeren der Logdatei auch wirklich [und immer]?

Log doch mal separat, welche ID's du aus der Logdatei verarbeitet hast, dazu erstell eine Sicherheitskopie der verarbeiteten Datei (Dateipfad ebenfalls ins separate Log schreiben).

[prophet]

Das ist eine gute Frage!

Ich mache es mit folgendem Befehl:

$tmpfile = "/tmp/tmpfile";
system("cat /dev/null > $tmpfile"); 

Oder gibt es einen besseren hierfür?
Aber an sich müsste es gehen, werde deine Idee aber mal umsetzen und schauen was dabei rauskommt!

[lstegelitz]

Das Logfile könnte durch den Webserverprozeß gesperrt sein... dann kannst du es nicht einfach so löschen oder speichern (dann müsste der Webserver erst angehalten werden)

Du kannst es ja vielleicht nebenher beobachten, wenn du direkt per Konsole drankommt... Filegröße nach dem Löschen müsste ja auf 0 zurückgehen.

[prophet]

Das ist mir bewusst das ich diese nicht löschen kann, deswegen leere ich diese auch und kopiere den Inhalt vorher in eine extra Datei damit es da keine Probleme mit den Rechten gibt. Die Filegröße geht nach dem leeren auf 0 zurück.

[lstegelitz]

Das ist eine gute Frage!

Ich mache es mit folgendem Befehl:

$tmpfile = "/tmp/tmpfile";
system("cat /dev/null > $tmpfile"); 

Wenn ich mich nicht täusche, löschst du damit dein temp file, aber nicht die access.log
Könnte es das sein?

[SebTM]

Deine Temp-Datei kannst du doch theoretisch via "unlink" löschen?
Das Apache-Logfile müsstest du mit folgendem Befehl leeren können auch während der Webserver läuft:

echo "" > /var/log/apache2/access.log

[mermshaus]

Zu meinem Link aus #2 (http://stackoverflow.com/questions/2...er-download-it):

Ist zwar ein Ansatz, aber hilft mir nicht konkret weiter, da es sein kann, dass das script hinter download.php schon beendet ist, bevor die Datei beim User angekommen ist.

Du hast aber gesehen, dass es in der verlinkten Frage darum geht, die Datei zu löschen, nachdem der Download beendet ist? Ich weiß nicht genau, wie exakt du jetzt „angekommen“ meinst, aber grundsätzlich wäre es halt keine gute Idee, die Datei zu löschen, bevor sie vollständig übertragen wurde. Das scheint also grundsätzlich zu funktionieren. Da hätte sich sonst sicher schon jemand bemerkbar beschwert.

Deine jetzige Vorgehensweise hat eben (selbst dann, wenn sie funktionieren würde) einige Nachteile. Hauptsächlich wird das Access-Log für andere Nutzung unbrauchbar, weil es ständig gelöscht wird. Das ist nicht unbedingt das, was man will.

[prophet]

@lstegelitz

Könnte es das sein?

Nein könnte nicht, da ja dann gar keine Einträge bearbeitet würden. Das ist nur um zu zeigen wie ich die tmpfile vor jedem Durchgang leere.

@SebTM
Ich möchte aber keine Datei löschen und das leeren klappt ohne Probleme.

@mermshaus

Du hast aber gesehen, dass es in der verlinkten Frage darum geht, die Datei zu löschen, nachdem der Download beendet ist? Ich weiß nicht genau, wie exakt du jetzt „angekommen“ meinst, [...]die Datei zu löschen, [...].

Ja das habe ich gesehen. Mit "angekommen" meine ich die Bytes die vom Webserver, in meinem Fall nginx, gesendet wurden. Dies überprüfe ich mit dem Parameter $bytes_sent in der access.log.
Wie kommt Ihr alle gerade auf die Idee das ich die geladene Datei löschen möchte? O.o Davon habe ich nie was geschrieben

Das scheint also grundsätzlich zu funktionieren.

An sich funktioniert es, nur sind aus irgendeinem, mir nicht ersichtlichen, Grund, die Anzahl der closedConnections höher als die der geöffneten.

Deine jetzige Vorgehensweise hat eben (selbst dann, wenn sie funktionieren würde) einige Nachteile. Hauptsächlich wird das Access-Log für andere Nutzung unbrauchbar, weil es ständig gelöscht wird. Das ist nicht unbedingt das, was man will.

Ich habe für diesen Zweck extra eine zweite Logfile mit einem anderen Format angelegt, damit der Hauptzweck der log-datei bestehen bleibt.
Was wäre denn eine bessere Vorgehensweise?

[lstegelitz]

Das ist nur um zu zeigen wie ich die tmpfile vor jedem Durchgang leere.

Ich rede aber vom access.log!
Das hast du uns nämlich nicht gezeigt, es wäre aber elementar wichtig, damit dein Prozeß richtig arbeitet.

Wird das access.log geleert oder nicht?

[prophet]

Das ist im wesentlichen das Script:

foreach($logfile as $log){
    // In Tmp kopieren
    system("cp $log $tmpfile;");
    // logfile leeren
    system("cat /dev/null > $log");
    // Alle Einträge aus der datei holen
    $lines = file($tmpfile);
    // Über alle Einträge iterieren
    foreach($lines as $line_num => $line){
        // Überprüfe ob download_start aufgerufen wurde
        if(preg_match('/download.php/', $arr['request_uri'])){
            $query = parse_url($line);
            // _ entfernen, stammt von parse_url
            // 0 key, 1 value
            $id = explode("=", preg_replace("/_/", "", $query['query']));
            
                        // Hier connection um 1 hochstufen, wenn id gefunden wurde
        }
    }
    // Tmp File leeren
    system("cat /dev/null > $tmpfile");
} 

Ja die access.log wird geleert!