[todo] [Software 0000724]: FTP bricht ab
todo-notifyer at hostsharing.net
todo-notifyer at hostsharing.net
Sat Mar 17 13:44:52 CET 2007
Das folgende Problem wurde erledigt.
======================================================================
https://todo.hostsharing.net/view.php?id=724
======================================================================
Berichtet von: bli00-umohren
Zugewiesen an: purodha
======================================================================
Projekt: Software
Problem ID: 724
Kategorie: Sonstiges
Reproduzierbarkeit: manchmal
Auswirkung: schwerer Fehler
Priorität: normal
Status: erledigt
Lösung: erledigt
Erledigt in Version:
======================================================================
Erstellt am: 25.09.2006 13:43 (CEST)
Letzte Aktualisierung: 17.03.2007 13:44 (CET)
======================================================================
Zusammenfassung: FTP bricht ab
Beschreibung:
Seit rund drei Monaten beobachte ich immerwieder einmal plötzliche
Abbrüche, beim Datentransfer über FTP und beim Verzeichniswechsel. DAs ist
in dem Moment lästig wo man große Datenmengen unbeaufsichtigt hin und her
schaufelt. Auch das erneute einbuchen dauert gemessen an anderen
FTP-Accounts unverhältnismässig lange.
Gruß Ulrich Mohren
ulrich at mohren.org
======================================================================
----------------------------------------------------------------------
uwe - 09.10.06 04:10
----------------------------------------------------------------------
das ist eine Frage für den entsprechenden HS-Reseller und kein Fehler der
HS-Website ;) daher würde ich den Schließen
----------------------------------------------------------------------
purodha - 09.10.06 12:55
----------------------------------------------------------------------
Der zuständige Reseller beobachtet denselben Fehler etwa seit dem
Debian-Update hat ihn auch schon vor Monaten gemeldet, hat schon etliche
Stunden unbezahlten Support hineingeseteckt und unbezahlten
Programmieraufwand geleistet, um ihn zu umgehen (bzw. seine Wirkung durch
Retries abzumildern, was natuerlich den Traffic und die bedienerseite Zeit
fuer Uploads merklich erhoeht, denn das Problem scheint um so
haeufiger/wahrscheinlicher aufzutreten, je umfangreicher die bewegten
Datenmengen sind) und hat eine Rückmeldung per e-mail erhalten, die
bestätigt, daß ftp-Prozesse zu den von ihm benannten genannten Zeiten
abgstuerzt sind, was wohl die Ursache fuer die Verbindungsabbrüche gewesen
sein dürfte. Da solche Abbrueche auf verschiedenen Hosts und Hives und mit
mindestens drei sehr gängigen externen Programmen auftreten, sowie
zwischen unsern Servern selber mit deren standardmaeßigen ftp clients, und
man zumindesten vermuten kann, dass der Zusammenhang und die Ursache immer
derselbe ist, handelt es sich wohl um ein Problem, dem auf
Hostmaster-Ebene nachgegangen werden muß.
Mein letzter Stand der Dinge ist eine e-mail vom 29. August 2006, in der
Michael Hoennig schreibt:
"im Logfile stehen zwischen 3:39 und 3:44 mehrere SEGV des proftpd mit
Verbindungen zu der o.g. IP#. Mehr kann ich dazu noch nicht sagen."
Ein Kunde, dessen http-Bild-Uploads nach automatischer Bearbeitung
automatisch von DW nach SW kopiert werden (ftp ist dafuer der einzig
verfügbare Weg) hat das Hochladen hoch aufgelöster Bilder b.a.w.
eingestellt, weil es fast immer fehlschlug.
----------------------------------------------------------------------
uwe - 12.10.06 03:28
----------------------------------------------------------------------
Das Problem ist bei service@ oder support@ besser aufgehoben,
gegebenenfalls nachhaken. Ich habe es jetzt nach Software verschoben,da es
jedenfalls kein Problem der HS-Website ist.
----------------------------------------------------------------------
purodha - 22.10.06 00:49
----------------------------------------------------------------------
Um 0:40 und 0:41 heute (am 2006-Okt-22) auf bli02.h.n mit 88.76.192.1 zwei
Abbrueche beim Directory Listing. Ein dritter Versuch unmittelbar danach
ging gut.
----------------------------------------------------------------------
purodha - 24.10.06 01:19
----------------------------------------------------------------------
Heute, 2006-Oct-24 um 1:14 mit IP# 88.76.192.1 gab es wiederum zwei
Abbrüche auf bli02 bei Verzeichnislisten (bei
https://todo.hostsharing.net/view.php?id=13#5 Versuchen)
----------------------------------------------------------------------
purodha - 24.10.06 06:51
----------------------------------------------------------------------
Einige Abbrüche bei Transferversuchen von h03 nach bli02.h.n.
aus den letzten beiden Monaten.
Angaben mit Dateigrößen sortiert nach Dateierstellungsdatum,
der vergebliche ftp-Versuch erfolgte jeweils unmittelbar nach
der Erstellung.
543K Oct 12 16:55
854K Oct 12 16:53
898K Oct 12 16:49
441K Oct 12 16:44
174K Oct 7 07:57
252K Oct 7 07:56
147K Oct 2 08:14
2.0K Sep 30 10:32
79K Sep 28 16:09
86K Sep 28 16:08
33K Sep 28 16:06
124K Sep 28 16:03
123K Sep 28 16:02
100K Sep 28 16:01
96K Sep 28 16:00
192K Sep 28 16:00
103K Sep 28 15:41
38K Sep 28 15:31
103K Sep 28 15:31
13K Sep 26 16:35
88K Sep 26 16:35
48K Sep 26 12:14
87K Sep 16 07:48
112K Sep 16 07:47
110K Sep 16 07:46
62K Sep 16 07:46
69K Sep 16 07:15
537K Sep 16 07:04
757K Sep 16 07:01
440K Sep 16 07:00
410K Sep 16 06:59
251K Sep 16 06:58
566K Sep 16 06:56
324K Sep 16 06:54
281K Sep 16 06:54
558K Sep 16 06:52
565K Sep 16 06:50
546K Sep 14 11:56
286K Sep 14 11:41
526K Sep 14 09:47
457K Sep 13 16:38
841K Sep 13 16:37
953K Sep 13 16:29
392K Sep 13 16:21
1.2M Sep 13 16:17
348K Sep 13 09:02
467K Sep 13 09:01
83K Sep 12 16:21
36K Sep 8 12:01
56K Sep 8 12:00
35K Sep 8 12:00
30K Sep 8 11:59
55K Sep 8 11:58
63K Sep 8 11:57
31K Sep 7 08:03
31K Sep 7 08:01
372K Sep 6 11:38
794K Sep 6 11:34
782K Sep 6 11:33
404K Sep 6 11:26
483K Sep 6 11:24
326K Sep 6 11:18
745K Sep 6 11:13
54K Sep 6 11:11
263K Sep 5 16:33
248K Sep 5 16:33
166K Sep 5 16:32
506K Sep 5 16:31
78K Sep 5 16:30
57K Sep 5 16:29
60K Sep 5 16:28
88K Sep 5 16:28
101K Sep 5 16:27
247K Sep 5 16:26
22K Sep 5 16:24
Kosten dieser Abbrüche: 22 Mb vergebliche Uploads,
und circa 4 Arbeitsstunden der Uploaderin,
bis zu 22 Mb durch Dateileichen belegter Speicherplatz.
----------------------------------------------------------------------
purodha - 25.10.06 02:18
----------------------------------------------------------------------
Am 2006-Oct-25 um 1:47 bis 1:48 von 88.77.8.1 nach 212.42.230.179 drei
Abbrüche bei 8 Transfers.
----------------------------------------------------------------------
purodha - 28.10.06 16:52
----------------------------------------------------------------------
Am 2006-Oct-27 um 16:46 bis 16:48 von 88.76.192.1 nach 212.42.230.179 zwei
Abbrüche bei 6 Versuchen eine Verzeichnisliste zu bekommen.
----------------------------------------------------------------------
raab - 30.10.06 13:02
----------------------------------------------------------------------
Ich habe seit Monaten auch dieses Problem.
----------------------------------------------------------------------
purodha - 09.11.06 10:54
----------------------------------------------------------------------
am 9.11.2006 um 9:50 zwischen 212.42.230.179 237,40 und 88.76.214.8 ein
Abbruch beim Versuch, ein Directory zu listen.
Am 9.11.2006 um 10:52 ebenfalls zwischen 212.42.230.179 237,40 und
88.76.214.8 zwei Abbrüche beim Versuch, ein Directory zu listen.
----------------------------------------------------------------------
purodha - 26.11.06 11:23
----------------------------------------------------------------------
Das Probem besteht immer weiter, ich beobachte es etwa täglich
z.B. am 26.11.2006 ab ca. 11:15 ff. wieder etliche Male zwischen
212.42.230.179 und 88.76.192.1 meist beim Versuch, ein Directory zu
listen.
----------------------------------------------------------------------
purodha - 27.11.06 14:49
----------------------------------------------------------------------
Auszug aus einer e-mail an service@:
- ftp clients stürzen ab - egal was auf der Protokollebene
passiert und wie hoch die Paketverluste, darf das nicht
sein.
- Das Problem existiert zwischen den Servern von Hostsharing.
Da kann beim besten Willen nicht unterstellt werden, es
seien inkompatible Impementationen am Werk,
Paketausfälle dürften überhaupt keine Rolle spielen
wenn sie es tun, müsste das abgestellt werden.
- Unterschedliche Leute haben etliche unterschiedliche FTP-Klienten
durchprobiert, keiner funktioniert besser oder schlechter als der
andere mit Hostsharing, alle funktionieren völlig klaglos
überall sonst.
- Alle Beobachter berichten, die Ausfälle passieren in relativ dichten
Clustern, die aber kaum je mehr als 5 unmittelbar aufeinander
folgende Versuche umfassen.
- Alle berichten, die Abbrüchen erfolgen meist "unmittelbar" nach
dem Absetzen eines Kommandos - imho 100% kontraindiziert zu
Paketverlusten, bei denen mindestens "ein wenig" Zeit bis zum
serverseitigen Abbruch per timeout vergeht.
- Ein selbstprogrammierter Workaround mit bis zu 15 Retries
- ohne Wartezeiten - pro ftp Upload war bisher scheinbar immer
erfolgreich.
- Bei meinen ersten Untersuchungen des Problems - wohl ca. 10 oder 14
Tage nach der Umstellung auf sarge - habe ich selbstverständlich
die Verbindungsqualitaet gemonitort, ich hatte mit mtr und
andern über lange Strechen 0% Paketverlust und worst-case
Responszeiten im 40-80 ms-Bereich, zugleich aber etliche
ftp-Abbrüche bei "großen" Verzeichnislisten (1000
Einträge und darüber), die auch da oft schneller erfolgten,
als im Erfolgsfall die erste Verzeichniszeile angezeigt wurde,
m.a.W. wohl vor oder mit dem ersten Nutzdatenpaket.
- Vor der Umstellung auf Sarge gab es diese Problem nie, seither
regelmäßig, mit einer statistischen Häufigkeit etwa im mittleren
bis unteren einstelligen %-Bereich pro Datei-Transfer bei meinen
Beobachtugen.
- Verzeichnisbäume mit 100 oder mehr Datien lassen sich seither
nicht mehr in einem Durchgang uploaden, wenn der Client kein
Auto-Rety kann.
- Erschwerend kommt hinzu, daß bei abgebrochenen Uploads oft (immer?)
eine Datei mit der Länge 0 und aktuellem Datum angelegt wird.
Das verhindert oft, daß bei Massen-Uploads diese Dateien im zweiten,
dritten, etc. Durchgang transportiert werden, weil sie neuer als
die Originale sind.
Die Hostmaster-Empfehlung, auf SSH (SCP etc.) umzusteigen
ist leider oft keine Option, da
- erhöhte Kosten für einen shh Account
- Sicherheitsbedenken beim Zulassen eines ssh Zugangs
- fehlende Software und Bedienerkenntnisse beim Anwender
dagegen sprechen können.
Die Hostmaster-Empfehlung, einen anderen FTP-Client zu verwenden,
scheitert daran, daß bisher keiner gefunden wurde, mit dem
die ftp-Server von Hostsharing einwandfrei zusammenarbeiten.
Nicht einmal der ftp-client von Hostsharing kann es (seit der der
Sarge-Umstellung)
----------------------------------------------------------------------
purodha - 17.03.07 13:44
----------------------------------------------------------------------
Seit einigen Monaten nach einigen Umstellungen (siehe auch mailinlisten)
scheint das Problem nirgends mehr aufgetaucht zu sein.
----------------------------------------------------------------------
purodha - 17.03.07 13:44
----------------------------------------------------------------------
Seit einigen Monaten nach einigen Umstellungen (siehe auch mailinlisten)
scheint das Problem nirgends mehr aufgetaucht zu sein.
Problem-Historie
Änderungsdatum Benutzername Feld Änderung
======================================================================
25.09.06 13:43 bli00-umohren Neues Problem
09.10.06 04:10 uwe Problemnotiz hinzugefügt: 0001719
09.10.06 12:55 purodha Problemnotiz hinzugefügt: 0001721
09.10.06 12:58 purodha Problem beobachten: purodha
12.10.06 03:25 uwe Projekt Webseite => Software
12.10.06 03:28 uwe Problemnotiz hinzugefügt: 0001728
22.10.06 00:47 purodha Problemnotiz hinzugefügt: 0001738
22.10.06 00:49 purodha Problemnotiz bearbeitet: 0001738
24.10.06 01:19 purodha Problemnotiz hinzugefügt: 0001740
24.10.06 06:41 purodha Problemnotiz hinzugefügt: 0001741
24.10.06 06:49 purodha Problemnotiz bearbeitet: 0001741
24.10.06 06:50 purodha Problemnotiz bearbeitet: 0001741
24.10.06 06:51 purodha Problemnotiz bearbeitet: 0001741
25.10.06 02:18 purodha Problemnotiz hinzugefügt: 0001745
28.10.06 16:52 purodha Problemnotiz hinzugefügt: 0001746
30.10.06 13:02 raab Problemnotiz hinzugefügt: 0001748
09.11.06 10:54 purodha Problemnotiz hinzugefügt: 0001753
26.11.06 11:23 purodha Problemnotiz hinzugefügt: 0001754
27.11.06 14:49 purodha Problemnotiz hinzugefügt: 0001755
17.03.07 13:44 purodha Problemnotiz hinzugefügt: 0001763
17.03.07 13:44 purodha Status neu => erledigt
17.03.07 13:44 purodha Lösung offen => erledigt
17.03.07 13:44 purodha Bearbeitung durch => purodha
17.03.07 13:44 purodha Problemnotiz hinzugefügt: 0001764
======================================================================
More information about the Todo
mailing list