smartTERRA Status

(teilweise) Störung der Anbindung an den Standorten DUS1 (Equinix) und DUS2 (KPN)

-- English version below --

Sehr geehrte Damen und Herren,

mit dieser E-Mail möchten wir Sie über folgende Störung informieren:

Kategorie: Störung
Betroffen: Standort DUS1 (Equinix) + DUS2 (KPN) - Verbindungen über den DeCIX
Kritisch: ja, teilweise
Beginn: 24.08.2010, 14:07 Uhr
Ende: 24.08.2010, 14:45 Uhr
Dauer: 38 Minuten

Auf Grund des kurzzeitigen Ausfalls einer Transportstrecke von Frankfurt nach Düsseldorf konnten Verbindungen, welche über den DeCIX zu uns geroutet wurden, ihr Ziel nicht erreichen. Die Verbindung nach Frankfurt war zwar sehr schnell (binnen zwei Minuten) wieder verfügbar, jedoch hat seit dem der Router in Frankfurt ein für uns nicht sofort nachvollziehbares Problem gehabt. Aber sobald die Quelle der Störung lokalisiert werden konnte, haben wir die Sessions zu diesem Router herunter gefahren. Danach war die Anbindung in Düsseldorf wieder wie gewohnt in alle Teile des Internets einwandfrei.

Wir bitten diesen kurzen (teilweisen) Ausfall zu entschuldigen.

In der Zwischenzeit haben wir das Problem weiter untersucht und behoben, so dass nun auch die Sessions nach Frankfurt und damit Peerings über den DeCIX wieder aktiv sind.

-- English version --

Dear Madam, Dear Sir,

with this E-Mail we would like to inform you about an outage:

Category: Outage
Concerned: location, DUS1 (Equinix) + DUS2 (KPN) - Connections via DeCIX
Critical: yes, partially
Start: 24.10.2010, 14:07 o'clock CEST
End: 24.10.2010, 14:45 o'clock CEST
Duration: 38 minutes

Because of a short interruption of a transport roadway between Frankfurt and Düsseldorf, connections reaching us via DeCIX cannot failed. The connection to Frankfurt was up and running again promptly (it took only 2 minutes), but the router in Frankfurt had some kind of trouble which we didn't recognized at once. But as soon as the origin of this problem was localized we shut down our bgp sessions to the router, and the connection to Düsseldorf was clean as usual.

We apologize for the trouble caused.

In the meantime we debugged the problem in all and were able to solve it. So the connection to Frankfurt is in use again.

Beeinträchtigung der Anbindung am Standort DUS1 (Equinix)

Kategorie: Störung
Betroffen: Standort DUS1 (Equinix)
Kritisch: ja
Beginn: 19.08.2010, 16:21 Uhr
Ende: 19.08.2010, 16:46 Uhr
Dauer: 25 Minuten

Wir mussten heute ab 16:21 Uhr eine UDP Flood Attack auf unsere Firewalls feststellen, sodass es durch die hohe CPU Last zu Paketverlusten und höheren Latenzenzeiten kam. Der verursachende Kunde wurde zeitnah identifiziert, und das Problem behoben. Seit 16:46 Uhr Uhr sollten alle Dienste wieder in gewohnter Qualität erreichbar sein.

Wir bitten diese Unannehmlichkeit zu entschuldigen. Wir haben den Vorfall an den Hersteller der Firewalls, Juniper, eskaliert um zu prüfen, wie die Firewalls trotz aktivierter UDP Flood Protection durch diese Attack in die Knie gezwungen werden konnten.

-- English version --

Dear Madam, Dear Sir,

with this E-Mail we would like to inform you about an outage:

Category: Outage
Concerned: location, DUS1 (Equinix)
Critical: yes
Start: 19.10.2010, 16:21 o'clock CEST
End: 19.10.2010, 16:46 o'clock CEST
Duration: 25 minutes

We had to recognize an UDP flood attack at our firewall today. This causes very high cpu loa don the firewalls, so that there was packet loss and high latency times. The causing customer was identified and the problem was solved. Since 16:46 o'clock all services should be available again in usual quality.

We apologizeAE for the trouble caused. We raised a ticket at the vendor of the firewalls, Juniper, to clarify how this can cause so much trouble even though there is an active udp flood protection.

Anbindungsprobleme DUS1

Kategorie: Störung
Betroffen: Anbindung AS35548 AMS
Kritisch: ja
Beginn: 10.06.2010, 10:48 Uhr
Ende: 10.06.2010, 10:59 Uhr
Dauer: 11 Minuten

Aktuell verzeichnen wir ein Packet Loss Problem an unserem Standort Equinix Düsseldorf. Wir arbeiten an der Behebung des Problems.

UPDATE:
Das Problem besteht nicht mehr. Wir werden nun die erhobenen Daten auswerten, um die Ursache ausfindig zu machen.

Anbindungsprobleme AMS

Kategorie: Störung
Betroffen: Anbindung AS35548 AMS
Kritisch: nein
Beginn: 05.05.2010, 11:15 Uhr
Ende: 05.05.2010, 23:05 Uhr
Dauer: 11h 50m

Aktuell verzeichnen wir den Ausfall einer Transportstrecke in Amsterdam. Daraus resultierend ist der Standort Amsterdam aktuell nicht über unsere primäre Anbindung (Level3, die Deutsche Telekom und unsere öffentlichen Peerings) verfügbar.

Auf Grund der Redundanzen in unserem Setup kam es nur zu kurzzeitigem Packet Loss und einer erhöhten Latenzzeit, bis der Schwenk auf die Backup BGP Sessions vollendet wurde. Lediglich unsere Verbindung zwischen Amsterdam und Düsseldorf ist weiterhin gestört, so dass einige interne Dienste aktuell nicht zur Verfügung stehen.

Wir sind weiterhin uneingeschränkt aus dem kompletten Internet verfügbar.

UPDATE:
Es scheint sich der Verdacht zu erhärten, dass einer der beiden Half-Circuits zwischen den einzelnen Standorten beschädigt wurde. Man sagte uns auch, dass durch einen Anbieter heute Vormittag Verkabelungsarbeiten stattgefunden haben.

UPDATE2:
Bei uns nicht angekündigten Verkabelungsarbeiten haben Techniker die Inhouse Verkabelung beschädigt, über die unsere primäre Anbindung läuft. Diese wurde durch Techniker von Telecity nun wieder hergestellt.

Anbindungsprobleme DDF

Kategorie: Störung
Betroffen: Anbindung AS35548 DDF
Kritisch: nein
Beginn: 22.12.2009, 11:36 Uhr
Ende: 22.12.2009, 12:59 Uhr
Dauer: 1h 23m

Aktuell verzeichnen wir einen Ausfall unseres benachbarten Routers in FFM. Dadurch bedingt ist unser Netzwerk nicht direkt über öffentliche Peerings erreichbar.

Auf Grund der Redundanzen in unserem Setup kam es nur zu kurzzeitigem Packet Loss und einer erhöhten Latenzzeit, bis der Schwenk auf die anderen BGP Sessions vollendet wurde.

Wir sind weiterhin uneingeschränkt aus dem kompletten Internet verfügbar.

UPDATE: Am Standort FFM gab es wohl Probleme mit der Stromversorgung. Diese wurden zwischenzeitlich behoben, wir sind somit auch wieder direkt über Peerings zu erreichen.

UPDATE2: Zu früh gefreut: es scheint wieder Probleme mit unserem Nachbar-Router zu geben. Wir haben nun die BGP Session dorthin dauerhaft deaktiviert, bis die Probleme dort zuverlässig behoben sind!

UPDATE3: Nachdem unser BGP Neighbor für die letzten 5 Stunden ohne Unterbrechung verfügbar ist, haben wir die BGP Session zu diesem wieder aktiv geschalten. Wir sind nun wieder, wie gewohnt, auch direkt über öffentliche Peerings erreichbar.

Anbindungsprobleme DDF

Kategorie: Störung
Betroffen: Anbindung AS35548 DDF
Kritisch: ja
Beginn: 07.08.2009, 16:18 Uhr
Ende: 07.08.2009, 16:58 Uhr
Dauer: 40 Minuten

Am Standort Düsseldorf haben wir in dem o.g. Zeitraum einen kompletten Ausfall der Anbindung des Standorts verzeichnen müssen. Es gab ein Problem mit dem Firewallcluster, über den sämtliche Verbindungen laufen.

Da dieser nicht mehr zuverlässig arbeitete, konnte das Default Gateway für die an diesem Standort betriebenen Server nicht mehr erreicht werden. Dies hatte zur Folge, dass die Kommunikation in das Internet nicht mehr funktionierte.

UPDATE:
Das Problem wurde behoben, die Anbindung steht wieder komplett in gewohnter Qualität zur Verfügung. Wir arbeiten noch an einer detaillierten Fehleranalyse und werden dafür Sorge tragen, dass die Ursache dauerhaft behoben wird.

Anbindungsprobleme DDF

Kategorie: Störung
Betroffen: Anbindung AS35548 DDF
Kritisch: nein
Beginn: 28.07.2009, 13:46 Uhr
Ende: 28.07.2009, 15:16 Uhr
Dauer: 1h 30m

Aktuell verzeichnen wir einen Ausfall unserer Transportstrecken nach FFM und nach AMS. Dadurch bedingt ist unser Netzwerk nicht direkt über öffentliche Peerings und aus dem Netz der DTAG erreichbar.

Auf Grund der Redundanzen in unserem Setup kam es nur zu kurzzeitigem Packet Loss und einer erhöhten Latenzzeit, bis der Schwenk auf die anderen BGP Sessions vollendet wurde.

Wir sind weiterhin uneingeschränkt aus dem kompletten Internet verfügbar.

UPDATE: Die Transportstrecken sind wieder störungsfrei verfügbar, die Störung ist somit vorüber.

Anbindungsprobleme DDF

Kategorie: Störung
Betroffen: Anbindung AS35548 DDF
Kritisch: ja
Beginn: 20.07.2009, 21:41 Uhr
Ende: 20.07.2009, 21:46 Uhr
Dauer: 0h 5m

Aktuell verzeichnen wir ein Problem in unserem internem Backbone am Standort Düsseldorf. Einer unserer beiden Router ist ausgefallen. Auf Grund der Redundanzen in unserem Setup kam es nur zu einem sehr kurzem Ausfall, bis der Schwenk auf den verbleibenden aktiven Router vollendet wurde.

Für Verbindungen, die uns über öffentlichen Peerings erreichen, dauerte der Ausfall leider etwas länger: durch einen invaliden Nexthop auf der aktiven Firewall liefen die Rückrouten leider in's Leere.

Dieses Problem konnten wir erst nach fünf Minuten beheben. Wir werden jedoch dafür Sorge tragen, dass diese Konstellation in Zukunft nicht mehr auftreten kann.

UPDATE:
Der ausgefallene Router ist nun wieder aktiv und verrichtet ordnungsgemäß seinen Dienst. Das Problem mit dem invaliden Nexthop nach Ausfall einer der beiden Router haben wir für nun ebenfalls behoben.

Anbindungsprobleme AMS

Kategorie: Störung
Betroffen: Anbindung AS35548 AMS
Kritisch: ja
Beginn: 20.05.2009, 00:01 Uhr
Ende: 20.05.2009, 01:14 Uhr
Dauer: 1h 13min

Aktuell verzeichnen wir einen Ausfall der Transportstrecke zwischen unseren beiden Standorten Düsseldorf und Amsterdam. In Folge dessen kommt es zu Problemeb mit unserer Anbindung am Standort Amsterdam.

UPDATE:
Die Transportstrecke ist weiterhin gestört, jedoch sind die Probleme größtenteils wieder behoben, der Standort Amsterdam ist aus den meisten Netzen wieder zu erreichen.

UPDATE2:
Nun ist auch die Strecke zwischen den Standorten wieder verfügbar, alles arbeitet innerhalb normaler Parameter.

Packet Loss am Standort Düsseldorf

Kategorie: Störung
Betroffen: Anbindung AS35548 DDF
Kritisch: ja
Beginn: 16.03.2009, 02:55 Uhr
Ende: 16.03.2009, 04:45 Uhr
Dauer: 1h 50m

Aktuell verzeichnen wir ein Problem in unserem internem Backbone am Standort Düsseldorf. Dadurch bedingt kommt es zu Paketverlusten und einer deutlich erhöhten Latenzzeit.

UPDATE:
Als Ursache des Problems konnte ein Netzwerksegment mit mehreren Kundenservern ausgemacht werden. Die Störung wird offensichtlich durch ein oder mehrere außer Kontrolle geratenen Servern verursacht.

UPDATE2:
Der verursachende Server konnte erfolgreich ausgemacht und isoliert werden. Nun ist auch die Packet Loss Rate wieder auf einem 0% und die Latenz im Backbone auf einem akzeptablem Wert.