smartTERRA Status

(teilweise) Störung der Anbindung an den Standorten DUS1 (Equinix) und DUS2 (KPN)

-- English version below --

Sehr geehrte Damen und Herren,

mit dieser E-Mail möchten wir Sie über folgende Störung informieren:

Kategorie: Störung
Betroffen: Standort DUS1 (Equinix) + DUS2 (KPN) - Verbindungen über den DeCIX
Kritisch: ja, teilweise
Beginn: 24.08.2010, 14:07 Uhr
Ende: 24.08.2010, 14:45 Uhr
Dauer: 38 Minuten

Auf Grund des kurzzeitigen Ausfalls einer Transportstrecke von Frankfurt nach Düsseldorf konnten Verbindungen, welche über den DeCIX zu uns geroutet wurden, ihr Ziel nicht erreichen. Die Verbindung nach Frankfurt war zwar sehr schnell (binnen zwei Minuten) wieder verfügbar, jedoch hat seit dem der Router in Frankfurt ein für uns nicht sofort nachvollziehbares Problem gehabt. Aber sobald die Quelle der Störung lokalisiert werden konnte, haben wir die Sessions zu diesem Router herunter gefahren. Danach war die Anbindung in Düsseldorf wieder wie gewohnt in alle Teile des Internets einwandfrei.

Wir bitten diesen kurzen (teilweisen) Ausfall zu entschuldigen.

In der Zwischenzeit haben wir das Problem weiter untersucht und behoben, so dass nun auch die Sessions nach Frankfurt und damit Peerings über den DeCIX wieder aktiv sind.

-- English version --

Dear Madam, Dear Sir,

with this E-Mail we would like to inform you about an outage:

Category: Outage
Concerned: location, DUS1 (Equinix) + DUS2 (KPN) - Connections via DeCIX
Critical: yes, partially
Start: 24.10.2010, 14:07 o'clock CEST
End: 24.10.2010, 14:45 o'clock CEST
Duration: 38 minutes

Because of a short interruption of a transport roadway between Frankfurt and Düsseldorf, connections reaching us via DeCIX cannot failed. The connection to Frankfurt was up and running again promptly (it took only 2 minutes), but the router in Frankfurt had some kind of trouble which we didn't recognized at once. But as soon as the origin of this problem was localized we shut down our bgp sessions to the router, and the connection to Düsseldorf was clean as usual.

We apologize for the trouble caused.

In the meantime we debugged the problem in all and were able to solve it. So the connection to Frankfurt is in use again.

Beeinträchtigung der Anbindung am Standort DUS1 (Equinix)

Kategorie: Störung
Betroffen: Standort DUS1 (Equinix)
Kritisch: ja
Beginn: 19.08.2010, 16:21 Uhr
Ende: 19.08.2010, 16:46 Uhr
Dauer: 25 Minuten

Wir mussten heute ab 16:21 Uhr eine UDP Flood Attack auf unsere Firewalls feststellen, sodass es durch die hohe CPU Last zu Paketverlusten und höheren Latenzenzeiten kam. Der verursachende Kunde wurde zeitnah identifiziert, und das Problem behoben. Seit 16:46 Uhr Uhr sollten alle Dienste wieder in gewohnter Qualität erreichbar sein.

Wir bitten diese Unannehmlichkeit zu entschuldigen. Wir haben den Vorfall an den Hersteller der Firewalls, Juniper, eskaliert um zu prüfen, wie die Firewalls trotz aktivierter UDP Flood Protection durch diese Attack in die Knie gezwungen werden konnten.

-- English version --

Dear Madam, Dear Sir,

with this E-Mail we would like to inform you about an outage:

Category: Outage
Concerned: location, DUS1 (Equinix)
Critical: yes
Start: 19.10.2010, 16:21 o'clock CEST
End: 19.10.2010, 16:46 o'clock CEST
Duration: 25 minutes

We had to recognize an UDP flood attack at our firewall today. This causes very high cpu loa don the firewalls, so that there was packet loss and high latency times. The causing customer was identified and the problem was solved. Since 16:46 o'clock all services should be available again in usual quality.

We apologizeAE for the trouble caused. We raised a ticket at the vendor of the firewalls, Juniper, to clarify how this can cause so much trouble even though there is an active udp flood protection.

Wartungsarbeiten an einzelnen Shared Webhosting Servern

Kategorie: Wartungsarbeiten
Betroffen: einzelne Shared Webhosting Server
Kritisch: nein
Beginn: 24.06.2010, 22:00 Uhr
Ende: 24.06.2010, 00:00 Uhr
Dauer: 2 Stunden

Wir werden an einzelnen Shared Webhosting Servern Arbeiten am Mailsystem vornehmen. Im Rahmen dieser Arbeiten wird es zu einigen Unterbrechungen der Mailservice Verfügbarkeit kommen.

Die Verfügbarkeit der darauf gehosteten Webseiten ist nicht von den Arbeiten betroffen. Es gehen auch keine E-Mails verloren. Lediglich der Versand und das Abholen von E-Mails wird zeitweise nicht möglich sein. Darüber hinaus kann sich die Zustellung von Mails verzögern.

Wir bitten um Ihr Verständnis.

Notfall-Wartungsarbeiten Anbindung Equinix Düsseldorf

Kategorie: Wartungsarbeiten
Betroffen: Standort DUS
Kritisch: ja
Beginn: 19.06.2010, 16:30 Uhr
Beginn: 19.06.2010, 17:00 Uhr
Dauer: 30m

Wir müssen am Standort Düsseldorf Änderungen an der Konfiguration unserer Juniper Router durchführen.

Im Rahmen dieser Arbeiten KANN es kurz zu einer Unterbrechung der Verfügbarkeit kommen. Wir bitten um Ihr Verständnis.



-- English version --

Category: Maintenance work
Concerned: location, DUS
Critical: ja
Start: 19.06.2010, 16:30 o'clock CEST
End: 19.06.2010, 17:00 o'clock CEST
Duration: 30m

At our location in Düsseldorf we will do configuration changes at our juniper routers.

Within the scope of these works it MAY come for an interruption of the availability. We ask for your understanding.

Anbindungsprobleme DUS1

Kategorie: Störung
Betroffen: Anbindung AS35548 AMS
Kritisch: ja
Beginn: 10.06.2010, 10:48 Uhr
Ende: 10.06.2010, 10:59 Uhr
Dauer: 11 Minuten

Aktuell verzeichnen wir ein Packet Loss Problem an unserem Standort Equinix Düsseldorf. Wir arbeiten an der Behebung des Problems.

UPDATE:
Das Problem besteht nicht mehr. Wir werden nun die erhobenen Daten auswerten, um die Ursache ausfindig zu machen.

Statusseite wieder verfügbar

Bei einem letztlich durchgeführten Umzugs eines Servers ist uns leider die Status-Webseite abhanden gekommen. Diese lag auf einem bisher extern betriebenen System, welches nicht wieder online genommen wurde. Alle darauf betriebenen Dienste wurden durch andere System abgelöst - fast alle :)

Nun betreiben wir unsere Status Webseite wieder auf einem extern untergebrachtem Server, so dass wir unserer KundInnen an dieser Stelle wieder wie gewohnt mit Meldungen rund um Wartungsarbeiten und Störungen versorgen können.

Anbindungsprobleme AMS

Kategorie: Störung
Betroffen: Anbindung AS35548 AMS
Kritisch: nein
Beginn: 05.05.2010, 11:15 Uhr
Ende: 05.05.2010, 23:05 Uhr
Dauer: 11h 50m

Aktuell verzeichnen wir den Ausfall einer Transportstrecke in Amsterdam. Daraus resultierend ist der Standort Amsterdam aktuell nicht über unsere primäre Anbindung (Level3, die Deutsche Telekom und unsere öffentlichen Peerings) verfügbar.

Auf Grund der Redundanzen in unserem Setup kam es nur zu kurzzeitigem Packet Loss und einer erhöhten Latenzzeit, bis der Schwenk auf die Backup BGP Sessions vollendet wurde. Lediglich unsere Verbindung zwischen Amsterdam und Düsseldorf ist weiterhin gestört, so dass einige interne Dienste aktuell nicht zur Verfügung stehen.

Wir sind weiterhin uneingeschränkt aus dem kompletten Internet verfügbar.

UPDATE:
Es scheint sich der Verdacht zu erhärten, dass einer der beiden Half-Circuits zwischen den einzelnen Standorten beschädigt wurde. Man sagte uns auch, dass durch einen Anbieter heute Vormittag Verkabelungsarbeiten stattgefunden haben.

UPDATE2:
Bei uns nicht angekündigten Verkabelungsarbeiten haben Techniker die Inhouse Verkabelung beschädigt, über die unsere primäre Anbindung läuft. Diese wurde durch Techniker von Telecity nun wieder hergestellt.

Ankündigung Wartungsarbeiten / Umzug Jailserver

Kategorie: Wartungsarbeiten
Betroffen: Standort DUS, Jailserver
Kritisch: ja
Beginn: 19.03.2010, 18:00 Uhr
Ende: 19.03.2010, 22:00 Uhr
Dauer: 4 Stunden

Wir werden am kommenden Freitag den Jailserver an einen neuen Standort umziehen. Im Rahmen dieser Arbeiten wird es zu einer Unterbrechung der Verfügbarkeit kommen. Während der eigentliche Umzug bis voraussichtlich 19 Uhr abgeschlossen sein dürfte, wird es danach noch einige Anpassungen im Routing geben, welche aber bis spätestens 22 Uhr erfolgt sein dürften.

Im Rahmen dieser Arbeiten wird es vermehrt zu einer Unterbrechung der Verfügbarkeit kommen. Wir bitten um Ihr Verständnis.

UPDATE:
Die Arbeiten sind abgeschlossen, der Server konnte erfolgreich umgezogen werden. Die Anpassungen im Routing waren weit vor Ablauf des angegebenen Zeitraums abgeschlossen, so dass die Erreichbarkeit der Services zeitnah wieder sicher gestellt werden konnte.

Wartungsarbeiten Standort Equinix Düsseldorf

Kategorie: Wartungsarbeiten
Betroffen: Standort DUS
Kritisch: ja
Beginn: 29.01.2010, 22:00 Uhr
Ende: 30.01.2010 02:00 Uhr
Dauer: 4 Stunden

Einmal werden wir am Standort Düsseldorf an unseren Routern Wartungsarbeiten durchführen. Durch die Redundanzen in unserem Setup wird die Verfügbarkeit unserer Anbindung weiterhin gewährleistet sein.

Darüber hinaus vollenden wir den Wechsel auf eine neue Switching Infrastruktur, indem wir neue Core Switche in Betrieb nehmen werden. Im Rahmen dieser Arbeiten wird es zu einigen kurzen Unterbrechungen der Verfügbarkeit kommen. Wir bitten um Ihr Verständnis.


-- English version --

Category: Maintenance work
Concerned: location DUS
Critical: ja
Start: 29.01.2010, 22:00 o'clock CEST
End: 30.01.2010, 02:00 o'clock CEST
Duration: 4 hours

First, at our location in Düsseldorf we will do some maintenance work at our routers. Because of our redundant setup our continuous availability will be warranted.

Second, we will finish the switch to the new switching platform and like to replace the existing equipment with new core switches. Within the scope of these works it will come for some small interruptions of the availability. We ask for your understanding.

Wartungsarbeiten Anbindung Equinix Düsseldorf

Kategorie: Wartungsarbeiten
Betroffen: Standort DUS
Kritisch: ja
Beginn: 15.01.2010, 23:00 Uhr
Beginn: 16.01.2010, 00:30 Uhr
Dauer: 1h 30m

Wir werden am Standort Düsseldorf an unseren Routern Wartungsarbeiten durchführen.

Durch die Redundanzen in unserem Setup wird die Verfügbarkeit unserer Anbindung weiterhin gewährleistet sein.

UPDATE:
Aufgrund der länger als geplant dauernden Arbeiten in Amsterdam werden die Arbeiten in Düsseldorf verschoben.

-- English version --

Category: Maintenance work
Concerned: location, DUS
Critical: ja
Start: 15.01.2010, 23:00 o'clock CEST
End: 16.01.2010, 00:30 o'clock CEST
Duration: 1h 30m

At our location in Düsseldorf we will do some maintenance work at our routers.

Because of our redundant setup our continuous availability will be warranted.

UPDATE:
Due to the longer as awaited maintenance work in Amsterdam the announced maintenance work in Düsseldorf will be deferred.