smartTERRA Status

Geplante Wartungsarbeiten gesamter Backbone // Planned maintenance whole backbone

Kategorie: Wartungsarbeiten
Betroffen: alle Standorte
Kritisch: ja
Beginn: 04.04.2012, 23:00 Uhr
Ende: 05.04.2012, 02:00 Uhr
Dauer: 3 Stunden

Kategorie: Wartungsarbeiten
Betroffen: alle Standorte
Kritisch: ja
Beginn: 05.04.2012, 23:00 Uhr
Ende: 06.04.2012, 02:00 Uhr
Dauer: 3 Stunden

Nach einer ausführlichen Planungs- und Konzeptionierungsphase, sowie gründlicher Erprobung in einer Junosphere-Umgebung werden wir in der Woche vor Ostern umfangreiche Umbauarbeiten an unserem Backbone vornehmen. Davon sind alle Standorte betroffen. Da die Änderungen tief in unsere Infrastruktur eingreifen, haben wir uns dazu entschlossen vorab einen zweiten Backbone aufzubauen, so dass die Auswirkungen auf unsere Kunden auf ein Minimum beschränkt werden.

In der Nacht vom 04. auf den 05. Apriel nehmen wir den Ersatzbackbone in Betrieb. Hierbei wird es während der Umschaltung kurzzeitig zu höheren Latenzzeiten und Packetverlust kommen. Sobald die Migration auf die Ersatzrouter abgeschlossen ist, sind wir dann zwar wie gewohnt zuverlässig zu erreichen, jedoch nutzen wir für die Außenanbindung nur noch einen Bruchteil der uns zur Verfügung stehenden Anbindungen. Die Konnektivität wird in diesem Zeitraum dann "nur" noch über jeweils eine Verbindung zu den Carriern KPN, Level 3 und NTT sicher gestellt.

Durch diese Maßnahme sind wir dann in der Lage, Arbeiten an unserem eigentlichem Backbone vorzunehmen, ohne dass dies Auswirkungen auf die Erreichbarkeit unserer Kunden hat. Diese sollten im Laufe des nächsten Tages abgeschlossen sein, so dass wir eine erneute Umschaltung, zurück auf die für den produktiven Betrieb geplante Plattform, für die Nacht vom 05. auf den 06. April planen.

Über den Beginn, Fortschritt und Abschluss der jeweiligen Arbeiten halten wir Sie auf unserer Status-Seite http://status.smartterra.eu auf dem Laufendem.

Wir bitten um Verständnis und bitten um Entschuldigung für die Unannehmlichkeiten. Diese Arbeiten dienen der kontinuierlichen Qualitätsverbesserung unserer Anbindung. Die Umbauten werden sich garantiert, auch in Ihrem Sinne, positiv auf die Konnektivität Ihrer Services auswirken.

1. Wartungsarbeit
UPDATE:
Die Inbetriebnahme des temporären Backbones ist, bis auf eine geringe Verzögerung, ohne besondere Vorkommnisse, erfolgreich vollendet worden.

2. Wartungsarbeit
UPDATE:
Leider haben sich hier, trotz ausführlichen Tests im Vorfeld, doch noch einige Unwägbarkeiten ergeben, die die Angelegenheiten verkompliziert und in die Länge gezogen haben. Nun funktioniert aber alles wie erwartet, der Schwenk zurück auf den produktiven Backbone ist nun vollendet.


--english version--

Category: Maintenance
Impact: all locations
Critical: Yes
Beginning: April, 04th 2012, 11pm
Finished: April, 05th 2012, 2am
Duration: 3 hours

Category: Maintenance
Impact: all locations
Critical: Yes
Finished: April, 05th 2012, 11pm
Finished: April, 06th 2012, 2am
Duration: 3 hours

After a thorough phase of planning, conception and testing in a Junosphere-environment, we will enhance our current Backbone in the week before eastern. All our locations are affected. These changes are deeply hooked into our current infrastructure, therefore we have come to the decision to create a secondary backbone, in order to reduce the impact on our customers to a bare minimum.

In the night of the 04th to the 04th of April the secondary backbone will replace our current backbone, which will temporarily lead to higher latency and packet loss. As soon as the migration to the replacement-routers has is complete, we will offer the same reliability you are accustomed to. During the scheduled maintenance timeframe, we are only connected to the carriers KPN, Level 3 and NTT.

By choosing this option, we are able to work on our current Backbone without impacting our customer's availability. The maintenance should be completed within the next day which leads to the 2nd switch, back to our enhanced, productive platform during the night from the 05th to the 06th of April.

We will keep you posted about the beginning, our progress and the completion on our Status-page at http://status.smartterra.eu.

We apologise for any inconvenience. These maintenance works are meant to enhance the quality of our connectivity and we are convinced that these enhancements will also have a positive impact on the connectivity of your services.

1. Maintenance work
UPDATE:
The migration to the temporarily backbones is, with a slightly delay, but without any trouble, successful finished.


2. Maintenance work
UPDATE:
In face of detailed testing, we run into some kind of trouble. So the work was more complicated and took longer. But now everything is running as expected and the migration back to the production backbone is finally finished.

Notfallwartungsarbeiten

Kategorie: Wartungsarbeiten
Betroffen: Standort DUS2 (KPN)
Kritisch: ja
Beginn: 21.03.2012, 23:30 Uhr
Ende: 22.03.2012, 00:00 Uhr
Dauer: 30 Minuten

Um ein drohendes Problem mit unserem Juniper Netscreen Firewallcluster am Standort DUS2 (KPN) zu vermeiden, werden wir heute Abend kurzfristig ein Softwareupdate vornehmen.

Bei dem damit einher gehenden Reboots schwenken wir den Cluster auf das Backupsystem. Dabei kann es vorübergehend zu erhöhten Latenzzeiten und Packetverlusten kommen. Erfahrungsgemäß ist dies über einen Zeitraum rund 15 Sekunden der Fall.

Wir bitten um Ihr Verständnis.

Beeinträchtigung der Verbindung zwischen den Standorten DUS1 und DUS2

Kategorie: Störung
Betroffen: Standort DUS1 (Equinix) / DUS2 (KPN)
Kritisch: ja (nach UPDATE: nein)
Beginn: 05.03.2012, 22:00 Uhr
Ende: 05.03.2012, 23:40 Uhr
Dauer: 1h 40m

Eine unserer Verbindungsstrecken innerhalb Düsseldorfs zwischen den Standorten KPN und Equinix ist ausgefallen.

Aktuell läuft der Traffic über die Backupleitung unseres Rings über Frankfurt. Das Rerouting über die andere Strecke hat während des Schwenks kurzzeitig zu Paketverlusten und höheren Latenzzeiten geführt, wobei dies nur Verbindungen über den ECIX und bei Verbindungen über / hin zu den Standort Equinix Düsseldorf in unser Netz betroffen hat.

Wir haben das Problem an unseren Vorlieferanten eskaliert und warten auf Feedback.

Unsere Anbindung ist nicht beeinträchtigt, da die Verbindung zwischen den Standorten in Düsseldorf in einem redundantem Ring, realisiert ist, welche über unseren Standort FRA3 (InterXion) nach Standort DUS1 (Equinix) führt.

UPDATE
Bei dem Ausfall handelt es sich um geplante Wartungsarbeiten, welche versäumt wurden uns mitzuteilen.

UPDATE2
Die Arbeiten sind abgeschlossen, die Strecke wieder in gewohnter Qualität verfügbar.

Beeinträchtigung der Verbindung zwischen den Standorten DUS2 und FRA

Kategorie: Störung
Betroffen: Standort DUS2 (KPN) / FRA3 (InterXion)
Kritisch: ja
Beginn: 29.02.2012, 15:08 Uhr
Ende: 01.03.2012, 08:38 Uhr
Dauer: 17h 30m

Eine unserer Verbindungsstrecken zwischen Düsseldorf und Frankfurt ist ausgefallen. Aktuell läuft der Traffic über die Backupleitung unseres Rings nach Frankfurt. Das Rerouting über die andere Strecke hat während des Schwenks kurzzeitig zu Paketverlusten und höheren Latenzzeiten geführt, wobei dies nur Verbindungen über den DeCIX oder die Deutsche Telekom in unser Netz betroffen hat.

Wir haben das Problem an unseren Vorlieferanten eskaliert und warten auf Feedback.

Unsere Anbindung ist nicht beeinträchtigt, da die Verbindung nach Frankfurt in einem redundantem Ring realisiert ist, welche über unseren Standort DUS1 (Equinix) nach FRA3 (InterXion) führt.

UPDATE1:
Nach Angaben unseres Vorlieferanten handelt es sich um einen Faserbruch in der Nähe von Frankfurt.

UPDATE2:
Die genaue Stelle des Bruchs der Faser wurde lokalisiert. Diese liegt zwischen Linz und Dernbach. Ein Team, um die Fasern zu reparieren ist auf dem Weg.

UPDATE3:
Wir hatten zur Sicherheit die Strecke auf unserer Seite außer Betrieb genommen, um Flaps zu verhindern. Nach Freigabe und Fertigmeldung durch den Vorlieferanten haben wir dies soeben wieder rückgängig gemacht. Es steht nun wieder die primäre Strecke nach Frankfurt zur Verfügung.

Beeinträchtigung der Anbindung am Standort DUS2 (KPN)

Kategorie: Störung
Betroffen: Standort DUS2 (KPN)
Kritisch: ja
Beginn: 19.11.2011, 17:09 Uhr
Ende: 19.11.2011, 17:17 Uhr
Dauer: 8 Minuten

Wir verzeichnen derzeit eine Attack auf Zielnetze an unserem Standort DUS2, sodass es zu Paketverlusten und höheren Latenzzeiten kommt. Wie arbeiten daran und bitten um etwas Geduld.

UPDATE:
Es hat sich bei dem Angriff um eine dDoS Attacke auf einen unserer Kunden gehandelt. Den Angriff haben wir zwar schon seit letzter Nacht beobachten müssen, dies hatte jedoch keine Auswirkungen auf unsere Infrastruktur bzw. haben die von uns ergriffenen Filtermaßnahmen gut funktioniert.

Nun wurde aber die Art des Angriffs so abgeändert, dass uns eine effektive Filterung nicht mehr möglich war. Wir haben nun, in Absprache mit dem Kunden, das Zielnetz aus dem Routing genommen, so dass die dDoS Pakete bereits an unseren Borderroutern verworfen werden.

Beeinträchtigung der Anbindung

Kategorie: Störung
Betroffen: Standort DUS2 (KPN)
Kritisch: ja
Beginn: 03.11.2011, 11:40 Uhr
Ende: 03.11.2011, 12:37 Uhr
Dauer: 57 Minuten

Heute Vormittag mussten wir eine Fehlfunktion einer unserer Router beobachten. Davon betroffen waren alle Verbindungen, die am Standort Frankfurt über den DeCIX und die DTAG in unser Netz kamen.

Leider hat der Router seine Arbeit nicht komplett eingestellt, so dass die in den von uns genutzten Routingprotokollen genutzten Failover-Funktionalitäten leider nicht greifen konnten.

Wir haben den betroffenen Router außer Betrieb genommen und leiten unseren Datenverkehr akutell über andere Upstreams und Peerings. Verbindungen zur DTAG werden nun über unsere zweiten DTAG-Kopplung in Düsseldorf geroutet.

Derzeit analysieren das Problem detailliert, um die weitere Vorgehensweise abzustimmen.

Beeinträchtigung der Anbindung am Standort DUS2 (KPN)

Kategorie: Störung
Betroffen: Standort DUS2 (KPN)
Kritisch: ja
Beginn: 10.09.2011, 15:21 Uhr
Ende: 10.09.2011, 15:35 Uhr
Dauer: 14 Minuten

Wir verzeichnen derzeit eine Attack auf unsere Firewalls am Standort DUS2, sodass es zu Paketverlusten und höheren Latenzenzeiten kommt. Wie arbeiten daran und bitten um etwas Geduld.

UPDATE:
Es hat sich bei dem Angriff um eine DoS Attacke auf einen unserer Kunden gehandelt. Der Angriff war so groß dimensioniert, dass die Session Tabelle unseres Juniper Netscreen Firewall Clusters voll gelaufen ist und keine neuen Verbindungen zugelassen hat.

Wir haben nun, in Absprache mit dem Kunden, das Zielnetz aus dem Routing genommen, so dass die DoS Pakete bereits an unseren Borderroutern verworfen werden.

Umzugsarbeiten dauern länger als geplant

Vor rund einer Woche hatten wir für einen unserer Webserver den Umzug auf ein aktuelles System angekündigt. Obwohl wir die Arbeiten gestern Abend um 22 Uhr begonnen haben, ist die Migration bis jetzt noch nicht abgeschlossen.

Wir bitte um Entschuldigung für unsere Fehleinschätzung des benötigten Zeitraums und bitte noch um etwas Geduld.

UPDATE: Die Migration konnte erfolgreich abgeschlossen werden.

Störung im Bereich Shared Hosting Business Kunden

Aktuell ist bei einem der Shared Webspace Server für Geschäftskunden einer der Webserver ausgefallen. Wir arbeiten an dem Problem.

UPDATE:
Durch eine überdurchschnittlich hohe Anzahl an Zugriffen auf den Webspace eines einzeln Kunden ist der Server so weit ausgelastet, dass auch andere Webseiten nicht mehr in einer akzeptablen Zeitspanne ausgeliefert werden können.

Aus diesem Grund haben wir dem System mehr CPU- und RAM-Ressourcen zugewiesen, müssen dieses dazu ab rebooten. Dies nimmt leider einige Zeit in Anspruch. Wir bitte um etwas Geduld.

UPDATE2:
Das betroffene System ist nun wieder verfügbar, ausgestattet mit der doppelten Anzahl an Ressourcen.

UPDATE3:
Leider sind auch die deutlich erweiterten Ressourcen nicht ausreichend, um das System gewohnt performant zu betreiben. Wir haben, nach Rücksprache mit dem Kunden, das verursachende Web deaktiviert und migrieren den Kunden auf einen eigenen Server.

Alles im grünen Bereich

Auf der Status Seite von smartTERRA ist es in den letzten Monaten ziemlich ruhig geworden. Dies liegt daran, dass wir Ankündigungen zu Wartungsarbeiten mittlerweile über eine interne Mailingliste an die Kunden kommunizieren, und es einfach keine Störungen und Ausfälle gab, über die es zu berichten lohnte :-)