Algemene verstoring Datacenter EHV
Update
Onderstaande spoedwerkzaamheden zijn succesvol uitgevoerd en afgerond.
De werkzaamheden verliepen voorspoedig en het redundante IP-Fabric is hersteld. We monitoren dit aankomende avond/nacht om er zeker van te zijn dat de omgeving stabiel blijft. Daarna zullen wij in overleg met u afstemmen wanneer uw omgeving overgezet wordt naar de redundante oplossing.
Indien u problemen ondervindt die mogelijk gerelateerd zijn aan dit onderhoud verzoeken wij u direct telefonisch contact op te nemen met ons Customer Service Team op 073 – 8800011 tot 15:00, daarna zal het verder verlopen naar de storingsdienst.
Het onderhoud loopt voorspoedig.
Stap 1: het toepassen van de oplossing is succesvol afgerond. Op dit moment zijn we bezig met de voorbereidingen voor stap 2.
I.v.m. dit incident is onze servicedesk nog steeds telefonisch bereikbaar op nummer 073 – 8800011
Volgende update volgt om 14:00
Zoals aangekondigd zijn wij druk bezig met het onderhoud. We houden u op de hoogte.
I.v.m. dit incident is onze servicedesk telefonisch bereikbaar op nummer 073 – 8800011
Volgende update volgt om 13:30
Zoals aangekondigd zijn wij druk bezig met het onderhoud. We houden u op de hoogte.
I.v.m. dit incident is onze servicedesk telefonisch bereikbaar op nummer 073 – 8800011
Volgende update volgt om 12:30
Zoals aangekondigd zijn wij druk bezig met het onderhoud. We houden u op de hoogte.
I.v.m. dit incident is onze servicedesk telefonisch bereikbaar op nummer 073 – 8800011
Volgende update volgt om 11:30
Zoals aangekondigd zijn wij druk bezig met het onderhoud. We houden u op de hoogte.
I.v.m. dit incident is onze servicedesk telefonisch bereikbaar op nummer 073 – 8800011
Volgende update volgt om 10:30
Op dit moment is de situatie onveranderd en stabiel.
Dat betekent dat het eerder aangekondigde onderhoudsvenster gehandhaafd blijft en dus op het eerder aangegeven tijdstip van 08:00 uur zal starten.
In verband met dit incident is onze Servicedesk nog steeds bereikbaar op telefoonnummer: 073-8800011.
Momenteel is de huidige situatie nog steeds stabiel.
Zoals eerder aangekondigt zal zonder tegenbericht onderstaand onderhoud morgen (14-04-2024) plaatsvinden.
Indien er grondige reden is om eerder actie te ondernemen, dan zullen wij dit vooraf aankondigen via een Tech News update.
I.v.m. dit incident is onze servicedesk nog steeds telefonisch bereikbaar op nummer 073 – 8800011
Volgende update volgt morgen om 07:00
Momenteel is de huidige situatie stabiel. In samenwerking met onze leveranciers zijn we sinds gisteravond zover in het onderzoek gevorderd dat de bronoorzaak en oplossing in zicht zijn.
Om voldoende tijd te houden voor het finaliseren van het onderzoek en treffen van voorbereidingen, hebben we besloten om aanstaande zondag vanaf 8:00 uur spoedonderhoud in te plannen.
Dit onderhoud zal uit 2 fasen bestaan:
- het toepassen van de oplossing – 8:00 / 12:00 uur
-
het terugbrengen van de redundancy. – 12:00 / 16:00 uur
Dit zijn richttijden, die zeer afhankelijk zijn van het effect na implementatie én de tests die we gaan uitvoeren om vast te kunnen stellen dat de oplossing stabiel is. Tijdens het onderhoud zal de verbinding meerdere keren verbroken worden. Vervolgens communiceren we elk uur over de voortgang.
Indien er grondige reden is om eerder actie te ondernemen, dan zullen wij dit vooraf aankondigen via een Tech News update.
Volgende update volgt om 16:00
Er wordt door onze engineers in samenwerking met een team van wereldwijde experts van onze leveranciers onverminderd doorgewerkt aan een oplossing.
I.v.m. dit incident is onze servicedesk nog steeds telefonisch bereikbaar op nummer 073 – 8800011
Er wordt door onze engineers in samenwerking met een team van wereldwijde experts van onze leveranciers onverminderd doorgewerkt aan een oplossing.
Enerzijds moeten wij ervoor zorgen dat we de huidige stabiele situatie zo lang mogelijk handhaven, en aan de andere kant dat we zo snel mogelijk weer naar een stabiele én redundante situatie toe werken.
Volgende update volgt om 17:00
Onderstaande update van 8:54 is ongewijzigd.
Volgende update volgt om 14:00
I.v.m. dit incident is onze servicedesk nog steeds telefonisch bereikbaar op nummer 073 – 8800011
Onderstaande update van 07:05 is ongewijzigd, vanaf dit tijdstip is de nacht relatief rustig verlopen.
Rond 12:00 uur plaatsen wij een nieuwe update, hebben wij eerder nieuws delen wij dit uiteraard direct.
De issues met verbindingen van klanten die zich bij ons gemeld hebben, zijn inmiddels grotendeels voorzien van een workaround. Daarnaast zijn wij samen met onze leverancier Juniper nog steeds op zoek naar de Root Cause van dit incident.
I.v.m. dit incident is onze servicedesk nog steeds telefonisch bereikbaar op nummer 073 – 8800011
Onderstaande update van 05:36 is ongewijzigd, vanaf dit tijdstip is de nacht relatief rustig verlopen.
Rond 08:00 uur plaatsen wij een nieuwe update, hebben wij eerder nieuws delen wij dit uiteraard direct.
De issues met verbindingen van klanten die zich bij ons gemeld hebben, zijn inmiddels grotendeels voorzien van een workaround. Daarnaast zijn wij samen met onze leverancier Juniper nog steeds op zoek naar de Root Cause van dit incident.
I.v.m. dit incident is onze servicedesk nog steeds telefonisch bereikbaar op nummer 073 – 8800011
Onderstaande update van 02:24 is ongewijzigd, vanaf dit tijdstip is de nacht relatief rustig verlopen.
Rond 07:00 uur plaatsen wij een nieuwe update, hebben wij eerder nieuws delen wij dit uiteraard direct.
De issues met verbindingen van klanten die zich bij ons gemeld hebben, zijn inmiddels grotendeels voorzien van een workaround. Daarnaast zijn wij samen met onze leverancier Juniper nog steeds op zoek naar de Root Cause van dit incident.
I.v.m. dit incident is onze servicedesk nog steeds telefonisch bereikbaar op nummer 073 – 8800011
Onderstaande update van 02:24 is ongewijzigd.
Rond 05:45 uur plaatsen wij een nieuwe update, hebben wij eerder nieuws delen wij dit uiteraard direct.
De issues met verbindingen van klanten die zich bij ons gemeld hebben, zijn inmiddels grotendeels voorzien van een workaround. Daarnaast zijn wij samen met onze leverancier Juniper nog steeds op zoek naar de Root Cause van dit incident.
I.v.m. dit incident is onze servicedesk nog steeds telefonisch bereikbaar op nummer 073 – 8800011
De issues met verbindingen van klanten die zich bij ons gemeld hebben, zijn inmiddels grotendeels voorzien van een workaround. Daarnaast zijn wij samen met onze leverancier Juniper nog steeds op zoek naar de Root Cause van dit incident.
Rond 04:00 uur plaatsen wij een nieuwe update, hebben wij eerder nieuws delen wij dit uiteraard direct.
I.v.m. dit incident is onze servicedesk nog steeds telefonisch bereikbaar op nummer 073 – 8800011
De update van 23:00 uur is nog steeds ongewijzigd.
Verbindingen van klanten die zich bij ons gemeld hebben worden stuk voor stuk omgezet, dit zal nog enige tijd in beslag nemen. Daarnaast zijn wij samen met onze leverancier Juniper nog steeds op zoek naar de Root Cause van dit incident.
Rond 02:30 uur plaatsen wij een nieuwe update, hebben wij eerder nieuws delen wij dit uiteraard direct.
I.v.m. dit incident is onze servicedesk nog steeds telefonisch bereikbaar op nummer 073 – 8800011
De update van 23:00 uur is ongewijzigd.
Verbindingen van klanten die zich bij ons gemeld hebben worden stuk voor stuk omgezet, dit zal nog enige tijd in beslag nemen. Daarnaast zijn wij samen met onze leverancier Juniper nog steeds op zoek naar de Root Cause van dit incident.
Rond 01:00 uur plaatsen wij een nieuwe update, hebben wij eerder nieuws delen wij dit uiteraard direct.
I.v.m. dit incident is onze servicedesk nog steeds telefonisch bereikbaar op nummer 073 – 8800011
Verbindingen worden stuk voor stuk omgezet naar de workaround waardoor connectiviteit wordt hersteld. Daarnaast zijn alle klanten die zich bij ons gemeld hebben teruggebeld, met de mededeling dat we bezig zijn de workaround toe te passen. We verifiëren de workaround per klant.
Rond 00:00 uur plaatsen wij een nieuwe update, hebben wij eerder nieuws delen wij dit uiteraard direct.
I.v.m. dit incident is onze servicedesk nog steeds telefonisch bereikbaar op nummer 073 – 8800011
Onderstaande update van 21:00 uur is ongewijzigd, naast troubleshooting, focussen we vooral op een workaround om connectiviteit per klant te herstellen.
Rond 23:00 uur plaatsen wij een nieuwe update, hebben wij eerder nieuws delen wij dit uiteraard direct.
I.v.m. dit incident is onze servicedesk nog steeds telefonisch bereikbaar op nummer 073 – 8800011
Terwijl troubleshooting samen met onze leverancier doorloopt, focussen we op een workaround om connectiviteit per klant te herstellen.
Rond 22:00 uur plaatsen wij een nieuwe update, hebben wij eerder nieuws delen wij dit uiteraard direct.
I.v.m. dit incident is onze servicedesk nog steeds telefonisch bereikbaar op nummer 073 – 8800011
Het recent uitgevoerde spoedonderhoud heeft gezorgd voor onverwachte nieuwe impact. Het heeft de hoogste prioriteit voor onze en de Juniper engineers om de connectiviteit te herstellen.
Rond 21:00 uur plaatsen wij een nieuwe update. Wanneer wij eerder nieuws hebben delen wij dit uiteraard direct.
I.v.m. het lopende incident is onze servicedesk nog steeds telefonisch bereikbaar op nummer 073 – 8800011.
Op dit moment ervaren verschillende klanten problemen met hun netwerk. Wij zijn met man en macht bezig om deze problemen te verhelpen.
Mocht u ook problemen ervaren, bel onze Servicedesk.
Het window waarbinnen de spoedwerkzaamheden worden uitgevoerd is tussen 18:00 uur en 19:00.
Verdere communicatie omtrent deze werkzaamheden wordt vanaf nu gecommuniceerd via onze NOC pagina. De link naar onze NOC vindt u onderaan dit bericht.
Hierbij willen wij u informeren dat er spoedwerkzaamheden worden uitgevoerd. Onderstaand treft u de details aan:
DATUM: 11-04-2024
TIJDSDUUR: 18:00 uur - 20:00 uur
LOCATIE: Eindhoven
BETROKKEN DIENST:
- Inter-Datacenter VLAN
- Core Netwerk
- Firewall (Managed)
- IP-VPN
- Shared Firewall
- IaaS/KaaS
- Colocatie
BESCHRIJVING
Hierbij willen wij u informeren dat spoedwerkzaamheden wordt uitgevoerd aan ons core netwerk naar aanleiding van verstoringen op ons IP-Fabric Switching platform. Tijdens deze werkzaamheden wordt een van onze core routers opnieuw toegevoegd aan het IP-Fabric om de redundantie te herstellen.
IMPACT
Tijdens deze werkzaamheden kunt u downtime ervaren tussen 18:00 uur en 19:00 uur, of tussen 19:00 uur en 20:00 uur. Over het exacte window wordt u zo spoedig mogelijk geinformeerd. Indien deze werkzaamheden niet direct het gewenste resultaat opleveren zullen wij direct een rollback uitvoeren naar de huidige situatie binnen bovengenoemd window.
De status en afmelding kunt u volgen via deze pagina. Na afronding van de werkzaamheden verzoeken wij u uw dienst te controleren op de juiste werking.
CONTACT
Dit bericht is verzonden vanuit een geautomatiseerd systeem. Direct reageren op deze aankondiging is niet mogelijk. Indien u een vraag heeft naar aanleiding van de Technews melding of u wilt bezwaar aantekenen m.b.t. de geplande datum of het tijdstip, kunt u een e-mail sturen naar service@interconnect.nl of telefonisch contact opnemen met ons Customer Service Team op 073 - 88 000 11.
De voorgaande update is ongewijzigd. Momenteel draaien de Diensten alweer enige tijd stabiel, echter is de redundantie nog niet hersteld. Op dit moment zijn we bezig met de voorbereiding van een definitieve, redundante oplossing. Zodra hierover meer bekend is zullen wij u nader informeren.
Volgende update volgt uiterlijk om 16:00 of indien er eerder informatie beschikbaar komt.
Momenteel draaien de Diensten alweer enige tijd stabiel. Het onderzoek naar de oorzaak loopt nog steeds door. Mocht u nog problemen ervaren, dan verzoeken wij u contact op te nemen met CST.
Volgende update volgt om 14:00 of indien er eerder informatie beschikbaar komt.
De voorgaande update is ongewijzigd. Op dit moment zijn wij nog steeds bezig met het onderzoek. Klanten die een ticket hebben aangemaakt worden nagebeld. Mocht u nog problemen ervaren, neem dan contact op met onze Customer Service Team.
Rond 11:00 uur plaatsen wij een nieuwe update. Mochten wij eerder informatie hebben dan delen wij dit uiteraard direct.
Op dit moment zijn wij nog steeds bezig met het onderzoeken naar de oplossing. Klanten die een ticket aangemaakt hebben worden na gebeld. Mocht u nog problemen ervaren, neem dan contact op met onze Customer Service Team.
Beste klant,
Vanaf woensdag 14:00 op 10 april jl. zijn er verstoringen geconstateerd op het IP Fabric Switching platform. Dit platform maakt gebruik van Juniper Hardware. Als gevolg van deze verstoringen was voor sommige klanten de connectiviteit naar ons datacenter verminderd beschikbaar.
Sinds de aanvang van de verstoring werken onze engineers – samen met zo’n 20 Juniper experts wereldwijd -, aan een duurzame oplossing. Gedurende de nacht zijn er diverse onderhoudswerkzaamheden aangekondigd, software-aanpassingen doorgevoerd en hebben verschillende reboots plaatsgevonden. Tijdens de reboots kwam een deel van de verbindingen terug, wanneer we in een niet-redundante setup draaiden.
Escalatie heeft plaatsgevonden tot aan de CEO bij Juniper. Daarop heeft Juniper in de problem database wereldwijd naar matchende storingen gezocht en veelvuldig overlegd, maar geen bekende bug kunnen relateren aan het incident.
Hierop is vanochtend in samenwerking met Juniper besloten om tijdelijk naar een single home situatie te gaan (ook als is de redundante hardware aanwezig) als tijdelijke workaround om de connectiviteit snel te herstellen. Inmiddels zijn als gevolg hiervan het aantal storingen fors teruggelopen.
Sinds het incident bekend is geworden is er door het team van Interconnect non stop gewerkt aan het vinden van de oorzaak en het mitigeren van de impact. Directie en MT zijn ter plaatse gebleven en zullen ook komende uren e.e.a. blijven coördineren. U wordt via de gebruikelijke kanalen (NOC-pagina en Technews) regelmatig geïnformeerd.
Wij zijn ons bewust van de impact en doen al het mogelijke om samen met onze engineers en externe leveranciers de situatie volledig te herstellen.
Inmiddels is het spoedonderhoud uitgevoerd samen met onze leverancier. We zien verbetering, maar niet alle connectiviteit is hersteld. We zijn opnieuw met onze leverancier in onderzoek naar een workaround om connectiviteit te herstellen.
Zodra wij nieuws hebben delen wij dit uiteraard direct.
I.v.m. dit incident is onze servicedesk de gehele nacht telefonisch bereikbaar op nummer 073 – 8800011.
Naar aanleiding van de lopende issues, kondigen wij zometeen nogmaals spoedonderhoud aan. De klanten waarop dit betrekking heeft worden via Technews op de hoogte gebracht.
De volle focus ligt samen met onze leverancier op het vinden van een workaround om connectiviteit te herstellen. Zodra wij nieuws hebben delen wij dit uiteraard direct.
I.v.m. dit incident is onze servicedesk de gehele nacht telefonisch bereikbaar op nummer 073 – 8800011.
De voorgaande update is ongewijzigd. De volle focus ligt samen met onze leverancier op het vinden van een workaround om connectiviteit te herstellen.
Rond 04:00 uur plaatsen wij een nieuwe update, hebben wij eerder nieuws delen wij dit uiteraard direct.
I.v.m. dit incident is onze servicedesk de gehele nacht telefonisch bereikbaar op nummer 073 – 8800011.
De update van 01:05 is grotendeels ongewijzigd. We focussen samen met onze leverancier op het vinden van een workaround om connectiviteit te herstellen.
Rond 03:00 uur plaatsen wij een nieuwe update, hebben wij eerder nieuws delen wij dit uiteraard direct.
I.v.m. dit incident is onze servicedesk de gehele nacht telefonisch bereikbaar op nummer 073 – 8800011
Terwijl troubleshooting samen met onze leverancier doorloopt, focussen we op het vinden van een workaround om connectiviteit te herstellen.
Rond 02:00 uur plaatsen wij een nieuwe update, hebben wij eerder nieuws delen wij dit uiteraard direct.
I.v.m. dit incident is onze servicedesk de gehele nacht telefonisch bereikbaar op nummer 073 – 8800011.
We zijn nog steeds bezig met troubleshooting samen met onze leverancier. Daarnaast bekijken we de mogelijkheden om workarounds toe te passen.
I.v.m. dit incident is onze servicedesk de gehele nacht telefonisch bereikbaar op nummer 073 - 8800011.
Inhoudelijk hebben wij nog geen update. Ons team gaat door tot er een oplossing gevonden is. Volgende update is om 00.00 uur
We zijn de logging nog aan het onderzoeken met onze leverancier.
We zijn de logging nog aan het onderzoeken met onze leverancier.
De spoedwerkzaamheden zijn niet succesvol afgerond. Wel hebben wij uitgebreidere logging verkregen, waardoor wij samen met de leverancier gerichter kunnen onderzoeken.
De volgende update volgt na het afronden van de spoedwerkzaamheden.
Op dit moment wordt het spoedonderhoud uitgevoerd. Zie mail die uitgestuurd is. We houden u op de hoogte.
Naar aanleiding van het onderzoek naar het lopende issue, kondigen wij zometeen spoedonderhoud aan. De klanten waarop dit betrekking heeft worden via Technews op de hoogte gebracht.
Doordat het probleem langer duurt zijn de openingstijden van het Customer Service Team voor nu verlengd tot 23:00.
We zijn nog steeds bezig met het troubleshooten van het probleem met onze leverancier.
We zijn met onze leverancier aan het troubleshooten.
Inmiddels is dit daar ook geëscaleerd.
Nog geen nieuwe update.
We zijn in gesprek met onze leverancier.
Nog geen verdere nieuwe update.
We zijn in gesprek met onze leverancier.
Nog geen verdere nieuwe update.
We zijn in gesprek met onze leverancier.
Op dit moment zijn er verschillende verbindingen terug. Een deel nog niet. We hebben we de leverancier bijgeschakeld voor dit probleem.
Op dit moment lopen de meldingen terug. We zijn nog verder aan het onderzoeken waar het probleem zich bevindt.
Zodra er meer bekend is vermelden wij dit.
Op dit moment zijn wij nog in onderzoek waar het probleem precies zich bevindt. Zodra wij meer weten, vermelden wij dit op deze pagina.
Dit zal minimaal ieder half uur plaatsvinden.
Op dit moment is er een onbekende verstoring in ons datacenter in Eindhoven. Zodra er meer nieuws is, vermelden wij dit op deze pagina.
← Terug