Immaginate di essere nel bel mezzo di una sessione di debugging critico, il caffè è freddo e improvvisamente l’intero datacenter decide che è il momento perfetto per simulare l’apocalisse. Non c’è un attacco ransomware, non è un glitch nel kernel, ma un sensore di fumo che ha deciso di fare il creativo senza motivo.
Questa è la ‘war story’ che il team di system administration di Jane Street ha appena condiviso, e onestamente sembra uscita da un episodio di ‘Mr. Robot’ scritto da un autore che ha esagerato con gli eccessi drammatici. Il problema? Un falso allarme antincendio ha attivato i protocolli di emergenza nell’unico datacenter di New York della società. E qui casca l’asino: per sicurezza, il sistema di raffreddamento è stato spento.
Per chi non mastica il gergo dei data center, significa che i server sono rimasti intrappolati in una scatola termica che stava diventando un forno a microonde in tempi record. La situazione era questo: temperatura che sale vertiginosamente, ventilazione ferma e il rischio costante che, al prossimo passo del protocollo, partissero gli sprinkler. Sì, parlo di quelli spruzzatori d’acqua che trasformano una sala server high-tech in un acquario molto costoso e molto corto.
Il team si è trovato a dover correre come dei pazzi per scollegare fisicamente ogni singolo cavo di alimentazione prima che l’acqua decidesse di fare il suo dovere. Un vero e proprio sprint verso l’autoconservazione hardware.
Certo, leggete queste cose e pensate subito: ‘Ma come è possibile che un’azienda di questo calibro abbia un singolo punto di fallimento così vulnerabile?’. È una domanda che sorge spontanea, specialmente per noi che siamo abituati a pensare in termini di ridondanza e alta disponibilità. Anche se, onestamente, quando parliamo di infrastrutture critiche, la geografia gioca un ruolo enorme e non tutto il mondo può permettersi di avere tre datacenter distribuiti su tre continenti diversi.
In Italia, dove spesso ci accontentiamo di infrastrutture che sembrano tenute insieme da nastro adesivo e preghiere, questa storia ci ricorda che la tecnologia più avanzata del mondo può essere messa in scacco da un pezzo di plastica difettoso e un po’ di troppa umidità. È un promemoria brutale: non importa quanto sia solido il tuo codice o quanto sia ottimizzato il tuo trading algorithm, se il hardware decide di andare in modalità ‘idromassaggio’, sei fregato.
Complimenti al team di Jane Street per aver evitato il disastro, ma la prossima volta magari un check più approfondito sui sensori non farebbe male. Un po’ di sano troubleshooting preventivo ci salva la pelle (e i server).
Source: A false smoke alarm almost drowned Jane Street's only NYC datacenter