#325 – Crowdstrike rompe tutto

La puntata che state ascoltando non sarebbe dovuta essere questa, era già registrata e programmata perché l’idea era quella di andare a fare un fine settimana tra le vigne nelle Langhe a bagno in piscina o con le gambe sotto al tavolo.
Giovedì sera l’ho registrata e programmata.
Venerdì mattina sono andato a lavorare e mentre lavoravo leggevo le notizie, con gli occhi sgranati.
Venerdì sera, arrivato nelle Langhe, magico posto che dovreste visitare, mi sono mangiato le mani, per non avere la puntata per il più grande disservizio informatico di tutti i tempi.
Dopo una lauta cena in uno splendido posto ho deciso che questa puntata sarebbe dovuta uscire, quindi, dopo un altro lauto pranzo, eh, nelle Langhe si mangia molto bene, al posto di essere a bagno in piscina, sono qui a scrivere la puntata sul grande, enorme, disastroso problema generato da un aggiornamento di Crowdstrike sulle macchine Windows di mezzo mondo.

Come sempre, la premessa.
Questo è un podcast tecnico, ma per tutti. Vi racconto cosa è successo, con un po’ di dettagli, ma non troppi, per farli comprendere anche a chi non mastica di tecnologia in modo profondo, indirizzi di memoria e kernel, ma giusto per avere un’informazione dettagliata il giusto, rispetto ai giornali che hanno titolato che è stato un bug di Windows, cosa assolutamente non vera. O un attacco informatico, cosa altrettanto non vera.
Cos’è Crowsdtrike?
È un software o agent di sicurezza che fa parte di una suite di gestione macchine, client e server.
Diciamo tipo un antivirus installato su pc e server aziendali, ma un po’ più evoluto.
È un prodotto di una grande azienda che viene usato da clienti, tanti clienti, molti sono enormi multinazionali.
Per riassumere è installato su un numero enorme di macchine, PC e server.
Cosa succede quando un prodotto installato su tantissime macchine nel mondo ha un problema molto grosso? Generi un problema che si ricorderanno in molti in tutto il mondo.
Venerdì mattina presto, ora Europea, Crowdstrike ha eseguito un update.
Come per tutte le le suite di sicurezza, gli update vengono applicati in modo automatico su tutte le macchine il più in fretta possibile.
Questo, di solito, non viene fatto per gli update del sistema operativo, si installano prima su macchine non critiche, si vede se non hanno problemi e poi si fa il deploy su tutte le altre.
Il problema è che qui, forse, neanche il produttore ha fatto dei test, era venerdì e lanciato l’update, violando una delle sacre leggi dell’informatica: non si fanno deploy in produzione il venerdì.
Lo so, se sono definizioni di sicurezza, si fanno quando c’è bisogno di farle.
Un componente di questo aggiornamento aveva un bug, questo bug ha scatenato il crash delle macchine e il panico.
Per essere precisi, pare che il problema abbia coinvolto circa 8 milioni e mezzo di macchine, un po’ meno dell’1% delle macchine windows del Pianeta, evidentemente l’1% critico.
Ma ha fatto danni che tutti abbiamo visto.
In ogni computer la memoria è divisa in celle, per poter accedere a queste celle, ognuna di queste ha un indirizzo.
Quando sentite che una CPU è a 16, 32 o 64 bit, questa cosa vale per i più anziani, questi bit sono la grandezza del bus degli indirizzi della memoria, solitamente.
Se viene fatta una chiamata a un indirizzo non valido, il sistema operativo ha qualche problema, non può soddisfare la richiesta, se questo errore non è gestito l’applicazione crasha malamente e si chiude.
Il problema di alcuni componenti software, come gli antivirus, è che lavorano a livello più basso e fanno queste chiamate in modo non gestito e non controllato dal sistema operativo.
Voi che mangiate pane, assembler e registri delle CPU, perdonatemi, ho semplificato parecchio, ok?
Se uno di questi componenti fa una chiamata a una cella di memoria sbagliata, il sistema operativo non riesce a gestire questa chiamata errata e, al posto di far chiudere malamente l’app, il tutto si risolve in un kernel panic. In Windows questo si chiama BSOD, Blue Screen Of Death, Schermata Blu della Morte.
Il computer si schianta e si riavvia.
È una cosa che non deve succedere mai.
Quando succede, di solito, c’è un problema hardware o c’è un problema su un software che lavora molto in basso sul sistema operativo, un driver o un componente come quello di cui stiamo parlando.
Adesso immaginate che il componente corrotto, con la chiamata sbagliata, venga chiamato subito all’avvio del computer.
Abbiamo un bootloop, continui schermi blu.
Il computer parte, chiama il componente corrotto, fa la chiamata sbagliata, il computer crasha, si riavvia, per sempre.
Se questo componente viene installato in automatico su computer di aeroporti, linee aeree, banche, borse valori, server aziendali, computer dei dipendenti, ecco che abbiamo la giornata della schermata blu in tutto il mondo con fermo di molti servizi, perché in un mondo basato sui computer, se questi si schiantano, niente va più avanti.
Il primo che dice che era meglio quando si usava carta e penna viene gentilmente accompagnato alla porta.
La soluzione temporanea qual era?
Andare a cancellare dal registro di sistema la chiamata al file corrotto.
Ma come fai se il PC si riavvia continuamente?
Avviando in modalità provvisoria, così non viene caricato tutto il registro e hai modo di agire sul computer.
Ci sono alcuni problemi.
Il primo è che per usare la modalità provvisoria devi essere davanti al computer con tastiera e mouse, o con un sistema di controllo fisico remoto.
Il secondo è che, come molte aziende fanno ormai da tempo, se hai bitlocker attivo, devi anche decodificare il disco, prima di andare a modificare il registro, cosa non proprio agevole, se non ti sei attrezzato prima.
Microsoft, da parte sua, ha consigliato di reinstallare il PC, recuperandolo da un backup o di riavviare, sperando che il file non venga caricato, per caso, così da poter intervenire in fretta.
Detto sinceramente non so quante aziende, anche grosse, hanno backup completi di tutti i PC aziendali.
È la prima volta che succede che un prodotto di questo tipo ha mandato in crash i computer su cui era installato?
No, è successo molte altre volte, non in modo così pervasivo, ma per esempio nel 2010 McAfee creò un problema molto esteso su Windows XP.
Successe anche su altri sistemi operativi.
La differenza è solo, ok, “solo” tra virgolette, l’estensione del problema, vista la grande quantità e l’importanza di clienti di questa azienda di sicurezza.
Le domande che ci si pone adesso sono molte, tra queste sicuramente una è come mai sia scappato un file corrotto in un aggiornamento, senza che ce ne sia accorti.
Per i complottisti, la porta da cui uscire è sempre la stessa, questo deve essere chiaro.
Un’altra, che potrebbe avere degli studi interessanti, è come lavorare per gestire in modo semplice un rollback del sistema in tempi ragionevoli, quando il sistema è bloccato in un bootloop che non ti permette di fare niente.
Ce n’è ancora una, che verrà discussa in molte aule di tribunali, è quella relativa ai risarcimenti dei danni.
Da che mondo è mondo in tutte le licenze software, quelle che si accettano senza leggerle, è scritto in maiuscolo che il software è venduto così com’è e non c’è alcuna responsabilità sui danni arrecati dal software stesso. Avremo delle risposte nel tempo.
Ci potranno essere altri problemi di questo tipo? Sì, questo tipo di programmi, che lavora a livello di kernel, salta i controlli del sistema operativo e, se fa cose sbagliate, può mandare in crash le macchine, al momento non se ne esce.
L’ultima, ma non per chiudere la lunga lista, che potrebbe essere infinita, è che fine farà o ha fatto la persona o la catena di persone che hanno scritto, validato e approvato l’aggiornamento di quel file? Credo che questo resterà irrisolta.
Spero che tutte le persone bloccate negli aeroporti siano finalmente riuscite ad arrivare a destinazione.
Nel picco di problemi sugli USA praticamente non c’erano più aerei in volo, pazzesco.
E in Italia?
La finestra durante la quale è stato distribuito l’aggiornamento corrotto si è chiusa un po’ prima delle 8:30.
Tra i clienti con questo software sono stati impattati alcuni server e i pochi computer client di chi lavorava presto al mattino, alla fine un impatto meno pesante che negli Stati Uniti.
Il problema adesso è che si sa che c’è questo problema.
Girano già finti tool che dovrebbero risolverlo in modo facile e invece sono virus.
E soprattutto sicuramente ci saranno attacchi che sfruttano questa caratteristica del sistema, devono solo, di nuovo tra virgolette, riuscire a essere eseguiti allo stello livello degli antivirus e dei drivers

Pillole di Bit è un podcast gratuito da sempre e disponibile per tutti, ma realizzare un podcast ha dei costi in servizi, hardware e software.
Ma non solo, ha anche bisogno di un ritorno in soddisfazione per chi lo produce, settimana dopo settimana, da quasi 10 anni.
Per coprire costi e soddisfazione voi ascoltatori potete contribuire in modo pratico, mettendo mano al portafogli, con una donazione, che sia ogni tanto o un abbonamento mensile, dell’importo che volete, basato su quanto potete permettervi e quanto vale per voi la produzione e i contenuti delle puntate.
Ogni volta che vedo una notifica, sono contento, vuol dire che il mio lavoro ha generato un valore reale.
Potete farlo in modi diversi, tramite Satispay, Paypal o con il Value for Value, con le applicazioni che lo gestiscono, se volete più informazioni sul value 4 value potete fare riferimento alla puntata 297.
I più sinceri ringraziamenti vanno a chi ha voluto donare qualcosa in questa settimana, nel dettaglio
Gli abbonati
Giorgio
Edoardo
Ennio
Giovanni
Le donazioni spot
Federica
E chi usa il value for value
Federico
Oltre a donare direttamente, potete anche usare i link sponsorizzati, che a fronte di un vostro ordine, a me riconoscono una percentuale, come Amazon o uno dei migliori provider internet che potete trovare sul mercato: Ehiweb, per loro metto la mano sul fuoco, tutte le persone che si sono abbonate mi hanno dato feedback estremamente positivi.
E non dimenticatevi di parlar bene di Pillole di Bit a chi non lo conosce o a chi non sa dell’esistenza dei podcast.

Dal 20 al 22 Luglio 2001 a Genova ci fu il G8.
Dal 20 al 22 Luglio 2001 a Genova la Polizia fece delle cose terribili.
Amnesty International disse che in quei giorni ci fu “la più assurda sospensione dei diritti democratici in un paese occidentale dopo la II Guerra Mondiale”
Lo so che vi aspettavate qualcosa di digitale, come al solito. Oggi no.
Oggi vi consiglio un podcast che vi avevo già consigliato, ma che vale la pena di riascoltare o, se non lo conoscevate, vale tutto il tempo speso ad ascoltarlo, con attenzione. Limoni, di Internazionale.
8 puntate dove si racconta, dalla voce di chi c’era e di chi ha poi fatto indagini giornalistiche, cosa è successo durante e dopo quei giorni.
Fa male.
Ma ricordarlo e non dimenticarlo fa bene a tutti, perché certe cose non vanno mai dimenticate e Genova 2001 è una di queste.

Siamo arrivati alla fine di questa puntata di Pillole di bit, vi ricordo che tutti i link relativi alle cose dette sono nelle note, che trovate sulla vostre app o sul sito.
Io sono Francesco, produttore e voce di questo podcast e vi do appuntamento a lunedì prossimo, per la prossima puntata, disponibile su Feed RSS, o su tutte le piattaforme di podcast, vi registrate e la puntata vi arriva automagicamente.

Grazie per avermi ascoltato!

Ciao!