Disastro!

Sono qui a pensare, visto che altro non sono capace di fare, alla giornata di oggi nel lettuccio al calduccio, come direbbe qualcuno. Bhe è anche il caso di dire al calduccio visto che per essere al 15 di Agosto ci sono solo 18 gradi.. Già lo so, io sono quello che odia il caldo, ma un Agosto così piovoso fa schifo anche a me, soprattutto ora che in teoria dovrei iniziare a poter dormire la mattina, visto che sarei anche in ferie. Ho passato gli ultimi due mesi a non dormire praticamente un bel nulla, quindi ora vorrei rifarmi ma…. Stamane ore 08:47 suona il cellulare… ecchisaràmai??? Bhe Giulio dalla piscina: “Pronto ciao mi spiace disturbarti a quest’ora ma Cristiano mi ha detto di chiamare te! Senti abbiamo un problema abbiamo una piastrella di acqua in vasca… cosa devo fare?”
Io: “Bhe una piastrella di acqua in meno non è un problema, inizia a fare il resto che poi arrivo io”
Giulio: “Una piastrella è l’acqua che rimane in vasca..”
Io: “Scusa??? Resta una sola piastrella di acqua in vasca piccola?? E l’impianto com’è messo??”
Giulio: “Ma che vasca piccola?? In grande! Io non sono ancora sceso, ho chiamato subito”
Io: “Ok dammi 10 minuti e sono lì”
Arrivo in piscina e trovo ad attendermi Giulio e il barista, quest’ultimo continuava a fare delle battute stupide, insulse, inutili, idiote. Non aggiungo altro perchè non mi sembra assolutamente il caso. Bhe esco a vedere la vasca e, cazzo, non era uno scherzo, era veramente vuota… Guardo sotto nell’impianto e vedo che l’acqua arriva alla maniglia della porta. Pensate al soggiorno di casa vostra da 35 – 40 metri quadri con un metro e mezzo di acqua… Se state ridendo c’è poco da ridere, PUNTO!
Rientro con l’intenzione di chiamare i pompieri supplicandoli di venire a bere un po’ di acqua con noi e nel mentre arriva Linda raggiate di sole in una giornata grigia con l’intenzione di aprire ma la sua gioia viene subito messa a freno con la buonissimissima notizia. Pensate che con i pompieri sia andata meglio??? (Smettila di ridere tu!!) Bhe vi dico che per rispondere al 115 hanno fatto squillare il telefono solo 9 volte, e la risposta per tutta sincerità è stata: “Bhe siamo un po’ presi, ora provo a passare la chiamata a lecco, se non ci facciamo vivi in un paio di ore bhe provi a richiamarci”. Preso dallo sconforto inizio a pensare chi può venire a bere un po’ di acqua con noi… Nulla da fare idee ZERO. Alla fine mentre chiamo Tommaso, visto che la sera prima mi ha mandato un SMS con scritto “domani ci troviamo la piscina allagata” (sì sono molto vendicativo), mando Giulio a prendere una prima pompa ad immersione nella vasca piccola e iniziamo a posizionarla, la prolunga non ci arriva quindi… bhe iniziamo a fare un po’ di collegamenti volanti, prendiamo l’aspirafango e attacchiamo pure quello, prendiamo una terza pompa e usiamo pure quella… Cufff…  Nel frattempo il buon Tommaso, anche se lui smente tutto, con una certa gioia è andato a casina a prendersi la muta per andare a serrare qualche valvola che faceva tornare l’acqua dalla vasca all’impianto, vero Tommaso che è così?? Bhe dalle 10:00 alle 13:00 tra tubi di acqua e fili della corrente, siamo riusciti a vuotare l’impianto, appena vuoto abbiamo iniziato a riempire nuovamente la vasca, quindi abbiamo controllato che Alessandro è veramente bravo! L’isolamento del quadro elettrico ha tenuto perfettamente! Bravo Ale!! Chiamiamo il 115 per dire che ci eravamo arrangiati, e il tizio che ha risposto si è pure stupito che ho richiamato per far togliere la chiamata dalla coda… Ptfui che principiante! Proviamo i motori e scoraggiati, visto che la corrente saltava ad ogni tentativo di accensione ce ne siamo andati a pranzo… Per la precisione, altrimenti l’ingegnere si lamenta, siamo andati a fare merenda visto che erano ben le 15:00.
Tommaso: “Sergio ha detto che se lo chiamiamo c’è anche lui più tardi”
Io: “Ok, Dopo lo chiamo”
Tommaso: “Per che ora ci troviamo?”
Io: “Per le 16:30”
Tommaso: “Ok, a Sergio ho già mandato io un messaggio” Cuff… sono troppo stanco per essere cosi’ veloce..
Esco dalla piscina salgo in macchina e TRAK arriva una scarica di mail sul telefono del 24ore… La fame mi sta distruggendo, non riesco neppure a ragionare.. Faccio un salto a casa, trangugio una scodella di latte e caffè, arriva una chiamata da Massimiliano che mi chiede se anche io rilevo dei PacketLoss su Merate. La mia risposta è stata precisa. Sì sto andando in ufficio… Prendo la CC, per chi non la conoscesse è la mia C2 e vado in sala macchine. Sistemo il problema e visto che erano le 16:45 volo ancora una volta in piscina. Trovo Tommaso già cambiato, arriva Sergio e per ultimo Cristiano. Prendiamo la pompa di scorta e con non poca fatica la portiamo in vasca esterna grande! Tommaso la schiena come stà?? Montiamo la pompa con dei colpi di 24 sicuri e precisi e… fiu ora ci siamo… accendiamo la 2 che fortunatamente nel frattempo è asciugata ed è tornata a funzionare! Quindi ci dedichiamo ai problemi minori. Sostituzione della pompa dell’acido che era così ripiena di acqua che un uovo avrebbe avuto tanta invidia quanta sarebbe bastata per autocuocersi dalla rabbia. Anche il compressore non vuole saperne di funzionare quindi smonta tutto e in particolare il motore… Bhe anche il motore era pieno di acqua e visto che del 15 di Agosto si tratta meglio fare da sé! Smonta smonta asciuga asciuga e alla fine il buon Io rimette anche questo in sesto… Sono le 19:00 precise quindi meglio andare a docciarsi e fare un salto a prendere le 17 (Cazzo che rogna) pizze per la pseudopizzata in piscina…. Ore 23:30 la vasca è praticamente piena, io sono stanco morto, carico la macchina e dirigo verso casa… inizio a pensare alla giornata.. la stanchezza scompare il sonno segue la stanchezza. Devo fare gasolio dirigo verso il distributore. Gasolio fatto penso e decido di andare a fare un giretto. Vado Vado Vado i chilometri passano inesorabili, mi imbatto in un gatto che seduto davanti alla campana verde del vetro mi guarda. La luce degli abbaglianti della macchina fanno diventare gli occhi del gatto due lampadine in una via completamente buia a causa dei lampioni completamente spenti, presumo per il temporale. Guardo verso l’alto e vedo tutte le piante che gocciolano ancora acqua, abbasso gli occhi e noto tutti gli aghi dei pini sopra la mia testa sull’asfalto. Erano talmente tanti che l’asfalto non si vedeva proprio. Alla fine guardo il cruscotto e quindi l’orologio, inconsciamente realizzo che è SOOLO la una meno un quarto. Dirigo verso casa in tutta fretta. Metto la CC a nanna nel BOX. Entro in casa e di soppiatto, visto che tutti dormono, mi metto nel lettuccio. Spengo la luce. Inizio a pensare, la mente si affolla di pensieri di dormire non se ne parla per una notte ancora… passano 15 minuti, il nervoso sale e decido di googgolare un po’… Non so cheffare quindi alla fine mi metto a ripensare ancora una volta a questa giornata impietosa, decido di scriverla… Eccomi qui a pensare pensare pensare ….  Inutile dire che NON HO SONNO, più mi sforzo di non pensare e più penso bastaaaaaaaa……. 
Pensare….. cufff…. 

Sala Server 1

Scrivo questa cosa con un po’ di giorni di ritardo, ma non avevo la testa per farlo.

Tutto ha inizio ilgiorno Lunedì 16 Luglio 2007 quando alla sera dopo le 18:30 vengono spenti i server del sistema editoriale per predisporre le prese di corrente che doveveno servire per alimentare i nuovi macchinari IBM. Dopo il lavoro durato poco più di 30 minuti ci troviamo con dover infilare due prese CEI fornite con le PDU IBMda 32A (comunemente chiamate ciabatte) in due prese CEI da 16A. Già abbiamo scoperto questa cosa a lavoro ultimato dopo aver aperto per la prima volta gli scatoloni con i componenti. Umm..! A quel punto decidiamo di desistere e con la coda tra le gambe abbiamo rimandato il lavoro per adattare l’impianto elettrico al Lunedì dopo.

Lunedì 23 Luglio intorno al solito orario 18:30 circa arriva l’elettricista con il quale dopo aver fermato tutto per la seconda volta provvediamo al collegamento dei fili. Il lavoro è andato molto bene e in poco tempo eravamo nuovamente online. Ci salutiamo tutti con l’idea di riprendere l’installazione del giorno sucessivo con la webcam. Felici banchettiamo con un ottimo pezzo di Speck originale portato dal Guru Toso e sultardi rincasiamo.

Martedì 24 Luglio alle 09:00 con Sixty ci troviamo in sala server per provvedere al posizionamento della webcam. Alle 10 arrivano i tecnici per preparare i server. Dopo non poche peripezzie verso le 19 di sera ci troviamo con tutto quanto montato. Viene spento un server in produzione con la SAN e vengono messi nel nuovo armadio. Viene predisposta la SAN per il funzionamento a 4Gb/s ma alla riaccensione si è presentata come una serie di semafori impazziti. Dopo un po’ di debug con i dati sui dischi non backuppati decidiamo di mollare il colpo e nello sconforto piu’ totale riavviamo la produzione e andiamo a casa.

Mercoledì 25 uno dei due tecnici che ha pernottato dalle nostre parti ha provveduto all’installazione dei server funzionati e all’apertura di un guasto verso IBM per una mother board non funzionante in un server nuovo. L’installazione procede correttamente fino a sera.

Giovedì 26 Luglio arrivano i ragazzi che iniziano l’installazione di tutto il software almeno per i server funzionanti.

Venerdì 27 Luglio arriva il tecnico IBM che dopo un po’ di prove decide di strappare e sbattere la piastra madre in un angolo della sala server dicendo “tanto va al macero” e sostituircela con una funzionante.

Martedì 31 Luglio ritornano i ragazzi dell’hardware che finiscono le installazioni dei SO e poi organizzano l’aggiornamento dei firmware della SAN per poterla finalmnte utilizzare a 4Gb/s con anche l’aggiunta dei 10 dischi da 146GB FC. La giornata passa velocemente e come di consueto alle 18:30 iniziano i lavori “pericolosi”. Viene spenta la SAN e iniziano gli aggiornamenti. Primo OK, Secondo OK Terzo OK, Quarto KO… Ci gela il sangue codici di errore impossibili. Sembra che la macchina stia facendo qualche cosa ma in realtà non sta a fa nulla. La LUN piu’ importante è comunqe salva quella piu’ piccola in RAID1 è degradata. Il disco secondario comparee scompare come una delle due controller. Tentiamo diverse vie fino a quando decidiamo di strappare dalla SAN il disco che ci crea problemi nella speranza che la SAN stessa si accorga della scomparsa e inizi a utilizzare un disco di SPARE. Questa cosa non accade e dopo aver googolato e letto i manuali decidiamo didistruggere la seconda LUN che non doveva contenere nulla. Distruggiamo la LUN e dopo circa 2 ore di lavoro la macchina riparte sempre e solo a 2Gb/s se si mette a 4Gb/s diventa un semaforo. Riusciamo a inserire i 10 dischi FC che ci servono ad aggiornarli il firmware, a costruire le LUN le partizioni e a montare queste ultime sui server. Pronti per andarcene a casa siamo consapevoli che abbiamo fatto qualche passo avanti ma non siamo ancora del tutto happy.

Mercoledì 01 Agosto subito dopo l’arrivo dei ragazzi che seguono l’installazione hardware viene aperta la chiamata con IBM per la sostituzione del disco. Scorrono i minuti fino a che non iniziano a chiamare le redazioni che non trovano più i loro dati. Già sulla partizione che si pensava vuota vi erano 250GB di dati… Umm!!! Che Fare??? Nulla dati persi e la tristezza ci assale. Il disco risultava ancora in allarme e con uno dei ragazzi scendiamo in ServerFarm e estraiamo il disco. Do un occhio all’elettronica per capiere come era fatta e lo ripongo al suo posto.

Giovedì 02 Agosto alla mattina mi arriva un server con un disco SATA guasto lo prendo e lancio un programmino per il recupero dei dati. Questa volta il recupero non è andato a buon fine. Tuttavia mentre ero in attesa mi sono ricordato del disco in sala server. Controllando l’elettronica avevo visto che il controller FC era collegato al disco su un connettore SATA e mi sono ricordato anche che il disco era in RAID1 quindi con la copia esatta dei dati. A quel punto sono sceso in farm ho preso il disco, gli ho smontato l’adattatore FC e l’ho attaccato al pc SATA su cui stavo lavorando. Da lì a due minuti è arrivato Toso, l’ho esortato acontrollare il disco E della macchina in laboratorio e 30 secondi dopo mi è letteralmente saltato sulle spalle. 45 minuti dopo questa cosa erano ritornati i 250 GB di dati sulla SAN nella nuova partizione.

Potete trovare le foto del disco smontato a qusto link

A quest’altro link invece potete trovare il blog dell’installazione sysedit.tumblr.com

Le soluzioni dei problemi si trovano sempre nei dettagli. Bisogna saperli sfruttare con tanta creatività.

Ecco due video dei momenti salienti del lavoro!


Day 1 installazione nuovo armadio editoriale

Day 2 configurazione nuovi server editoriale

Reset Power Password HP

Dopo qualche prova ecco come resettare la Power Password dei portatili HP. Premettendo che anche smontando completamente il portatile sulla mother board non sono presenti jumper per tale scopo, ho provato a fare un po’ di prove ed ecco la soluzione.

– Staccare la batteria principale.

– Aprire il coperchio contenente la ram e la scheda wireless.

– Svitare le due viti tork presenti su un lato.

– Staccare il banco di ram accessibile dal fondo.

– Girare il pc, aprire il monitor e spostare le quattro levette tra i tasti FX.

– Alzare delicatamente la tastiera, scollegare il secondo banco di ram e la batteria del BIOS.

– Smontare il disco fisso.

– Lasciare il pc senza corrente per almeno una mezzora.

– Attaccare l’alimentatore.

– Accendere il pc senza hardware per un minuto.

– Spegnere, rimontare tutto (non dimenticate qualche pezzo).

– Riaccendere.

BIOS resettato!! Contenti???