I dati ci sono già. Il problema è che sono in sei posti diversi.
Un unico punto da cui leggere, aggiornato con la frequenza che serve davvero al processo.
Il lavoro di data integration non sposta i dati dai sistemi che li generano: li raccoglie con regolarità in un punto unico, li allinea e li rende coerenti. Da lì in avanti chiunque guardi lo stesso indicatore vede lo stesso numero.
È lo strato su cui poggia tutto il resto — previsioni, allarmi, risposte automatiche. Senza, il resto non sta in piedi.
Due modalità di raccolta, scelte per fonte
- Periodica:estrazioni programmate a intervalli definiti. Robusta, prevedibile nei consumi, semplice da ripetere quando qualcosa va storto. È la scelta corretta per la maggior parte dei casi aziendali.
- In tempo reale:cattura delle variazioni appena avvengono. Necessaria solo quando la latenza è un requisito di processo: allarmi operativi, disponibilità di magazzino, monitoraggio.
Superata una certa dimensione, gli aggiornamenti diventano incrementali: leggiamo solo le variazioni anziché ricaricare ogni notte l’intera tabella. Il vantaggio non è solo la velocità, è che il sistema sorgente non viene appesantito da interrogazioni pesanti in orario di lavoro.
Come sono organizzati i dati una volta arrivati
- Livello grezzo: copia fedele della sorgente, mai modificata. È la rete di sicurezza: se una regola di trasformazione si rivela sbagliata, si ricostruisce tutto il resto senza tornare a chiedere i dati ai sistemi.
- Livello normalizzato: dati puliti, tipizzati, deduplicati, con le chiavi allineate tra sistemi diversi. Qui vivono le regole di trasformazione, versionate come codice.
- Livello di consumo: viste e aggregati pronti per analisi, report e modelli, ottimizzati per chi legge.
Pipeline che si possono rilanciare senza paura
Evitiamo il proliferare di connessioni dirette tra sistemi: il numero di integrazioni cresce in modo esponenziale e ogni modifica si propaga ovunque. L’impianto di riferimento prevede un livello di mediazione che isola le peculiarità di ogni sistema, così che sostituire un applicativo impatti solo il suo connettore.
Dove serve disaccoppiamento tra i sistemi lavoriamo su eventi anziché su chiamate dirette, con garanzia di consegna e ordinamento. È ciò che permette a un sistema lento o temporaneamente indisponibile di non bloccare tutti gli altri.
Sicurezza e tracciabilità
Ogni caricamento ha un esito, una durata e un conteggio dei record attesi. Se una pipeline non gira, o gira producendo la metà dei record del solito, l’allarme parte prima che qualcuno se ne accorga da un report sbagliato.
Le esecuzioni sono ripetibili senza effetti collaterali: rilanciare il caricamento di una giornata è un’operazione ordinaria, non un intervento a rischio. È la differenza tra una pipeline che si gestisce e una che si teme di toccare.
Quando lo schema dei dati cambia
Una modifica innocua a monte — un campo rinominato, un tipo cambiato — è la causa più frequente di report sbagliati che nessuno nota per settimane. Per questo controlliamo la compatibilità degli schemi in ingresso: le aggiunte passano, le modifiche incompatibili vengono bloccate e segnalate prima di propagarsi a valle.
Dove i dati arrivano da un altro reparto o da un fornitore, definiamo per iscritto cosa contiene il flusso, con quale frequenza arriva e chi risponde se cambia. Rende le rotture un evento negoziato anziché una scoperta.