open data

Human Highway
Posted on 16 marzo 2015 by Giacomo Fusina

Open Data: i vincitori del concorso

Lo scorso 17 febbraio, DataMediaHub e Human Highway hanno indetto un concorso informale sull’analisi dei dati prodotti da UAC Meter nel mese di gennaio 2015. Il dataset è stato reso disponibile sul sito di Human Highway ed è stato scaricato 81 volte fino al 7 marzo, giorno di chiusura del concorso. I dati in esso contenuti si riferiscono a oltre 80mila articoli comparsi su 73 testate d’informazione online e per ogni articolo presentano URL, titolo e tag, data di pubblicazione e numero di condivisioni su quattro social network (Facebook, Twitter, Google Plus e LinkedIn).

Il lavoro più interessante è stato prodotto da Stefano Perna e da Pierluigi Vitale di Data Factory: il loro widget – prodotto con Tableau – si basa sull’idea della social sphere e mette in evidenza tutte le dimensioni presenti nel dataset, evidenziando in modo efficace gli articoli con il maggior numero di condivisioni. Inoltre, l’interattività del widget consente di individuare alcuni segmenti di notizie filtrando i risultati per parola chiave, testata, data di pubblicazione, social network e singolo articolo.

Si nota, tuttavia, un po’ ridondanza tra il ruolo social sphere complessiva e quelle dei singoli social e non è facile riconoscere molti degli elementi nelle sfere a causa della loro dimensione contenuta. Un notevole miglioramento dell’analisi sarebbe possibile se gli articoli fossero classificati in base al tema trattato, un arricchimento dei dati che Human Highway sta progettando di introdurre nelle prossime settimane.

Abbiamo chiesto a Stefano e Pierluigi di raccontarci l’approccio con il quale hanno prodotto il loro lavoro con tre domande.

[1] Quanto tempo avete impiegato per sviluppare il widget e quali difficoltà avete incontrato?
Il tempo impiegato nella produzione della visualizzazione è stato relativamente breve. Un paio di mattinate intense.
La difficoltà maggiore non è stata di tipo tecnico ma ideativo: trovare la forma visuale più adatta a semplificare l’accesso  e l’esplorazione di un numero così elevato di dati pur rispettandone la complessità e la profondità. Il tentativo era quello di produrre un output che risultasse allo stesso tempo leggibile, esplorabile ed anche accattivante e che inoltre lasciasse al fruitore un’ampia gamma di percorsi di lettura.

[2] Il risultato finale di un lavoro di questo tipo è frutto di un’idea iniziale o emerge man mano che metti “la testa e le mani” sui dati?
In questo caso specifico hanno funzionato entrambi gli approcci. Da un lato questa visualizzazione contiene un’idea di design dei dati su cui eravamo già al lavoro, una modalità in grado di rispecchiare visivamente la concezione dei social media come ecosistemi. Dall’altro, lavorando concretamente sui dati e iniziando a prenderci confidenza, la forma ha iniziato a emergere attraverso una serie di iterazioni. Diciamo che si è trattato di una sintesi tra le due modalità: un’idea/guida visiva e una tipologia di dati che si prestavano particolarmente bene per far emergere forme di quel tipo.

[3] Su quali temi e quali dati vi piacerebbe lavorare?
Lavoriamo quotidianamente su tutto quanto è possibile estrarre dai social media e dal Web in generale. E’ un’inesauribile fonte di ispirazione e di spunti di ricerca. Senza escludere l’universo dischiuso dagli OpenData, un vero e proprio big bang. Da appassionati analisti e designer dei dati, ci piace accogliere nuove sfide che ci consentano di “cartografare” la complessità.

promesse
Posted on 7 gennaio 2015 by Andrea Nelson Mauro

La vera storia di Soldipubblici.gov.it

Il Governo Renzi ha pubblicato il nuovo sito Soldipubblici.gov.it. L’iniziativa è stata lanciata in diretta tv dal premier Matteo Renzi intervistato a CheTempoCheFa: ciascuno di noi può cercare sul sito quanto spende la Pubblica amministrazione e per cosa, pur essendo partito un po’ zoppicante dopo la mezza gaffe di Renzi che si era fatto “rubare” il dominio (sempre in diretta tv). In sostanza il sito mostra i dati di SIOPE, un grande database creato sotto l’egida della Ragioneria dello Stato, con l’obiettivo di monitorare/catalogare/uniformare le voci di spesa della Pubblica Amministrazione.

I retroscena…

Entrambi gli aspetti sono stati sviscerati su Spaghetti Open Data – comunità della quale faccio parte – da Alberto Cottica e Giovanni Menduni, prevalentemente in queste tre discussioni (prima, seconda e terza). In estrema sintesi (ma per completezza consiglio di leggere le varie discussioni qui linkate), Renzi chiede a Riccardo Luna (che è anche Digital Champion) di emulare l’esperienza già fatta con OpenExpo. OpenExpo è promosso però da Wikitalia, associazione della quale Luna è presidente. Luna risponde: «Va bene, ma non coinvolgiamo Wikitalia», verosimilmente per scongiurare il potenziale conflitto di interessi. Nasce così il progetto Soldipubblici, realizzato da Agenzia per l’Italia Digitale (AGID) e in collaborazione con Banca d’Italia e Siope (ne parla anche Alessandra Poggiani, a capo di Agid, in un’intervista su Europa Quotidiano)

… e il Making Of

Il team di OpenExpo viene coinvolto per fare Soldipubblici.gov.it e il sito nasce più o meno ufficialmente il 21 dicembre 2014. Se ne occupa Giovanni Menduni(a lui si deve il titolo di questo post), che coordina i lavori e su Spaghetti Open Data spiega i dettagli (inserisco i punti a mio giudizio salienti, l’elenco completo è qui):


1. SIOPE viene messo in piedi 8 anni fa come tool interno della RGS per il controllo della cassa. Dati chiusi, dati degli enti locali, niente dati delle amministrazioni centrali, che si controllano già e direttamente senza bisogno di una piattaforma unitaria. Mentre gli altri no.

4. Il criterio è di “aggiornamento continuo” per cui i dati oscillano per le rettifiche che arrivano in maniera abbastanza frequente dagli enti periferici.

6. il buon Delrio, a luglio 2014 e con un colpo di mano, riesce a imporre l’apertura dei dati di SIOPE, provocando più di qualche mal di pancia (così mi dicono) nella ragioneria. Non così per la Banca di Italia dove (per quello che ho visto) la cultura è diversa e più operativa e aperta. E’ questa la base di soldipubblici.gov.it che, secondo noi che lo abbiamo pensato, non è un colpo di teatro, la genialata del momento, il tweet del giorno, ma lo step di un percorso faticoso, duro e ordinato sullo spazio di almeno due anni.

12. … si sta lavorando con economisti, statistici e dipartimenti universitari per capire cosa ha senso e cosa non ha senso comparare. Per non dire (scusate l’inglesismo) cazzate. Cosa invece estremamente semplice in questi casi.

Vale la pena leggere tutto l’interverno di Menduni e anche l’integrazione con repliche ad alcune domande.

Ma i dati sono corretti oppure no?

“La seconda che hai detto”, commenterebbe Quelo. Sull’attendibilità di questi dati ci sono varie perplessità (nel mio piccolo, è questo il motivo per il quale personalmente non li ho ancora utilizzati).

  • Innanzitutto sono parziali: mancano appunto i dati sui Ministeri
  • Non è detto che siano corretti, anzi tutt’altro. Menduni stesso dice: «Il criterio è di “aggiornamento continuo” per cui i dati oscillano per le rettifiche che arrivano in maniera abbastanza frequente dagli enti periferici». A me basta questa frase per girare al largo :)
  • Vittorio Alvino di OpenPolis su Spaghetti OpenData scrive: «Intanto volevo segnalare il calcolo equivoco proposto in home page: € 23.672.215.931,08 Sono tutti i pagamenti di regioni, comuni e province riferiti a novembre 2014. € 6.967.005.874,69 € 116,36 PRO CAPITE
    Sono i pagamenti di tutte le regioni riferiti a novembre 2014. € 6.089.194.897,33, € 101,70 PRO CAPITE Sono i pagamenti di tutti i comuni riferiti a novembre 2014. Per cui se uno fa la differenza ne deduce che: € 10.616.015.159,06 Sono i pagamenti di tutti le province riferiti a novembre 2014. Ma mi pare che così non sia e che invece il totale includa anche la sanità o sbaglio?…».
  • I dati non sono granulari, e cito una discussione sul wall di Andrea Iannuzzi, che giustamente fa notare come il progetto non supera la cosidetta “Prova siringhe” (qui il thread)
  • Conclusioni

    La Pubblica Amministrazione è affetta da smania di perfezione procedurale/burocratica: il progetto Soldipubblici rompe un po’ questo schema, andando online pur non essendo di fatto completo
    Esiste oggi un “ponte” tra civismo e Governo: è rappresentato da Riccardo Luna e l’associazione Wikitalia: è un percorso che può essere criticato, ma rappresenta comunque un’opportunità di innovazione nella PA.
    Siamo comunque anni luce avanti rispetto anche solo al passato recente: per quanto criticabile, il percorso di apertura delle informazioni è cominciato ed è già un mezzo miracolo che in Italia a livello governativo esista una qualche sensibilità sul tema.
    Sul sito è stata pubblicata una Faq (qualche giorno dopo la pubblicazione) per spiegare meglio i dati e le modalità di consultazione. La trovate qui
    Sia Soldipubblici sia OpenExpo sono progetti realizzati gratuitamente a detta dei loro rispettivi autori (per Soldipubblici è stato pubblicato nei giorni successivi un disclaimer in cui si parla di circa 45mila Euro spesi per collaborazioni esterne) soldipubbliciquantochiecosa: è normale che un Governo basi la propria azione/comunicazione sulla trasparenza su progetti di volontariato? Sicuramente è assurdo che progetti come questi vengano costruiti gratis per la Pubblica Amministrazione (anche l’incarico di Luna come Digital Champion è senza stipendio).
    L’uomo della strada, il cittadino – ma anche l’addetto ai lavori – che non legge le discussioni su Spaghetti Open Data (e a questo punto anche Datamediahub) dove trova tutte queste informazioni di dettaglio sul progetto? Questo è un (piccolo?) fail di comunicazione.
    Il sito Soldipubblici contiene i dati sulle amministrazioni locali (Regioni, Province, Comuni) ma non sui Ministeri: bisognava cominciare da qualche parte, si dirà, ma siamo sicuri che non includere dall’inizio i dati dei Ministeri sia stata una scelta giusta? Per me no (e su questo cito un post di Leonardo Nesti)
    Quali sono i prossimi step? Se il progetto è un work in progress (a mio giudizio, cosa buona e giusta) sarebbe però il caso di spiegare quali saranno i passaggi successivi, cosa verrò implementato, quando e perché, magari includendo un luogo di discussione/suggerimento per eventuali interessati che vogliono contribuire.

    L’immagine di copertina di questo post è di Massimo Gentile, il visionario illustratore del gruppo di lavoro di Datamediahub :)

    Posted on 27 maggio 2012 by Pier Luca Santoro

    Data Journalism & Trasparenza dei Partiti

    I dati sono un bene pubblico, sia, come spiega Enrico Grazzini, nell’ interpretazione che ne danno gli economisti di “common”, di una risorsa condivisa che dovrebbe essere gestita dalla comunità di riferimento,  che nella versione fornita dai giuristi [soprattutto in Italia] per i quali il bene comune è invece un diritto universale.

    Da entrambe le prospettive dunque, il data journalism rappresenta elemento di grande rilevanza per la società e processo di narrazione giornalistica della realtà, metodologia di lavoro che guarda alla cultura open e ai valori sui quali questa si poggia – trasparenza, collaborazione e partecipazione – per riconquistare credibilità e fiducia da parte dei lettori.

    Dopo i recenti scandali che hanno coinvolto Luigi Lusi e Francesco Belsito con il Parlamento che obtorto collo discute sui rimborsi elettorali, la segnalazione di Mauro Munafò mi ha particolarmente interessato.

    [tweet https://twitter.com/mauromunafo/status/206002947384025089 align=’center’ lang=’it’]

    Il giornalista ha realizzato per «l’Espresso» l’inchiesta “Partiti Trasparenti”, fornendo sia i documenti originali della gestione dei principali movimenti, documenti che nella maggior parte dei casi non è possibile leggere neppure nei portali dei partiti stessi, che rielaborando i dati principali di entrate, spese e donazioni per realizzare tabelle e infografiche attraverso le quali confrontare i conti delle formazioni politiche principali, rendendo disponibili tutti gli elementi faticosamente raccolti in open data.

    Un lavoro davvero di grande attualità ed interesse che mi ha spinto ad approfondire ulteriormente con una intervista a Mauro Munafò su motivazioni e dettagli di quanto svolto. Qui di seguito il testo.

    D: Per prima cosa, oltre a quello che è scritto nel sito, mi piacerebbe capire come è stato fatto il lavoro.

    R: Il come è piuttosto semplice: ho preso i pdf dei bilanci dei partiti pubblicati dal supplemento di ottobre della Gazzetta Ufficiale. Pdf che non sono più disponibili gratuitamente perché la consultazione gratuita della GU online dura solo 60 giorni. Una volta trovati i pdf, manualmente ho ricompilato dei file Excel dei conti economici dei principali 7 partiti. Da questi ho poi generato i grafici utilizzando Tableau Software e Google Chart. E su Google doc ho rilasciato gli open data dei conti economici dei partiti, mentre sul sito si possono scaricare anche i pdf originali [dove ci sono i rendiconti e le note, molto importanti da leggere e che in parte sono state incluse nelle pagine]

    D: Quali le motivazioni, perchè hai deciso di fare questa indagine.

    R: Il perché è semplice: si parla tanto di trasparenza dei partiti e nella maggior parte dei casi non ci sono neppure i bilanci sui siti. Ho voluto costruire un sistema che permettesse almeno una prima consultazione di dati tanto importanti. Per scavare più a fondo serviranno delle nuove leggi che sono al momento in discussione. Diciamo che questo è un primo passo che vuole anche mostrare ai partiti che i pdf da soli non servono a molto.

    In passato ho creato altri progetti [puoi vederli su  http://www.lamacchinadelfungo.com/], e mi interesso molto al tema del datajournalism. Al momento lavoro per «L’Espresso» e sono riuscito a coniugare in questa circostanza la mia passione per l’opendata e l’interesse informativo della testata per cui lavoro.

    D: Quanto tempo ti ha richiesto portare a compimento il progetto? L’hai fatto tu da solo o in collaborazione con qualcun altro?

    R: Circa una settimana di lavoro in solitaria. Fatta sia di ricompilazioni, sia di ricerca dei documenti, sia di realizzazione delle infografiche varie e dei testi. Il Visual Desk del gruppo L’Espresso invece è stato fondamentale nella realizzazione di un minisito ad hoc per il progetto.

    D: Quanto sono affidabili/veritieri i bilanci pubblicati secondo te?

    R: Bella domanda e risposta difficilissima. I problemi sono di vario tipo. Innanzitutto anche se i bilanci fossero corretti, le note a corredo forniscono spesso un dettaglio non sufficiente delle voci di spesa: dire che si spendono 10 milioni in “oneri vari” che cosa vuol dire? Servirebbero dei resoconti più dettagliati e spesso i bilanci non lo forniscono o lo forniscono in modi differenti.

    Altro problema: ogni partito compila il bilancio a modo suo e ti faccio un esempio. I famosi rimborsi elettorali prevedono una rata che ogni anno viene versata ai partiti. Il problema è che alcuni partiti mettono tutta la quota [fatta di 5 rate] nel conto annuale, mentre altri mettono solo una singola rata. Potrei elencarti decine di casi di mancata trasparenza, legati spesso al problema che i partiti italiani hanno vita brevissima: Pdl e Pd non esistevano neppure qualche anno fa e quindi i loro bilanci a volte presentano mancanze o debiti collegati ai partiti fondatori. Il pdl nel 2010 ad esempio pagava pochissimo di stipendi perché probabilmente il personale era ancora contrattualizzato da Forza Italia.

    Sulla correttezza “legale” dei bilanci credo che la magistratura abbia detto molto. Il problema è che questi bilanci possono essere compilati in maniera talmente generica che trovare delle magagne leggendoli è molto complicato.

    Detto ciò, anche questi bilanci presentano tonnellate di dati che nessuno conosce e che quindi è già un significativo passo avanti condividere con i lettori.

    Al di là dei dettagli, consultabili sul minisito realizzato ad hoc, emergono fondamentalmente due aspetti.

    La trasparenza dei partiti dovrebbe essere IL tema dominante del dibattito in corso sulle ipotesi di revisione dei finanziamenti e non argomento accessorio poichè, come dimostra l’indagine e gli approfondimenti forniti dall’intervista, ad oggi, al di là delle dichiarazioni di circostanza, ben poco, o nulla, viene fatto su questo fronte.

    Il futuro, anche nel giornalismo, è di chi non ha paura di sporcarsi le mani. Grazie a Mauro Munafò per averlo fatto.

    Posted on 19 aprile 2011 by Pier Luca Santoro

    Dove Vanno i Nostri Euro

    Datablog, spazio del Guardian dedicato al data journalism, la cui metodologia di lavoro costituisce un punto di riferimento, riprende stamani il lavoro svolto da Open Spending sulla distribuzione della spesa pubblica in Italia.

    Grafica interattiva ed una serie storica di dati degli ultimi 12 anni per sapere dove vanno i nostri euro.

    Update: Correttamente, su FriendFeed, l’amico Gaspar Torriero segnala che dalle voci manca  la spesa per il servizio del debito pubblico, che rappresenta più del 40% della spesa totale.

    A margine, si segnala l’importante lavoro svolto da Gigi Cogo, insieme ad un gruppo di professionisti ed amici, in prima linea nella battaglia per l’open data nella pubblica amministrazione.

    Posted on 3 gennaio 2011 by Pier Luca Santoro

    Regali d’Autore

    Undici libri, 11 e-books, pubblicati sotto licenza Creative Commons gratuitamente scaricabili dal sito di OWNI.fr .

    I temi proposti sono tutti di grandissima attualità.

    Si va dalla ricerca sociale su Facebook e Twitter al Data Journalism passando per la “Contro-Storia” di Internet e  l’ Open Data.

    Imperdibili!

    Vai alla barra degli strumenti