Tag: opendata

Présentation de Datalift au GFII

Le Groupement Français des Industries de l’Information organise mardi 13 décembre 2011 une journée d’étude sous le titre de « Introduction illustrée au web sémantique : réalités et perspectives » ?

Ce séminaire mettra en perspectives les principes du web sémantiques à partir de réalisations concrètes et de travaux de recherche. Il s’adresse aux professionnels de l’information, aussi bien producteurs d’information, éditeurs, gestionnaires et utilisateurs finaux.

Le projet Datalift sera présenté, notamment comme solution concrète de passage de l’Open Data au Linked Open Data, de la donnée brute à la donnée liée.

De plus en plus d’administrations et d’entreprises ont à prendre en compte des données hétérogènes, non normalisées, produites par des acteurs de leur écosystème proche comme lointain.

Dans ce contexte, le projet Datalift crée un système logiciel pour a) capter des jeux de données provenant de multiples sources internes et externes, notamment opendata b) les convertir à l’aide de vocabulaires (ontologies) c) afin d’obtenir leur équivalent exprimé dans les formats du web des données d) permettant alors leur enrichissement croisé et e) l’exploitation de cette nouvelle richesse.

Tout nouveau jeu de données bénéficient de ceux déjà « liftés » et ceux-ci bénéficient de tout nouveau jeu entrant. Datalift, c’est le cercle vertueux dans le web des données.


Opendata & Quality

Cela fait un tour de temps que je navigue et observe ce qui est mis en ligne sous le nom d’Opendata. Bien sûr, ce sont des données, bien sûr elles sont mises à disposition, bien sûr il y a souvent une fiche de méta données plus ou moins complètes, et il y a même des portails qui s’organisent pour les mettre en catalogue … bref ce sont là des ingrédients qui disent que ce sont bien des données publiques répondant aux exigences d’un cahier des charges.

Mais justement, parlons un peu de ce cahier des charges. Il y a comme une partie importante du problème qui est oubliée. Le jeu de données, le dataset, doit être intrinsèquement de qualité et cette qualité semble ne pas être clairement définie.

Aujourd’hui, le dataset est de mieux en mieux défini extérieurement. Il a un nom, des dates (création, mise(s) à jour, péremption), des acteurs de référence (créateur, diffuseur, administrateur, etc.), une typologie (format, domaines, etc.) … mais si on veut travailler avec autrement que manuellement, là, ça se complique. En effet, que sait-on de sa qualité interne ?

Or précisément, un bon dataset n’est-il pas fait pour être utiliser, pour permettre des nouveaux traitements, pour innover et servir à une entreprise, une organisation… Les gouvernements qui poussent à l’ouverture des données attendent qu’un développement économique effectivement en découle. Si les jeux de données ne sont pas exploitables, ou à des coûts trop élevés, ne risque t-on pas de perdre l’élan actuellement suscité ?

Par exemple, un fichier produit par un traitement de textes a peu de chance de servir à quelque chose dans un dispositif de traitement automatique sauf si on a déjà l’application faite juste pour ce fichier. Avec un fichier PDF, c’est pareil … En fait, les bons formats, on les connait mais ils sont encore trop peu utilisés dans la publication de jeux de données ;-( On a encore du chemin à faire avant de trouver quelques datasets dans les formats du web des données (en RDF, N3,Turtle…) De fait, actuellement, les développements réalisés sur la base de datasets opendata sont pour grande part des travaux spécifiques de conversion de données.

Un deuxième critère est l’utilisation d’un vocabulaire (ontologie) dans l’expression des données. C’est par ce moyen que les interconnexions de jeux de données deviennent possibles. (Pensez aux mashups).

Un autre critère de qualité des données est leur exactitude. Par exemple, dans l’étude toute récente réalisée par des étudiants de l’Ecole des Ponts, on peut lire que « les données sur le système
national de transports publics en Grande-Bretagne, mises en ligne en 2010, contenaient près de 6% de localisations d’arrêts de bus erronées ». Et ces inexactitudes n’ont pu être relevées que par des usagers.

Une autre qualité est la fraîcheur du dataset. Actuellement, nombre de jeux de données ne semblent être exposés qu’a des fins de test et leur données ne sont pas mises à jour. Que vaut un dataset sur les prix du carburant dans telle région quand il a plus d’un an d’âge ?

C’est grâce à des plateformes comme Datalift que les datasets actuels pourront être « élevés » pour devenir des objets du web des données. Le lifting des jeux de données permet en effet de satisfaire toutes ces exigences de qualité.

1 – Publier dans un format dédié au traitement automatique des données : la plateforme automatise les processus d’élévation dans des formats du web des données.

2 – Référer les données à un vocabulaire : les datasets contiennent des données, des valeurs. L’utilisation d’un vocabulaire (ontologie), c’est un peu comme donner une valeur avec son unité de mesure. Par exemple, c’est plus parlant de savoir que le « mur mesure 4m » plutôt que d’avoir seulement la valeur 4. La plateforme gère un catalogue de vocabulaires de référence.

3 – Distinguer les données : c’est par exemple permettre de s’assurer que deux applications parlent bien de la même chose quand elles désignent un objet. Techniquement, c’est l’utilisation d’URI.

4 – Vérifier l’exactitude des données : les datasets élevés dans des formats idoines peuvent être interconnectés et les incohérences peuvent être détectées (par exemple par inférence).

5 – Rafraîchir les données : c’est un disposant d’une plateforme automatisant le lifting qu’on peut mettre à jour facilement les datasets qui dans le cas contraire nécessiteraient des manipulations manuelles et donc longues et onéreuses.

La satisfaction de ces 5 qualités permet le passage effectif de l’Opendata au Linked Opendata.


Quelle autorité pourra porter l’Opendata international ?

Le mouvement est lancé, l’opendata commence à être compris d’un certain nombre d’acteurs de la scène publique. Au niveau d’une quarantaine de pays (voir mon post Opendata, une vision de la situation internationale), l’intérêt suscité se concrétise avec des réalisations plus ou moins significatives. Les plannings sont à peu près connus, et même si la crise frappe à nos portes, on travaille à mettre sur pied ce nouveau pan d’une économie imaginative et participée.

Or, il me paraît de plus en plus évident que nous avons besoin de croiser nos Opendata respectifs dans un vaste LinkedOpendata. Quelles sont les conditions de son émergence ?

a) Mettre en évidence et partager les bonnes pratiques

Un travail très intéressant est en cours sur le site https://checklists.opquast.com/opendata/workshop/. Je vous invite à participer.

b) Mettre au point les technologies de l’interconnexion

Je ne peux que recommander la recherche effectuée dans le projet Datalift.

c) Politiquement, ne faut-il pas aussi une méta-entité indépendante ?

Ca y est, je rêve … Thomas More aurait bien écrit une page là-dessus, non ? Sérieusement, peut-on penser que les datasets de valeur et portée internationale ne devraient pas être publiés de façon supranationale ? D’ailleurs, nous avons déjà un exemple … wikipedia et son alter ego dbpedia ! Pas de régulation autre qu’une autorégulation, une crowdregulation ? Avez-vous des modèles à proposer ?


Opendata, désordre d’URI ?

Dans mon post d’hier, j’ai collectionné les URL des sites où de nombreux états commencent à publier leurs datasets opendata. Si on regarde bien les règles de nommage de ces URL, on s’aperçoit que le « DATA.GOV » a fait école puisque l’Angleterre a suivi avec son « DATA.GOV.UK » lequel a fait école puisque on trouve désormais des « DATA.GOV.xx » où xx est le pays comme au, ma, md et sg.

Mais la grosse majorité a choisi de faire autrement. Dommage ! Cela aurait été une bonne façon de faciliter l’ouverture … Au lieu de cela, il faut avoir la bonne URL ou bien chercher, et cela peut prendre du temps.

Ce sont les URI qui ne vont pas y trouver leur compte, donc le Linked Open Data. Au moment d’ouvrir ses données, pourquoi il n’y a pas de réflexion sur la liaison des données ?


Opendata, une vision de la situation internationale

Difficile de dresser une carte internationale de l’Opendata, mais en fouillant bien … dans ce monde encore à organiser (vivement que Datalift soit opérationnel !), on peut réussir à extraire de quoi satisfaire la curiosité des ouvreurs de données et autres « philodates ».

Vous serez étonnés de voir certains pays être très en avance et d’autres à la traine …

Au 6 juillet 2011, voici ce que j’ai récolté. N’hésitez pas à m’envoyer des compléments et vos remarques !

  1. Allemagne ; 0 datasets – C’est la ville de Berlin qui avance le premier pion … on réfléchit
  2. Angleterre ; 5138 datasets primaires; 2012 datasets secondaires – Pionnier, après les Etats-Unis
  3. Australie ; 1240 datasets
  4. Autriche ; 0 datasets mais on en se prépare
  5. Canada ; 801 datasets
  6. Catalogne ; quelques datasets
  7. Danemark ; 0 datasets – et aussi http://data.digitaliser.dk/
  8. Espagne ; 0 datasets – voir aussi Catalogne et Pays basque
  9. Estonie ; 0 datasets – Le projet se met en place
  10. Etats-Unis ; 3301 datasets – Le pionnier !
  11. Finlande – Région d’Helsinki : 2011, un environnement de test ; 2012, ouverture du service
  12. France ; 0 datasets – On commence par Etalab … puis viendra data.gouv.fr – En France, ce sont les villes de Rennes et Paris qui ont exposé les premiers datasets
  13. Grèce Un premier effort pour libérer les données géospatiales disponibles
  14. Hong Kong ; 0 datasets – Annonce faite le 31 mars 2011
  15. Irlande ; 75 datasets
  16. Irlande du Nord ; 6 datasets
  17. Italie ; 220 datasets – et ses régions : Piémont ; 230 datasets ; Portail italien et Datasets italiens référencés
  18. Kénya ; 164 datasets
  19. Maroc ; 24 datasets
  20. Moldavie ; 132 datasets
  21. Norvège ; 11 datasets
  22. Nouvelle Zélande ; 594 datasets
  23. Pays basque ; 1630 datasets
  24. Pologne ; 0 datasets – Annonce le 9 juin 2011 du gouvernement polonais
  25. Russie ; 5 datasets
  26. Singapour ; 5978 datasets
  27. Suède ; 20 datasets
  28. Thaïlande ; 26 datasets
  29. Timor-Leste (oriental) ; manque d’info, mais il semble qu’il y ait déjà un projet

La réutilisation des données publiques, ça bouge

Le monde anglo-saxon s’est déjà engagé dans cette voie depuis quelques années. Tout le monde observe, on s’interroge. Les questions sont techniques, organisationnelles, économiques, normatives… et tout simplement pratiques.

Et il y a des réponses :

  • techniques : le web des données, l’open data, les bases non SQL, des projets comme Datalift, etc.
  • organisationnelles : la création d’agences, de portails comme Data Publica, etc.
  • économiques : pour l’instant, ce sont essentiellement les états qui financent, les réutilisateurs privés attendent du gratuit
  • normatives : le W3C a déjà produit un important travail
  • pratiques : les usages se cherchent encore, mais des mashups intéressants montrent des pistes prometteuses

En France, après l’APIE, nous avons depuis une semaine Etalab qui font suite à des initiatives locales avant-gardistes à Rennes et Paris. Ca bouge aussi à Nantes, Bordeaux, Toulouse, Marseille, Montpellier, Toulon, Le Havre …

Des conférences sont proposées sur le sujet par différentes organisations, comme par exemple :


Quelques données chiffrées sur des datasets du Linking Open Data

On me demande souvent des chiffres sur ces fameux datasets qui commencent à peupler le LOD (Linking Open Data). Voici donc quelques statistiques sur des ensembles de données disponibles :

Voici une requête SPARQL qui permet d’interroger le data.gov américain :

PREFIX rdf: <http://www.w3.org/1999/02/22-rdf-syntax-ns#>
SELECT ?g ?number_of_triples
WHERE
{GRAPH ?g
{
?s a <http://data-gov.tw.rpi.edu/2009/data-gov-twc.rdf#Dataset> .
?s <http://data-gov.tw.rpi.edu/2009/data-gov-twc.rdf#number_of_triples> ?number_of_triples.
filter ( regex( str(?g) , "Dataset") )
}
}
order by ?g

  • Catégories

  • Calendrier

    décembre 2017
    L M M J V S D
    « Oct    
     123
    45678910
    11121314151617
    18192021222324
    25262728293031
  • Archives

  • Copyright © 1996-2010 Blogabriel. All rights reserved.
    iDream theme by Templates Next | Powered by WordPress