Les données liées appartiennent au monde du web des données dont les dimensions, déjà énormes, ne cessent de croître à un rythme supérieur à celui qu’on a observé pour le web des documents. Pour répondre à cette explosion, des architectes se sont mis à l’oeuvre et il existe désormais des triplestores dont la capacité de stockage a dépassé 10 puissance 12 triples (les anglais parlent de trillion, on utilise aussi le préfixe téra).
Deux faits marquants sont à signaler:
- AllegroGraph en août 2011, il y a juste un an, a déclaré avoir atteint le Téra triple. Ce sont exactement 1.009.690.381.946 triples qui ont été chargé en 338 heures (14 jours et 2 heures), soit une moyenne de 0.83 millions de triples par seconde.
- La solution 5Store a aussi annoncé avoir franchi cette limite.
Lorsqu’on atteint de tels ordres de grandeur, les solutions ne sont plus classiques. On n’est plus tranquillement en train de télécharger un triple store open source sur son ordinateur personnel. Les infrastructures sont des architectures puissantes.
5Store a été conçu à partir de zéro pour des clusters pouvant aller jusqu’à 1000 machines et tenir à plus du Tt (Téra triple).
D’autres triplestores s’approchent. OWLIM prétend être capable de gérer de 10 à 100 de milliards de triplets (entre 0.01 Tt et 0.1 Tt). La société Ontotex écrit : « OWLIM-Enterprise is a replication cluster infrastructure based on OWLIM-SE. It offers industrial strength resilience and linearly scalable parallel query performance, with support for load-balancing and automatic fail-over. »
Dommage que la page du W3C consacrée aux grands triplestores ne soit pas mise à jour.