Skip to main content
Big Data

Définition, enjeux, technologies
Qu’est ce que le phénomène big data ?




                      Définition


                                        2
Accumulation sans
  fin de données
    numériques
           Gartner 2008
Mardi 22   Semaine européenne de l’Open Data | Pierre Evenou |   3
Liée à un contexte nouveau
                         + de produits, de documents


                                                                  +
                                                            d’applications
                                                             de services
                    +
              d’échanges,
            de transactions,
                de trafic                                       +
                                                          de terminaux,
                                                           de devices


                           + de clients, d’utilisateurs


               Tout est conservé !
Mardi 22   Semaine européenne de l’Open Data | Pierre Evenou |               4
Principales sources
                        Média et divertissements
                                    Santé
                             Sciences de la vie
                             Vidéo surveillance
                Transports, logistique, télécommunications




Mardi 22   Semaine européenne de l’Open Data | Pierre Evenou |   5
Des données différentes
           Structurées                        Non structurées




            Organisées ;                    Produites en temps réel ;
       Types prédéterminés ;                    En flots continus ;
      Relations bien connues ;          Méta taguées de façon disparate ;
       Accès transactionnel.               De sources très disparates.


Mardi 22    Semaine européenne de l’Open Data | Pierre Evenou |             6
3 caractéristiques




Mardi 22   Semaine européenne de l’Open Data | Pierre Evenou |   7
x 44 en 10 ans




                  Zo       Eo        Po       To        Go
                  1                  000      000       000
                            000

             25 000 000 000 000 000 000 de conteneurs (quatrillion)


Mardi 22   Semaine européenne de l’Open Data | Pierre Evenou |        8
Impacts sur les Data Centers.




      Pour les dix ans à
             venir
Mardi 22   Semaine européenne de l’Open Data | Pierre Evenou |   9
Big data  value
                                           Big
                          Une valeur statistique
                             Reporting
                            Data mining
                          Analyse prédictive




Mardi 22   Semaine européenne de l’Open Data | Pierre Evenou |   10
De nouvelles opportunités




 Marché en croissance de 40% d’ici 2015 (IDC) ;
 Stockage la progression de 61% ;
 Convergence Big Data & Cloud Computing ;
 Un nouveau métier : Data Scientist.


Mardi 22   Semaine européenne de l’Open Data | Pierre Evenou |   11
De nouveaux défis


                       Acquérir
               Sources multiples – Vélocité

                     Organiser
  Stockage – Passage à l’échelle – Performances

                      Analyser
     Fouille de données – Business intelligence

Mardi 22   Semaine européenne de l’Open Data | Pierre Evenou |   12
Tendances, concepts et produits




         Solutions technologiques
Enablers
       Hyperscale
       computing
            +
       commodity
        hardware


            Un datacenter en mode open source


Mardi 22   Semaine européenne de l’Open Data | Pierre Evenou |   14
Scale out storage
         SCALE UP                             SCALE OUT

             Nouvelles                                           Nouvelles
 Résea                           Ressources    Ressources
            Ressources                                           Ressources
    u
 inter
   ne                                                        Réseau externe
  (bus      Ressources           Ensemble de nœuds agissant comme système
   ou                                          de stockage
 mém
 oire)
            Ressources
                               •Plus extensible
                               •Plus performant
            Système
           de stockage         •Plus économique (-50 %)

Mardi 22   Semaine européenne de l’Open Data | Pierre Evenou |            15
NotOnlySQL
Bases de Données non relationnelles
Clé / valeur
Document
Colonne
Graphe
Adapté aux architectures distribuées
Fournit la tolérance aux pannes




Mardi 22    Semaine européenne de l’Open Data | Pierre Evenou |   16
Map Reduce
2004, Google - MapReduce: Simplified Data Processing on Large Cluster
Diviser les données traitées en parallèle (Map)
Combiner l’ensemble des résultats (Reduce)




Mardi 22   Semaine européenne de l’Open Data | Pierre Evenou |          17
Plateforme Big Data

           Une architecture unifiée




Mardi 22   Semaine européenne de l’Open Data | Pierre Evenou |   18
Dans tout ça




               L’open data
Données ouvertes
Données variables
Un volume potentiellement conséquent
Des mises à jour fréquentes
Une valeur liée à l’analyse




                  Data
                  Big
Mardi 22   Semaine européenne de l’Open Data | Pierre Evenou |   20
Exemple




                                                 Elastic
                                          Web
                                                  Map
                                          App    Reduce




Mardi 22   Semaine européenne de l’Open Data | Pierre Evenou |   21
Merci de votre attention


Mardi 22   Semaine européenne de l’Open Data | Pierre Evenou |   22