donderdag, februari 07, 2013

Big Data

Wat is Big Data?


De afgelopen dagen ben ik steeds meer gaan lezen over Big Data. Het leek me een leuk idee om de informatie die ik ontdekte in de vorm van een aantal blogberichten bij elkaar te brengen.
Wanneer je het begrip in typt kom je al in de getallen die je een idee geven wat Big Data is. ;-) Dat is ook een van de eerste opmerkingen die mij bijbleef toen ik een aantal blogs en berichten had gelezen.
Big Data= je maakt er iedere dag deel van uit.
De moderne maatschappij is volgestopt met sensoren die iedere minuut, ieder uur, iedere dag van het jaar data registreren waar gebruik van gemaakt wordt in analyse en voorspellingen.
Is dat iets om te vrezen? Ik weet het niet. In wat ik tot nu toe lees, zie ik vooral ook heel veel mooie beloften en toekomstige mogelijkheden.

Ik ga proberen met een aantal posts daar meer duidelijkheid voor mezelf in te krijgen.
Laten we eens beginnen bij het begin; Wat verstaan we onder het begrip "Big Data" ?

Van Wikipedia komt de volgende definitie;

"Big data usually includes data sets with sizes beyond the ability of commonly-used software tools to capturecurate, manage, and process the data within a tolerable elapsed time. Big data sizes are a constantly moving target, as of 2012 ranging from a few dozen terabytes to many petabytes of data in a single data set. With this difficulty, a new platform of "big data" tools has arisen to handle sensemaking over large quantities of data, as in the Apache Hadoop Big Data Platform.

Big Data bevat dus data sets die te groot zijn voor de standaard gebruikelijke software tools om te bevatten, te verwerken of te behandelen binnen een aanvaardbare tijd.

Een voorbeeld; iedere dag wordt er 2.5 quintillion bytes aan data gegenereerd, zo veel dat 90% van de data in de wereld gecreerd is in de laatste twee jaar alleen. (Op het moment van schrijven zullen deze getallen al achterhaald zijn.)
Deze data komt van alle kanten: sensoren die gebruikt worden om klimaat informatie te verzamelen, de berichten op sociale media sites, digitale foto's en video's, aankoop transacties informatie en GPS informatie van mobiele telefoons om een aantal te noemen.
Deze data is Big Data.