Avant de passer à l'introduction au Big Data, vous devez d'abord savoir
Qu'est-ce que les données?
Les quantités, caractères ou symboles sur lesquels des opérations sont effectuées par un ordinateur, qui peuvent être stockés et transmis sous forme de signaux électriques et enregistrés sur des supports d'enregistrement magnétiques, optiques ou mécaniques.
Maintenant, apprenons l'introduction du Big Data
Qu'est-ce que le Big Data?
Le Big Data est une collection de données dont le volume est énorme, mais qui croît de façon exponentielle avec le temps. Il s'agit de données d'une taille et d'une complexité si importantes qu'aucun des outils de gestion de données traditionnels ne peut les stocker ou les traiter efficacement. Le Big Data est aussi une donnée mais de taille énorme.
Dans ce tutoriel, vous apprendrez,
- Qu'est-ce que les données?
- Qu'est-ce que le Big Data?
- Exemples de Big Data
- Types de Big Data
- Caractéristiques du Big Data
- Avantages du traitement du Big Data
Exemples de Big Data
Voici quelques exemples de Big Data:
La Bourse de New York génère environ un téraoctet de nouvelles données commerciales par jour.
Des médias sociaux
La statistique montre que plus de 500 téraoctets de nouvelles données sont ingérés dans les bases de données du site de médias sociaux Facebook , chaque jour. Ces données sont principalement générées en termes de téléchargements de photos et de vidéos, d'échanges de messages, de commentaires, etc.
Un seul moteur Jet peut générer plus de 10 téraoctets de données en 30 minutes de vol. Avec plusieurs milliers de vols par jour, la génération de données atteint jusqu'à plusieurs pétaoctets.
Types de Big Data
Voici les types de Big Data:
- Structuré
- Non structuré
- Semi-structuré
Structuré
Toutes les données qui peuvent être stockées, consultées et traitées sous forme de format fixe sont qualifiées de données «structurées». Au fil du temps, les talents en informatique ont obtenu un plus grand succès dans le développement de techniques permettant de travailler avec ce type de données (dont le format est bien connu à l'avance) et d'en tirer une valeur. Cependant, de nos jours, nous prévoyons des problèmes lorsqu'une taille de ces données augmente considérablement, les tailles typiques sont dans la rage de plusieurs zettaoctets.
Savez-vous? 10 21 octets équivalent à 1 zettaoctet ou un milliard de téraoctets forment un zettaoctet .
En regardant ces chiffres, on peut facilement comprendre pourquoi le nom de Big Data est donné et imaginer les enjeux de son stockage et de son traitement.
Savez-vous? Les données stockées dans un système de gestion de base de données relationnelle sont un exemple de données «structurées» .
Exemples de données structurées
Une table 'Employee' dans une base de données est un exemple de données structurées
| Employee_ID | Nom de l'employé | Le genre | département | Salary_In_lacs |
|---|---|---|---|---|
| 2365 | Rajesh Kulkarni | Homme | La finance | 650000 |
| 3398 | Pratibha Joshi | Femme | Administrateur | 650000 |
| 7465 | Shushil Roy | Homme | Administrateur | 500 000 |
| 7500 | Shubhojit Das | Homme | La finance | 500 000 |
| 7699 | Priya Sane | Femme | La finance | 550000 |
Non structuré
Toutes les données dont la forme ou la structure sont inconnues sont classées comme données non structurées. En plus de leur taille énorme, les données non structurées posent de multiples défis en termes de traitement pour en tirer de la valeur. Un exemple typique de données non structurées est une source de données hétérogène contenant une combinaison de simples fichiers texte, images, vidéos, etc. ces données sont dans leur forme brute ou dans un format non structuré.
Exemples de données non structurées
Le résultat renvoyé par "Recherche Google"
Semi-structuré
Les données semi-structurées peuvent contenir les deux formes de données. Nous pouvons voir les données semi-structurées comme une forme structurée mais elles ne sont en fait pas définies avec par exemple une définition de table dans un SGBD relationnel. Un exemple de données semi-structurées est une donnée représentée dans un fichier XML.
Exemples de données semi-structurées
Données personnelles stockées dans un fichier XML
Prashant Rao Male 35 Seema R. Female 41 Satish Mane Male 29 Subrato Roy Male 26 Jeremiah J. Male 35
Croissance des données au fil des ans
Veuillez noter que les données d'application Web, qui ne sont pas structurées, se composent de fichiers journaux, de fichiers d'historique des transactions, etc. Les systèmes OLTP sont conçus pour fonctionner avec des données structurées dans lesquelles les données sont stockées dans des relations (tables).
Caractéristiques du Big Data
Les mégadonnées peuvent être décrites par les caractéristiques suivantes:
- Le volume
- Variété
- Rapidité
- Variabilité
(i) Volume - Le nom de Big Data lui-même est lié à une taille énorme. La taille des données joue un rôle très crucial dans la détermination de la valeur des données. En outre, le fait qu'une donnée particulière puisse réellement être considérée comme un Big Data ou non dépend du volume de données. Par conséquent, le `` volume '' est une caractéristique qui doit être prise en compte lors du traitement du Big Data.
(ii) Variété - Le prochain aspect du Big Data est sa variété .
La variété fait référence à des sources hétérogènes et à la nature des données, à la fois structurées et non structurées. Auparavant, les feuilles de calcul et les bases de données étaient les seules sources de données prises en compte par la plupart des applications. De nos jours, des données sous forme d'e-mails, de photos, de vidéos, de dispositifs de surveillance, de PDF, d'audio, etc. sont également prises en compte dans les applications d'analyse. Cette variété de données non structurées pose certains problèmes pour le stockage, l'extraction et l'analyse des données.
(iii) Vitesse - Le terme «vitesse» fait référence à la vitesse de génération des données. La vitesse à laquelle les données sont générées et traitées pour répondre aux demandes détermine le potentiel réel des données.
Big Data Velocity traite de la vitesse à laquelle les données arrivent à partir de sources telles que les processus métier, les journaux d'application, les réseaux et les sites de médias sociaux, les capteurs, les appareils mobiles, etc. Le flux de données est massif et continu.
(iv) Variabilité - Il s'agit de l'incohérence qui peut parfois être mise en évidence par les données, ce qui entrave le processus permettant de traiter et de gérer efficacement les données.
Avantages du traitement du Big Data
La capacité à traiter le Big Data apporte de multiples avantages, tels que:
- Les entreprises peuvent utiliser des informations externes lors de la prise de décisions
L'accès aux données sociales à partir des moteurs de recherche et des sites comme Facebook, Twitter permet aux organisations d'affiner leurs stratégies commerciales.
- Service client amélioré
Les systèmes traditionnels de rétroaction des clients sont remplacés par de nouveaux systèmes conçus avec les technologies Big Data. Dans ces nouveaux systèmes, le Big Data et les technologies de traitement du langage naturel sont utilisés pour lire et évaluer les réponses des consommateurs.
- Identification précoce du risque pour le produit / services, le cas échéant
- Meilleure efficacité opérationnelle
Les technologies Big Data peuvent être utilisées pour créer une zone de transit ou une zone d'atterrissage pour de nouvelles données avant d'identifier les données à déplacer vers l'entrepôt de données. De plus, une telle intégration des technologies Big Data et de l'entrepôt de données aide une organisation à décharger les données rarement consultées.
Résumé
- Définition du Big Data: Le Big Data est défini comme des données de grande taille. Bigdata est un terme utilisé pour décrire une collection de données de taille énorme mais qui croît de façon exponentielle avec le temps.
- Les exemples d'analyse Big Data incluent les bourses, les sites de médias sociaux, les moteurs à réaction, etc.
- Le Big Data peut être 1) structuré, 2) non structuré, 3) semi-structuré
- Le volume, la variété, la vitesse et la variabilité sont quelques caractéristiques du Big Data
- Un service client amélioré, une meilleure efficacité opérationnelle, une meilleure prise de décision sont quelques avantages de Bigdata