Déjà par ce que les données explosent dans toutes les organisations et qu’il n’est plus envisageable d’exploiter un système data en faisant des requêtes manuelles et autres extracts directement dans les systèmes source (d’autant plus que la plupart de nos clients en ont maintenant plusieurs) … pour aboutir à un fichier incompréhensible pour le commun des mortels avec des données non « préparées » ni prêtes à être analysées.

Nettoyer et rendre les données utiles prend un temps infini alors que l’on devrait consacrer sur l’analyse.
On pense d’ailleurs souvent que cette tâche relève du rôle des Data Analysts  ou des Data Scientists. En effet, 80% de la charge de la data science serait consacrée au nettoyage de donnée, un bel exemple de gaspillage de ressources…

On se trompe ! C’est d’un ingénieur data dont on a besoin, surtout si ces analyses sont récurrentes et reproductives par la suite.

Mathilde Girodon, Responsable des Ressources Humaines chez Harington

Concrètement, qu’est-ce que fait un spécialiste en ingénierie de la data ?

1.  Il utilise des API pour automatiser les flux de données des systèmes sources (même si les plateformes propriétaires ne lui facilitent pas la tâche car les éditeurs poussent à ce que vous réalisiez vos analytics dans leur solution)
2.  Il réorganise et redresse la structure des données pour qu’on puisse de manière plus intuitive les interroger et les utiliser dans la durée
3.  Il se concentre uniquement sur les données utiles et élimine les autres qui ne sont que sources de pollution et de consommation de ressources inutiles (stockage, performance, etc.)
4. Il nettoie les données (bon format notamment)
5. Il administre les data bases pour un stockage cohérent et optimisé
6. Il prend en charge l’automatisation des analyses récurrentes sur ces data bases
7. Il est charge de la sécurisation des données
8. Il est responsable du monitoring des coûts (technologies, outils, stockage)
9. Il est au service des utilisateurs qui en ont besoin (assistance, formation)

Sa mission intrinsèque ?

Comprendre ce dont on a exactement besoin, se concentrer sur ce qui utile et délivrer la solution la plus efficace en réponse.

Maintenant que l’ IA et le ML sont en train d’infuser la réalité opérationnelle et sortent des phases expérimentales chez nos clients, on reprend conscience à quel point la qualité des données en entrée est primordiale. Si vous injectez des données inutiles, vous n’aurez rien d’intelligent en sortie !

Vous êtes jeune diplômé avec une première expérience ou vous avez des compétences en data sur des technologies qui tendent à venir obsolètes ? Nous avons des projets très intéressants à vous proposer … qui n’attendent que vous  !
Rejoignez-nous, nous allons faire de vous un pro de l’ingénierie de la Data ! https://harington.fr/candidature-spontannee/

Source

https://www.silicon.fr/data-scientist-longue-penurie-annoncee-pour-un-nouveau-metier-87467.html