Une partie de votre responsabilité en tant qu'analyste de données est de vous assurer que vous disposez de données de qualité suffisante pour travailler.

Vous ne pouvez pas fabriquer un sac à main en soie avec l'oreille d'une truie

Vous avez constaté que vous ne disposiez pas de données de qualité adéquate sur lesquelles travailler, vous devez donc en informer votre responsable.

Je suis désolé, mais la qualité de ces données n'est pas suffisante pour que je puisse travailler avec une quelconque efficacité.

Donnez quelques exemples des raisons pour lesquelles il n'y a pas suffisamment de données pour que vous puissiez effectuer les recherches nécessaires et suggérez la ou les causes profondes, et indiquez les exigences minimales dont vous avez besoin pour répondre vos objectifs.

Il est possible qu'il y ait eu un échec de communication et que vous ne soyez censé traiter ce sous-ensemble de données que d'une manière spécifique. Cela semble peu probable, mais cela pourrait être le cas. Vous obtiendrez bientôt des éclaircissements lorsque vous signalez.

Il est peu probable que vous ayez des problèmes pour signaler à votre responsable ce qui bloque votre travail, à condition de décrire clairement les problèmes et de faire ce que vous peut identifier la cause du blocage.

Je ne sais pas comment dire à mon patron que les données sont insuffisantes et que je garde toujours mon travail. Des suggestions?

Réponse courte: Essayez votre modèle avec ces données d'abord , et s'il échoue après plusieurs tentatives, signalez-le le besoin de plus de ressources ou de données. Vous devrez toujours concevoir le modèle, vous pouvez donc commencer par cela et ajouter plus de données si nécessaire. Informez votre patron de vos inquiétudes avant de continuer.

Réponse plus longue: La meilleure façon serait de concevoir et de créer correctement votre modèle. Ensuite, évaluez et formez-le avec vos données actuelles.

Après cela, vous pourrez obtenir une sorte de corrélation ou efficacité de votre approche , ce qui probablement faible en raison de données insuffisantes.

Après cela, vous pouvez vous rapprocher de votre patron et lui dire "Hé patron, j'ai déjà construit et testé le Cependant, il semble que nous ayons obtenu des performances très faibles, et je soupçonne que cela est dû à des données d'entraînement insuffisantes, car j'ai déjà essayé [x, y, z]. "

Dans d'autres mots, essayez d'abord votre modèle, et s'il échoue en raison du peu de données, signalez de tels résultats , plutôt que de dire qu'il ne fonctionnera pas sans essayer. De cette façon, vous montrez réellement que vous avez essayé et cela confirme votre réclamation.

En tant qu'analyste de données, c'est souvent le cas lors de la création de modèles à partir de peu de données. Quels que soient les efforts et les améliorations que vous apportez au modèle ou à l'algorithme, plus de données est parfois le seul moyen d'améliorer vos performances (en particulier sur les modèles Deep Learning).

Une façon de démontrer empiriquement si les données sont suffisantes pour une analyse particulière consiste à effectuer une analyse de puissance pour calculer la taille minimale de l'échantillon nécessaire pour discerner un effet d'une ampleur donnée.

Passez en revue les résultats de l'analyse de pouvoir avec votre responsable et demandez-lui son avis sur la façon de procéder. Demander plutôt que dire vous met dans une position de collaboration pour résoudre un problème partagé au lieu d'une lutte de pouvoir (jeu de mots intentionnel). Comme l’a écrit l’un de mes anciens professeurs, Leland Wilkinson, dans Statistical Methods in Psychology Journals: «Même lorsque vous ne demandez pas d’argent, pensez au pouvoir. Le pouvoir statistique ne corrompe pas. "

D'abord, vous parlez du problème à votre patron. S'il vous dit d'aller de l'avant, vous générez tous vos graphiques et tableaux, y compris les intervalles de confiance. De cette façon, vos résultats sont corrects et montrent à quel point ils sont utiles (ou non).

Une deuxième étape, bien sûr, serait d'affiner le processus d'acquisition afin de produire de meilleurs résultats la prochaine fois. Pour mettre le pied dans cette porte, une représentation précise de ce que l'ensemble de données actuel gère ou ne parvient pas à fournir sera probablement essentielle.

Votre travail consiste à traiter les données. Une partie de cela est l'évaluation de la confiance. Si vous mettez des résultats tangibles et interprétables là-dessus plutôt que d'un "pas assez bon", les destinataires de votre analyse penseront que c'est leur propre verdict plutôt que le vôtre souhaitant de meilleures données.

Et s'ils ne le font pas ' t, vous n’êtes pas à blâmer.

Parfois, vous devez vous retirer d'un contrat. Mais ce n'est pas le résultat le plus probable ici.

En tant qu'entrepreneur et expert en la matière, il est de votre devoir de conseiller votre client sur la meilleure utilisation de votre temps, selon votre jugement professionnel.

Cela peut signifier réécrire la portée de votre contrat en cours de route. Vous devrez négocier le nouveau périmètre avec votre client. Bien que décevant et chronophage, c'est beaucoup plus satisfaisant que d'arriver à la fin du contrat et de livrer un rapport concluant qu'aucune hypothèse n'a été prouvée.

Voici un exemple de changement de votre portée du travail: vous voudrez peut-être utiliser votre expertise pour passer du temps à concevoir une meilleure enquête ou expérience. Ensuite, mettez votre contrat en pause pendant que quelqu'un d'autre collecte de nouvelles données. Enfin, votre client vous engage pour revenir plus tard pour analyser les nouvelles données (peut-être en vous payant un acompte ou une prime pour garantir un créneau horaire ou un délai particulier.)

Vous ne pouvez pas garantir qu'un ensemble de données sera jamais assez bon pour que vous puissiez générer un modèle satisfaisant (et vous ne pouvez pas garantir que vous utiliserez toujours les analyses les plus productives), mais vous pouvez prendre des mesures qui rendent ce résultat plus probable.