Fiches techniques pour les jeux de données

Résumé

Avant de déployer ce modèle d'apprentissage automatique, posez-vous la question : Savez-vous vraiment ce qu'il y a dans vos données d'entraînement ? Les « Fiches techniques pour les jeux de données » de Microsoft Research introduisent un cadre simple mais transformateur qui traite les jeux de données comme des composants électroniques—avec des fiches de spécifications complètes.

La motivation derrière les fiches techniques

L'industrie électronique a appris depuis longtemps que les composants ont besoin d'une documentation standardisée. Une fiche technique indique aux ingénieurs tout, de la plage de température de fonctionnement à la consommation d'énergie. La communauté ML, cependant, a largement fonctionné sans documentation équivalente pour les jeux de données.

Décomposition du cadre principal

Le cadre des fiches techniques organise la documentation autour de sept dimensions critiques :

• Motivation explore pourquoi le jeu de données a été créé, qui l'a financé et quels problèmes il était censé résoudre.
• Composition plonge dans ce qu'il y a réellement dans le jeu de données—types de données, nombre d'instances, relations entre les points de données.
• Processus de collecte documente comment les données ont été rassemblées, y compris les stratégies d'échantillonnage.
• Prétraitement capture chaque transformation appliquée aux données brutes.
• Utilisations indique explicitement les applications appropriées et met en évidence les cas d'utilisation qui seraient problématiques.
• Distribution couvre les licences, les contrôles d'accès et toute restriction.
• Maintenance aborde qui est responsable des mises à jour.