Concepts
Concept

Distillation

La distillation, c'est quand on prend une grosse IA très intelligente et qu'on lui fait "enseigner" à une petite IA. La petite IA apprend en observant comment la grosse répond — pas juste les réponses finales, mais toute sa façon de raisonner. Le résultat : un modèle compact qui est presque aussi bon que le gros modèle, mais beaucoup plus rapide et moins cher à faire tourner. C'est comme ça que DeepSeek a créé des petits modèles très performants.