#Pré-entraînement

Dans l'apprentissage profond, cela fait référence à l'entraînement d'un modèle avec une grande quantité de données à usage général (par exemple, des corpus de texte entiers, de grands ensembles de données d'images) avant de le spécialiser pour une tâche spécifique. Cela permet au modèle d'acquérir des connaissances et des caractéristiques générales, améliorant l'efficacité du « fine-tuning » ultérieur. Cela est associé à l'étape d'acquisition des connaissances existantes dans l'« apprentissage métaphysique ».