#Pre-training

Bij diep leren verwijst dit naar het trainen van een model met een grote hoeveelheid algemene data (bijv. hele tekstcorpora, grote afbeeldingsdatasets) voordat het gespecialiseerd wordt voor een specifieke taak. Hierdoor verwerft het model algemene kennis en features, wat de efficiëntie van daaropvolgende 'fine-tuning' verhoogt. Dit wordt geassocieerd met de fase van het verwerven van bestaande kennis in 'metafysisch leren'.