近年來，基于無標注數據和自監督學習的預訓練大模型成為人工智能發展的新方向。該技術使用統一的模型和范式解決各類AI任務，打破了傳統技術對于大規模標注數據的依賴，顯著提升了AI模型的效果、通用性及泛化性。
我們在大模型上取得豐碩成果，提出了將多源豐富知識與海量異構數據相結合的知識增強大模型，顯著提升了大模型學習效率、效果和可解釋性。發布了全球首個知識增強千億大模型ERNIE 3.0 Titan，參數規模2600億，具備強大的語言理解和語言生成能力，在各類AI應用場景有很強的泛化性。此外，還在知識增強跨模態大模型、視覺大模型方面取得突破，研發了百億參數規模的中文跨模態生成模型 ERNIE-ViLG，視覺大模型VIMER-UFO等。文心大模型已通過飛槳深度學習平臺、百度智能云等賦能制造、能源、金融、通信、媒體、教育等各行各業。
工程研究中心將重點研發大規模知識獲取與構建、符號知識與預訓練神經網絡模型的融合方法、融合文本、視覺、語音、結構化等信息統一建模、知識增強大模型的可控與可信技術等方向，讓AI模型更加接近人類的理解、認知、推理和決策水平，成為AI應用底座，加速產業智能升級。