阿里研究院——预训练技术是AI突破口【浪潮信息】
admin2023-02-09 18:00:05139
阿里研究院的文章——
中国何时能有ChatGPT？“现象级”产品背后的AI技术发展与展望预训练技术（Pre-Trained Model）是人工智能研究的重要突破口。传统的研究方法中，标注成本一直是阻碍AI算法推向更大数据集合的障碍；预训练技术不依赖数据标注，就可以训练出一个大规模深度学习模型。全球AI团队选择儿童电视节目《芝麻街》中的木偶人物来命名各种新预训练算法，比如Elmo、Bert、Ernie等。
在对预训练模型的各种不同的技术评测中，算法性能展示了一个规律：数据规模越大、预训练模型参数越多，算法输出精度往往也越高。随着技术的突破，模型规模的不断增长，其展现出的能力潜力和丰富的应用场景激发了更多的企业和研究机构投身其中。超级模型除了可以消化更大规模的数据，也需要消耗更高的算力。
文中配图，预训练技术浪潮信息yuan1.0
结合浪潮信息自身就是做服务器的，模型+算力
