信息服务行业跟踪报告：AI大模型时代来临成为重要行业门槛

GPT三号掀起了一波AI大模型，大模型下的参数量就是精度。大模型成为人工智能发展的新范式。据《麻省理工科技评论》和IEEE Computer报道，2020年，Open AI推出了其新的预训练模型GPT-3。与之前的型号相比，GPT 3号在数据量上实现了一个数量级的飞跃。模型中的参数数量从15亿增加到1750亿，用于训练的数据量从40GB增加到45TB。在算法几乎没有变化的情况下，GPT-3仅通过增加参数数量就实现了性能的飞跃:GPT-3可以自动生成文章，与人交流，甚至高精度地完成代码编写，仍然是最好的AI语言模型之一。在GPT-3巨大成功的推动下，人工智能开发者开始了大模型竞赛。目前谷歌的Switch-Transformer和GLaM分别有1万亿和1.2万亿的参数。在国内，北京致远人工智能研究所推出的启迪2.0，参数规模达1.75万亿元。对于AI模型，参数的多少决定了模型接受的训练量。模型的参数越多，可以从训练数据中提取的相关信息就越多，因此可以做出更准确的预测。

模型对算法和硬件提出了更高的要求，进一步提高了技术门槛。与传统的AI模型相比，大模型对相关算法和硬件设施的要求更高。一个大的模型要处理几千亿个参数，需要几百个独立的GPU来训练模型的神经网络，需要一个算法将所有的训练数据合理的分配在GPU之间，保证这些数据在正确的时间以正确的顺序使用。在开发AI大模型的时候，所有的AI厂商都在升级相应的算法和硬件设施，以保证模型能够吸收超大的参数。Google根据量子位百家，开发了LIMoE稀疏模型，在实现零样本学习的同时，大大降低了训练成本。为了保证大型号的顺利开发，厂商也在不断升级相关的硬件设施。我们认为，在未来的AI大模型开发中，支撑开发的算法和硬件设施的综合实力将成为重要的技术门槛，决定AI大模型规模的上限和实际的模型效果，成为AI厂商模型开发成功的关键因素。

风险:行业相关政策推动不及预期、前沿技术发展不及预期或应用效果不佳的风险。

郑重声明：此文内容为本网站转载企业宣传资讯，目的在于传播更多信息，与本站立场无关。仅供读者参考，并请自行核实相关内容。