奔向大模型时代 第一期掘金城市沙龙「 AIGC 技术探索与应用创新」成功举办

4 月 13 日,由稀土掘金技术社区和 Intel 联合主办的 2023 第一期掘金城市沙龙「 AIGC 技术探索与应用创新」在北京成功举办。本期沙龙聚焦时下最热的科技话题——AIGC,通过线上线下联动,从“技术”和“应用”双视角探索 AIGC 爆发式繁荣背后“算力、算法、数据”三大底层能力建设,畅想未来新的产业结构样态与应用创新形式的可能性,在行业内引发热烈反响。

本期沙龙分为大咖分享和圆桌 Panel 两大议程,沙龙现场英特尔 AI 软件工程师杨亦诚、字节跳动 NLP 算法工程师陈家泽、Google Cloud 机器学习专家王顺、清华大学 KEG 知识工程实验室研究助理郑勤锴、九合创投投资副总裁王逸飞、稀土掘金江昪一一带来精彩观点,同大家一道迎接“未来已来,将至未至”的 AIGC 时代。

AIGC 的底层逻辑:以大模型为“道”,衍生万物

ChatGPT 爆火,引发中国互联网科技圈对多模态大模型的关注。在国内,大模型市场更是开始躁动起来了,文心一言、盘古、通义千问、日日新SenseNova......可以说,从算力到应用,人工智能领域在大模型赛道上已然按下快捷键。然而,大模型仍处于从实验室走向大规模商业化的早期阶段,存在核心技术不成熟,生态系统不健全,且成熟落地场景较少等问题。

英特尔 AI 软件工程师杨亦诚也表示,基于“大算力”和“强算法”两大显著特点,AIGC 类的大模型不仅从算力维度给产业带来新的技术挑战,更从商业模型上带来了突破和变革,可以预见模型服务化势必成为人工智能企业未来的核心商业模式。

尽管视觉相关的 AIGC 领域发展很猛,但是文本仍是 AIGC 中最重要的一环,是连接不同模态内容的重要媒介。字节跳动 NLP 算法工程师陈家泽表示,文本生成技术发展至今,从 Encoder Decoder 结构的第一次变革,之后各种文本生成的应用如同雨后春笋般被提出,到 GPT 结构的发展,整体文本生成范式发生演进,过程中带来更多的可能性,同时也面临非常多的挑战,比如数据隐私和安全的要求越来越高,模型需要具有高可靠性和透明度等等。

同时,随着高质量 AIGC 的大规模普及,千亿规模大模型的训练不再高不可攀。Google Cloud 机器学习专家王顺也介绍到,Google不断推出的 LaMDA、Imagen、PaLM、Parti 等生成任务大模型也打磨出了 PAX 这种轻松训练千亿规模参数的大模型框架,随着 Cloud TPU v4 对外部客户的 GA, 您也可以在 Google Cloud 上轻松训练一个属于自己的千亿参数大模型。

在代码生成的场景中,清华大学 KEG 知识工程实验室研究助理郑勤锴介绍,CodeGeeX正在成为 Github Copilot 的平替,未来绝大多数代码都将由AI驱动产生,每个开发者都需要寻找成为 AI2.0 程序员的路径。

AI 的 iPhone 时刻:内卷的大模型,拥抱变化的开发者

AIGC 大模型的参数天花板在哪里?人工智能是否会取代重复性劳动......面对这些问题,作为圆桌主持人,稀土掘金江昪与一众嘉宾专家从技术、商业模式、创新等视角,探讨人类之于 AI 以及 AIGC 自身下一步怎么走?

随着自然语言处理与扩散模型的发展,未来的 AIGC 必然具有极高接近性与创造力。也因此,英伟达CEO黄仁勋四度使用“iPhone时刻”,来形容AI当下的发展。清华大学 KEG 知识工程实验室研究助理郑勤锴也表示,AI 带来了交互方式上的变革,极大地提高人们使用各种工具的效率。

2020 年,OpenAI 提出了大模型的缩放法则,也就是说增大参数规模可以极大提升模型性能,由此进入了炼大模型的“狂飙”时代。而相比于 GPT-3 模型 1750 亿参数量而言,关于 GPT-4 模型参数量在业界引发持续性猜想。可以确定的是,目前模型的参数量远未到达瓶颈。九合创投投资副总裁王逸飞认为,如果在硬件侧没有一个重大突破,可能未来 2、3 年内沿着 transformer 路径走的大模型会走到上限。AGI 是一个很长的探索路径,未来肯定会有新的算法出来,而目前的 GPT 只是走出最靠前的一步,它很有可能只是我们探索 AGI 的中间态。

字节跳动 NLP 算法工程师陈家泽也表示,未来可能有两条路:一是一部分的模型越来越大,同时也会越来越强;二是在一个差不多量级的模型下水平越来越高,比如可能 7B、 10B 的模型的能力通过一些训练方式、数据调优,具备更加充分的能力。

眼下,AIGC 领域热火朝天,国内越来越多的科技企业扎堆入场。王逸飞也表示,目前,AI 远未到达最后阶段,国内企业或团队需要面临最大的挑战是,如何在没有明确未来的事情的上敢于做投入,选择技术路线。

那么,AI 是否会取代重复劳动力的工作,对于包括开发者在内从业者来说也是一个难题。郑勤锴则认为,短期内程序员是不太会被替代的,但未来的趋势可能会分成会用 ChatGPT 和不会用 ChatGPT 这两类程序员,在此基础上,对于程序员提出更高的要求,就是 ChatGPT 生成的代码并不是完全可信的,这时候就要求程序员能判断 ChatGPT 生成代码的质量。

AI 的长期价值,对各行各业的颠覆性改变,一切才刚刚开始。从技术研发到商用阶段,再逐步走进现实生活场景中,往往需要一代又一代的开发者持续探索和完善,在每一次的技术交流中,凝聚共识,找到新的立身之本。今后,稀土掘金技术社区还会一如既往地为企业、技术人员创建一个观点碰撞的平台,实现双向赋能。