2024年6月14日,AI行业盛会“2024北京智源大会”在中关村展示中心开幕。《每日经济新闻》在现场注意到,在全体大会中的主题讨论环节正规配资平台哪里好,零一万物CEO李开复与清华大学智能产业研究院院长、智源学术顾问委员张亚勤对谈。
张亚勤谈到了大模型的“三个做对了”和“三个目前需要改进”。
关于“三个做对了”,张亚勤提出:
首先,规模定律Scaling Law。规模定律的实现,主要得益于对海量数据的利用以及算力的显著提升。再加上现在的Diffusion和Transformer架构能够高效地利用算力和数据,使得“飞轮效应”得以正循环。尽管有人质疑Scaling Law在2~3年后是否仍然有效,但张亚勤个人认为至少在未来5年里,它仍将是产业发展的主要方向。
其次是“Token-Based”统一表述方式。在大模型中,“Token”是一个基本元素。无论是文本、语音、图像、视频,还是自动驾驶中的激光雷达信号,甚至是生物领域的蛋白质和细胞,最终都可以抽象为一个Token。Token之间的训练、学习和生成是核心环节,这与我们大脑中的神经元工作原理相似,无论执行何种任务,其基础机制都是相同的。
最后是通用性。这与Token紧密相关。现在的通用性不仅体现在文本处理上,还扩展到了多模态领域,甚至可以生成如蛋白质等复杂结构。此外,它在物理世界(如具身智能)和生物世界(如生物智能)中也有着广泛的应用前景。
以上这三个是大模型做对的,而关于现阶段的主要问题,张亚勤也提出了三个点:
第一个,效率较低。特别是大模型的计算效率低下问题,与人类大脑的高效性形成了鲜明的对比。人类大脑拥有860亿个神经元,每个神经元又有数千个突触连接,却只需要20瓦的能量,重量还不到三斤;而GPT4这个万亿参数模型则需要巨大的算力和能源,与人脑相比相差1000倍之多。此外,人脑能够根据不同的情境灵活调用不同区域的神经元,而大模型却每次输入一个问题都要调用和激活几乎大量参数。因此,如何借鉴人类大脑的计算方法,在降低计算耗能、提高效率方面进行探索和创新,是一个值得关注的方向。
第二个,大模型目前还未能真正理解物理世界,相关的推理能力、透明性以及幻觉等问题都还在深入研究中。有一个重要的问题是,即使我们的大模型做得再好,它在生成式表述与对真实世界的描绘之间仍存在矛盾。因此,我们需要探索如何将生成式的概率大模型与现有的“第一性原理”或真实模型、知识图谱相结合。目前,虽然已经有了一些尝试,如采用RAG技术或进行微调,并取得了一定的进展,但张亚勤认为这些方法并非根本解决方案。张亚勤预测,在未来五年内,将会有一个全新的架构出现,这个架构有望取代目前的Transformer和Diffusion模型。
赖清德就职,民进党当局已经有相当的不安,根据台岛媒体报道,台岛空中力量在5月18日就已经召回了所有的飞行员,并且宣布在5月20日将会有战斗机携带实弹升空警戒。台岛防务部门同时宣称,解放军东部战区在5月19日一度动用战斗机迫近台北40多海里处空域,为此台岛提升了戒备等级,不过还是遵循所谓的“两岸一起追求和平共荣”来释放善意。从台岛公布的信息来看,解放军在5月19日出动了6架战机在台岛周边海空域活动,实际上跟过去几天相比,规模已经减少了许多。
第三个欠缺的地方是边界问题。现在大模型无法知道“我不知道什么”正规配资平台哪里好,这是目前要解决的问题,是它的边界效应。