第十届ASC超算总决赛:挑战179亿参数大模型训练 天天新消息
5月10日,第十届ASC世界大学生超级计算机竞赛总决赛在中国科学技术大学落下帷幕。北京大学、中国科学技术大
(相关资料图)
5月10日,第十届ASC世界大学生超级计算机竞赛总决赛在中国科学技术大学落下帷幕。北京大学、中国科学技术大学分获冠亚军,中国科学技术大学获e Prize计算挑战奖,浙江大学获最高计算性能奖。
正式决赛的首日,24支队伍向AI语言大模型、超级团队赛和HPL&HPCG基准测试三道赛题展开比拼。
据悉,本届比赛e Prize计算挑战奖的指定赛题是AI语言大模型。ASC组委会提供了100GB高质量中文数据集,要求参赛队基于此数据集分别实现15亿、179亿参数的2个AI语言大模型。参赛队需要自行设计模型训练策略并完成模型训练过程,在追求极致性能的同时,还要满足精度约束等严苛条件,使得这道赛题极具挑战性。
南方科技大学代表队表示,“前期我们研究了很多大模型相关论文,学习如何进行并行优化、主流分布式训练框架等。但是拿到这个赛题时还是非常惊讶,179亿参数的模型真的很大,对显存、GPU等资源及并行计算优化的要求远远超出我们的预期。”
据介绍,本届超级团队赛由24支队伍通过抽签组成4个超级团队,每个超级团队需包含一支线上参赛队伍,以跨团队合作的形式共同完成决赛首日公布的量子线路采样模拟的赛题。
随机量子线路的采样问题因为其巨大的经典模拟复杂度被认为是展示量子计算优越性的最佳候选者。2019年谷歌量子人工智能团队发表基于悬铃木量子芯片的随机量子线路采样实验,宣称其经典模拟时间需要花费超算一万年,而量子实验仅需200秒,因此展示了量子优越性。
本届比赛的赛题是通过一个基于张量网络的算法来模拟53比特12循环的悬铃木量子线路,并计算谷歌实验中采样出来的1024个末态比特串样本的严格振幅以及这些样本的随机交叉上熵保真度。相较于传统的模拟算法,基于张量网络的量子线路模拟方法能够大大加速模拟的过程,将谷歌宣称的一万年模拟时间缩短到数十秒,达成超过10亿倍的性能提升。量子线路的高效经典模拟方法能够帮助人们对量子计算优越性有一个更为清晰的认知,与此同时也能助力量子硬件以及量子实验的设计、测试以及验证。
在HPL计算基准性能测试中,浙江大学以每秒109万亿次浮点运算性能的佳绩名列榜首。他们设计搭建了“1机8卡”异构加速系统,在3000W总功耗约束下,将更多功耗分配给GPU进行应用运算,并结合精细的控制优化,实现整体系统109万亿次/秒的HPL持续浮点运算性能。
ASC超算竞赛采用国际最通用的超级计算机浮点性能基准测试程序HPL,这也是全球超算TOP500排行的主要依据。ASC竞赛规则要求各参赛队伍自行设计超算系统,在总功耗3000W约束下正确完成包括HPL计算性能基准测试在内的各项计算任务。
ASC世界大学生超级计算机竞赛是由中国发起组织,并得到亚洲及欧美相关专家和机构支持,旨在通过大赛平台推动各国及地区间超算青年人才交流和培养,提升超算应用水平和研发能力,发挥超算的科技驱动力,促进科技与产业创新。ASC超算大赛迄今已举行至第10届,吸引超过万名世界各国大学生参赛,是全球最大规模的超算竞赛。(柯岩)
标签:
5月10日,第十届ASC世界大学生超级计算机竞赛总决赛在中国科学技术大学落下帷幕。北京大学、中国科学技术大
天玑9200+正式发布!解决旗舰用户三大痛点带来顶级游戏性能体验
岳阳林纸(600963)05月11日在投资者关系平台上答复了投资者关心的问题。
百花携爱开五月天使来 ——驻马店市中心医院护士风采展 文 图全媒体记者王捷 病魔侵扰的地方就有天...
CBA总决赛第二战上半场还有4分29秒结束,赵继伟在左侧三分线外拿球,虚晃一枪球交右侧的鄢手骐手中,继伟无
上市券商2022年报与2023年一季报均已披露完毕。2023年第一季度,受市场整体行情影响,券商业绩较去年同期普
1973年,在咸阳市渭城区药王洞村北约400米处的一个居民区中,唐初少数民族将领契苾何力之子契苾明的墓葬开
百万医疗险就是指保险金额能够达到百万的医疗保险。在投保后,如果发生保险合同规定的病种,用户可以最高得
同花顺数据中心显示,金刚光伏5月10日获融资买入197 49万元,占当日买入金额的3 83%,当前融资余额1 55亿元