模型表現(xiàn)好,金牌少不了。
剛剛,中文大模型測(cè)評(píng)基準(zhǔn)SuperCLUE發(fā)布《中文大模型基準(zhǔn)測(cè)評(píng)2024年10月報(bào)告》:
商湯日日新·商量大模型(SenseChat5.5)憑借出色的能力表現(xiàn),總得分位列國(guó)內(nèi)大模型第一梯隊(duì),獲得金牌。

本次SuperCLUE10月報(bào)告覆蓋23個(gè)國(guó)內(nèi)模型,聚焦語(yǔ)言大模型的通用能力評(píng)估,分為三大維度:除了考察“文科”、“理科”基礎(chǔ)能力外,還有考察模型更高階能力的“Hard”附加任務(wù),總共2900+道題:
【理科任務(wù)】分為計(jì)算、邏輯推理、代碼、工具使用測(cè)評(píng)集;
【文科任務(wù)】分為知識(shí)百科、語(yǔ)言理解、長(zhǎng)文本、角色扮演、生成與創(chuàng)作、安全六大測(cè)評(píng)集;
【Hard任務(wù)】分為精確指令遵循測(cè)評(píng)集,復(fù)雜任務(wù)高階推理測(cè)評(píng)集。

商湯SenseChat5.5在多項(xiàng)評(píng)測(cè)任務(wù)中均位列第一梯隊(duì),文科中語(yǔ)言理解、安全等維度表現(xiàn)突出,也是理科中邏輯推理、代碼學(xué)科的“尖子生”。
值得注意的是,在【Hard】的兩項(xiàng)任務(wù)——精準(zhǔn)指令遵循和高階推理中,商湯SenseChat5.5是唯一兩項(xiàng)任務(wù)均位于國(guó)內(nèi)第一梯隊(duì)的大模型,體現(xiàn)了模型優(yōu)秀的復(fù)雜推理智能。
未來(lái),商湯將繼續(xù)堅(jiān)持基礎(chǔ)大模型的持續(xù)研發(fā)與投入,不斷提升真正高階推理及“慢思考”能力。
星空人工智能技術(shù)網(wǎng) 倡導(dǎo)尊重與保護(hù)知識(shí)產(chǎn)權(quán)。如發(fā)現(xiàn)本站文章存在版權(quán)等問(wèn)題,煩請(qǐng)30天內(nèi)提供版權(quán)疑問(wèn)、身份證明、版權(quán)證明、聯(lián)系方式等發(fā)郵件至1851688011@qq.com我們將及時(shí)溝通與處理。?。?a href="/">首頁(yè) > AI電報(bào) » 近3000道題,商湯大模型拿了金牌
商湯元蘿卜發(fā)布AI下棋星空機(jī)器人四合一
商湯臨港AIDC獲評(píng)全國(guó)首個(gè)5A級(jí)智算