12月1日，阿里云舉辦通義千問(wèn)發(fā)布會(huì)，開(kāi)源通義千問(wèn)720億參數(shù)模型Qwen-72B。Qwen-72B在10個(gè)權(quán)威基準(zhǔn)測(cè)評(píng)創(chuàng)下開(kāi)源模型最優(yōu)成績(jī)，成為業(yè)界最強(qiáng)開(kāi)源大模型，性能超越開(kāi)源標(biāo)桿Llama 2-70B和大部分商用閉源模型。未來(lái)，企業(yè)級(jí)、科研級(jí)的高性能應(yīng)用，也有了開(kāi)源大模型這一選項(xiàng)。
通義千問(wèn)還開(kāi)源了18億參數(shù)模型Qwen-1.8B和音頻大模型Qwen-Audio。至此，通義千問(wèn)共開(kāi)源18億、70億、140億、720億參數(shù)的4款大語(yǔ)言模型，以及視覺(jué)理解、音頻理解兩款多模態(tài)大模型，實(shí)現(xiàn)“全尺寸、全模態(tài)”開(kāi)源。力度之大，業(yè)界無(wú)出其右。
業(yè)界最強(qiáng)開(kāi)源模型，填補(bǔ)中國(guó)LLM開(kāi)源領(lǐng)域空白
Qwen-72B基于3T tokens高質(zhì)量數(shù)據(jù)訓(xùn)練，延續(xù)通義千問(wèn)預(yù)訓(xùn)練模型一貫以來(lái)的強(qiáng)勢(shì)表現(xiàn)，在10個(gè)權(quán)威基準(zhǔn)測(cè)評(píng)中奪得開(kāi)源模型最優(yōu)成績(jī)，在部分測(cè)評(píng)中超越閉源的GPT-3.5和GPT-4。
英語(yǔ)任務(wù)上，Qwen-72B在MMLU基準(zhǔn)測(cè)試取得開(kāi)源模型最高分；中文任務(wù)上，Qwen-72B霸榜C-Eval、CMMLU、GaokaoBench等基準(zhǔn)，得分超越GPT-4；數(shù)學(xué)推理方面，Qwen-72B在GSM8K、MATH測(cè)評(píng)中斷層式領(lǐng)先其他開(kāi)源模型；代碼理解方面，Qwen-72B在HumanEval、MBPP等測(cè)評(píng)中的表現(xiàn)大幅提升，代碼能力有了質(zhì)的飛躍。
在10大權(quán)威測(cè)評(píng)中，通義千問(wèn)720億參數(shù)模型獲得開(kāi)源模型最優(yōu)成績(jī)
通義千問(wèn)720億開(kāi)源模型部分成績(jī)超越閉源的GPT-3.5和GPT-4
Qwen-72B可以處理最多32k的長(zhǎng)文本輸入，在長(zhǎng)文本理解測(cè)試集LEval上取得了超越ChatGPT-3.5-16k的效果。研發(fā)團(tuán)隊(duì)優(yōu)化了Qwen-72B的指令遵循、工具使用等技能，使之能更好地被下游應(yīng)用集成。比如，Qwen-72B搭載了強(qiáng)大的系統(tǒng)指令（System Prompt）能力，用戶只用一句提示詞就可定制AI助手，要求大模型扮演某個(gè)角色或者執(zhí)行特定的回復(fù)任務(wù)。
用戶僅用一句提示詞就可創(chuàng)建自己的AI助手
此前，中國(guó)大模型市場(chǎng)還沒(méi)出現(xiàn)足以對(duì)標(biāo)Llama 2-70B的優(yōu)質(zhì)開(kāi)源模型。Qwen-72B填補(bǔ)了國(guó)內(nèi)空白，以高性能、高可控、高性價(jià)比的優(yōu)勢(shì)，提供不亞于商業(yè)閉源大模型的選擇�；赒wen-72B，大中型企業(yè)可開(kāi)發(fā)商業(yè)應(yīng)用，高校、科研院所可開(kāi)展AI for Science等科研工作。
從1.8B到72B，通義千問(wèn)率先實(shí)現(xiàn)全尺寸開(kāi)源
如果說(shuō)Qwen-72B“向上摸高”，抬升了開(kāi)源大模型的尺寸和性能天花板；發(fā)布會(huì)上的另一開(kāi)源模型Qwen-1.8B則“向下探底”，成為尺寸最小的中國(guó)開(kāi)源大模型，推理2K長(zhǎng)度文本內(nèi)容僅需3G顯存，可在消費(fèi)級(jí)終端部署。
從18億、70億、140億到720億參數(shù)規(guī)模，通義千問(wèn)成為業(yè)界首個(gè)“全尺寸開(kāi)源”的大模型。用戶可在魔搭社區(qū)直接體驗(yàn)Qwen系列模型效果，也可通過(guò)阿里云靈積平臺(tái)調(diào)用模型API，或基于阿里云百煉平臺(tái)定制大模型應(yīng)用。阿里云人工智能平臺(tái)PAI針對(duì)通義千問(wèn)全系列模型進(jìn)行深度適配，推出了輕量級(jí)微調(diào)、全參數(shù)微調(diào)、分布式訓(xùn)練、離線推理驗(yàn)證、在線服務(wù)部署等服務(wù)。
阿里云是國(guó)內(nèi)最早開(kāi)源自研大模型的科技企業(yè)，8月以來(lái)開(kāi)源了Qwen-7B、Qwen-14B和視覺(jué)理解模型Qwen-VL。幾款模型先后沖上HuggingFace、Github大模型榜單，得到中小企業(yè)和個(gè)人開(kāi)發(fā)者的青睞，累計(jì)下載量超過(guò)150萬(wàn)，催生出150多款新模型、新應(yīng)用。發(fā)布會(huì)現(xiàn)場(chǎng)，多位開(kāi)發(fā)者伙伴現(xiàn)身說(shuō)法，分享了他們用Qwen開(kāi)發(fā)專屬模型和特定應(yīng)用的實(shí)踐。
阿里云CTO周靖人表示，開(kāi)源生態(tài)對(duì)促進(jìn)中國(guó)大模型的技術(shù)進(jìn)步與應(yīng)用落地至關(guān)重要，通義千問(wèn)將持續(xù)投入開(kāi)源，希望成為“AI時(shí)代最開(kāi)放的大模型”，與伙伴們共同促進(jìn)大模型生態(tài)建設(shè)。
通義千問(wèn)基座模型持續(xù)進(jìn)化，多模態(tài)探索業(yè)界領(lǐng)先
通義千問(wèn)在多模態(tài)大模型領(lǐng)域的探索也領(lǐng)先業(yè)界一步，當(dāng)天，阿里云首次開(kāi)源音頻理解大模型Qwen-Audio。
Qwen-Audio能夠感知和理解人聲、自然聲、動(dòng)物聲、音樂(lè)聲等各類語(yǔ)音信號(hào)。用戶可以輸入一段音頻，要求模型給出對(duì)音頻的理解，甚至基于音頻進(jìn)行文學(xué)創(chuàng)作、邏輯推理、故事續(xù)寫等等。音頻理解能夠賦予大模型接近人類的聽(tīng)覺(jué)能力。
通義大模型能“聽(tīng)”也能“看”。通義千問(wèn)8月開(kāi)源出視覺(jué)理解大模型Qwen-VL，迅速成為國(guó)際開(kāi)源社區(qū)最佳實(shí)踐之一。本次發(fā)布會(huì)又宣布了Qwen-VL的重大更新，大幅提升通用OCR、視覺(jué)推理、中文文本理解基礎(chǔ)能力，還能處理各種分辨率和規(guī)格的圖像，甚至能“看圖做題”。不論從權(quán)威測(cè)評(píng)成績(jī)還是真人體驗(yàn)的效果看，Qwen-VL的中文文本理解能力都大幅超越了GPT-4V。
通義千問(wèn)閉源模型也在持續(xù)進(jìn)化，一個(gè)月前發(fā)布的通義千問(wèn)2.0版閉源模型，最近已進(jìn)階至2.1版，上下文窗口長(zhǎng)度擴(kuò)展到32k，代碼理解生成能力、數(shù)學(xué)推理能力、中英文百科知識(shí)、幻覺(jué)誘導(dǎo)抵抗能力分別提升30%、10%、近5%和14%。用戶可以在通義千問(wèn)APP免費(fèi)體驗(yàn)最新版本的閉源模型。