來(lái)源:華爾街見(jiàn)聞
4月12日,微軟宣布開(kāi)源了Deep Speed Chat,幫助用戶輕松訓(xùn)練類ChatGPT等大語(yǔ)言模型,使得人人都能擁有自己的ChatGPT!(開(kāi)源地址:https://github.com/microsoft/DeepSpeed)?
【資料圖】
據(jù)悉,Deep Speed Chat是基于微軟Deep Speed深度學(xué)習(xí)優(yōu)化庫(kù)開(kāi)發(fā)而成,具備訓(xùn)練、強(qiáng)化推理等功能,還使用了RLHF(人工反饋機(jī)制的強(qiáng)化學(xué)習(xí))技術(shù),可將訓(xùn)練速度提升15倍以上,成本卻大幅度降低。例如,一個(gè)130億參數(shù)的類ChatGPT模型,只需1.25小時(shí)就能完成訓(xùn)練。
簡(jiǎn)單來(lái)說(shuō),用戶通過(guò)Deep Speed Chat提供的“傻瓜式”操作,能以最短的時(shí)間、最高效的成本訓(xùn)練類ChatGPT大語(yǔ)言模型,這標(biāo)志著一個(gè)人手一個(gè)ChatGPT的時(shí)代要來(lái)了。
微軟為什么開(kāi)源Deep Speed ChatChatGPT只用了幾個(gè)月的時(shí)間便席卷全球,成為史上用戶增長(zhǎng)速度最快的消費(fèi)級(jí)應(yīng)用,對(duì)世界的經(jīng)濟(jì)發(fā)展、科技研發(fā)起到了重要的推動(dòng)作用。很多企業(yè)、個(gè)人用戶紛紛想?yún)⑴c到這場(chǎng)AI技術(shù)變革中,但由于龐大的資源、資金投入只能望而卻步。
即便開(kāi)源領(lǐng)域推出了LLaMa、Alpaca、Vicuna、Databricks-Dolly等優(yōu)秀的類ChatGPT項(xiàng)目,仍缺乏一個(gè)支持端到端的基于RLHF的規(guī)模化系統(tǒng),使得訓(xùn)練強(qiáng)大的類ChatGPT模型非常艱難。
例如,使用上述開(kāi)源項(xiàng)目訓(xùn)練一個(gè)67億參數(shù)的類ChatGPT模型,通常需要昂貴的多卡至多節(jié)點(diǎn)的GPU集群,但這些資源對(duì)大多數(shù)科學(xué)家、小型企業(yè)、個(gè)人開(kāi)發(fā)者而言難以獲取。
即便是擁有這樣的資源,現(xiàn)有的開(kāi)源系統(tǒng)的訓(xùn)練效率通常還不到,這些機(jī)器所能達(dá)到的最大效率的5%。
現(xiàn)在,通過(guò)Deep Speed Chat解決資源、算法等難題,輕松、高效的訓(xùn)練數(shù)千億參數(shù)的最先進(jìn)的類ChatGPT模型。
全民ChatGPT時(shí)代來(lái)了做個(gè)不太恰當(dāng)?shù)谋扔鳎④洿舜伍_(kāi)源Deep Speed Chat就像當(dāng)年的互聯(lián)網(wǎng),為了提升發(fā)展速率降低了臺(tái)式機(jī)的價(jià)格,使得普通用戶也能擁有自己的電腦。
只有參與的用戶多了,整個(gè)行業(yè)生態(tài)才能快速壯大發(fā)展,所以,微軟此次開(kāi)源對(duì)整個(gè)ChatGPT生態(tài)發(fā)展起到了至關(guān)重要的推動(dòng)作用,使得人人都能擁有自己的ChatGPT。
目前,ChatGPT處于初級(jí)發(fā)展階段,存在安全隱患、數(shù)據(jù)隱私、道德等問(wèn)題。相信隨著參與用戶的增多,這些難題將會(huì)被有效的解決,從而為全球經(jīng)濟(jì)發(fā)展做出貢獻(xiàn)。
關(guān)鍵詞:

10天超2500萬(wàn)玩家 《守望先
蘇美達(dá)2022年凈利潤(rùn)同比增長(zhǎng)
電話車險(xiǎn)便宜嗎(電話車險(xiǎn)怎
今日聚焦!2026年全球電商物
QQ郵箱關(guān)聯(lián)郵箱帳號(hào)功能將下
智駕堪比老司機(jī)!智己高速/
48小時(shí)點(diǎn)擊排行

