3
發(fā)布日期:2024-10-21 20:43 瀏覽次數(shù):
今日(10月19日),“字節(jié)跳動大模型訓(xùn)練被實習(xí)生攻擊,涉事者已被辭退”的消息,沖上多個平臺熱搜。
10月18日,多個微信群流傳一則消息:“某頭部大廠的大模型訓(xùn)練被實習(xí)生入侵,注入了破壞代碼,導(dǎo)致其訓(xùn)練成果不可靠,可能需要重新訓(xùn)練。據(jù)稱遭到入侵的代碼注入了8000多張卡,帶來的損失可能超過千萬美元。”
對此,19日下午,字節(jié)跳動發(fā)布《關(guān)于“實習(xí)生破壞大模型訓(xùn)練”的事實澄清》,稱涉事實習(xí)生惡意干擾商業(yè)化技術(shù)團隊研究項目的模型訓(xùn)練任務(wù),但并不影響商業(yè)化的正式項目及線上業(yè)務(wù),也不涉及字節(jié)跳動大模型等其他業(yè)務(wù)。網(wǎng)傳“涉及8000多卡、損失上千萬美元”嚴重夸大。
字節(jié)跳動還稱,經(jīng)核實,涉事人一直在商業(yè)化技術(shù)團隊實習(xí),并沒有AI Lab實習(xí)經(jīng)歷。其社交媒體個人簡介及部分媒體報道有誤。另外,該實習(xí)生已在8月被公司辭退。公司也將其行為同步給行業(yè)聯(lián)盟和所在學(xué)校,交由校方處理。
據(jù)紅星資本局此前報道,近日有消息稱,某頭部大廠的大模型訓(xùn)練被實習(xí)生入侵,注入了破壞代碼,導(dǎo)致其訓(xùn)練成果不可靠,可能需要重新訓(xùn)練。據(jù)稱遭到入侵的代碼注入了8000多張卡,帶來的損失可能超過千萬美元。
傳言稱,該實習(xí)生利用了HF(huggingface)的漏洞,在公司的共享模型里寫入破壞代碼,導(dǎo)致模型的訓(xùn)練效果忽高忽低,無法產(chǎn)生預(yù)期的訓(xùn)練效果。
知情人士告訴紅星資本局,該大廠為字節(jié)跳動,“注入8000多張卡”“損失上千萬美元”等描述不實,太過夸大;受影響的業(yè)務(wù)也不是豆包大模型,而是商業(yè)化技術(shù)團隊的模型訓(xùn)練任務(wù),影響了廣告部門的一些業(yè)務(wù)進展,但不影響線上業(yè)務(wù)。目前,字節(jié)跳動已對該實習(xí)生采取了辭退處理,并將此事通報給相關(guān)行業(yè)聯(lián)盟和該實習(xí)生所在的學(xué)校。
據(jù)了解,此事發(fā)生在今年6月,起因是該實習(xí)生對團隊資源分配不滿,故使用攻擊代碼破壞團隊的模型訓(xùn)練任務(wù)。
實際上,大模型在安全性方面的問題已經(jīng)受到業(yè)內(nèi)高度關(guān)注。今年8月,中國信通院發(fā)文稱,近年來,以大模型為核心的人工智能技術(shù)飛速發(fā)展,成為數(shù)字經(jīng)濟增長新動能。然而,作為新質(zhì)生產(chǎn)力的大模型在安全性方面仍存在較多缺陷,這為其大規(guī)模落地應(yīng)用帶來了不確定性。近期,中國信通院發(fā)布的大模型安全基準AI Safety Benchmark的測試結(jié)果顯示,大模型(尤其是開源大模型)在惡意誘導(dǎo)手段下的攻擊成功率均較原始輸入有明顯提升。因此,對大模型進行安全對齊防護刻不容緩。
今年以來,作為頭部互聯(lián)網(wǎng)大廠,字節(jié)跳動正在加碼大模型建設(shè)和應(yīng)用。5月15日,字節(jié)跳動豆包大模型在火山引擎原動力大會上發(fā)布?;鹕揭媸亲止?jié)跳動旗下云服務(wù)平臺,火山引擎總裁譚待現(xiàn)場介紹,豆包大模型正成為國內(nèi)使用量最大、應(yīng)用場景最豐富的大模型之一,目前日均處理1200億Tokens文本,生成3000萬張圖片。豆包主力模型在企業(yè)市場的定價只有0.0008元/千Tokens,0.8厘就能處理1500多個漢字,比行業(yè)便宜99.3%。
今年8月,字節(jié)跳動火山引擎宣布推出對話式AI實時交互解決方案,搭載火山方舟大模型服務(wù)平臺,通過火山引擎RTC實現(xiàn)語音數(shù)據(jù)的采集、處理和傳輸,并深度整合豆包·語音識別模型和豆包·語音合成模型,簡化語音到文本和文本到語音的轉(zhuǎn)換過程,提供智能對話和自然語言處理能力,幫助應(yīng)用快速實現(xiàn)用戶和云端大模型的實時語音通話。
近期,字節(jié)跳動還宣告進軍AI視頻生成。9月24日,字節(jié)跳動旗下火山引擎發(fā)布了豆包視頻生成-PixelDance、豆包視頻生成-Seaweed兩款大模型,面向企業(yè)市場開啟邀測。據(jù)火山引擎介紹,全新設(shè)計的擴散模型訓(xùn)練方法攻克了多鏡頭切換的一致性難題。據(jù)火山引擎披露,截至9月,豆包語言模型的日均tokens使用量超過1.3萬億,相比5月首次發(fā)布時猛增十倍。
10月15日,在2024火山引擎視頻云技術(shù)大會上,火山引擎正式發(fā)布大模型訓(xùn)練視頻預(yù)處理方案,該方案能夠有效解決視頻大模型訓(xùn)練的成本、質(zhì)量和性能等方面的技術(shù)挑戰(zhàn),并已應(yīng)用于豆包·視頻生成模型中。