北京詞元工廠投用 日產1.4萬億個
北京正全力建設「人工智能之城」,目前已有人工智能企業超2500家,累計備案上線大模型225款,全國最多。北京首家Token(即詞元,AI處理文字最小單位)工廠─北京壹號詞元工廠9日正式落地亦莊,並同步向全球開源「詞元工廠性能基準」,北京建設「人工智能之城」再落一子。
據悉,該項目一期每日Token產能可達1.4萬億(個,下同),7×24小時不間斷運行,實現像用電力一樣用算力,一半任務能在6秒內響應,九成任務響應時間低於10秒,全面適配各類複雜AI場景。\大公報記者 馬曉芳北京報道
在人工智能時代,算力已成為國家綜合實力的核心指標。北京正大力加強基礎研究,全力建設「人工智能第一城」,力爭把人工智能和綠色低碳兩個產業培育成新的萬億級產業集群,人工智能產業發展條例也納入了今年北京市的立法計劃。
智能體時代「新型電廠」
Token算力是服務器運算的能力。算力越強,每秒能處理的Token就越多,使用成本隨之降低。數據顯示,目前國內單日Token消耗量在9個月內暴漲4倍,用量從萬億級躍升至千萬億級。從日常人機對話、專業科研分析,到高清視頻生成,不同場景對算力的要求天差地別,精細化服務成為剛需。
大語言模型正從簡單的對話機器人加速演進為能夠自主規劃、推理並採取行動以達成複雜目標的長時運行系統。一個簡單的用戶指令背後可能是模型數十次推理循環、工具調用與自我反思的疊加。這意味着算力消耗不再是「一問一答」式的短時脈衝,而是長周期、多輪次、高不確定性的混沌負載。
北京壹號詞元工廠是面向智能體時代的「新型電廠」,實現像用電一樣用Token算力。該工廠由軟通動力信息技術股份有限公司建設,由一台台服務器組成,項目一期每日Token產能可達1.4萬億。工廠遠期目標實現日產10萬億Token,未來還將聯動張家口、烏蘭察布等綠電基地,構建京津冀一體化算力集群,讓算力生產隨着規模持續擴大,大幅降低各行各業使用AI算力的門檻。
一半任務能在6秒內響應
軟通動力高級副總裁、軟通智算總裁劉怡表示,科研人員梳理25年以來的數千萬份文獻用來撰寫學術綜述,僅這一項任務就要消耗1億Token。詞元工廠對標電網穩定運行標準,能實現7×24小時不間斷運行,而且核心響應指標表現優異。一半的任務能在6秒內響應,九成的任務響應時間低於10秒,波動性控制在20%以內,全面適配各類複雜AI場景。
詞元工廠不是簡單堆算力,而是把底層資源高效轉化為標準化的「數字燃料」Token,像電網一樣給出明確的服務質量承諾:服務可用性≥99.9%,對標電網供電可靠性≥99.9%;首字延遲P90<10秒、波動<20%,對標電網電壓合格率波動≤±5%;緩存命中率≥90%,對標電網功率因數,減少計算浪費。
當前行業普遍缺少面向智能體場景的算力服務質量評測標準,導致「高分低能、參數虛標、用戶選擇困難」。記者獲悉,伴隨工廠落地,同步向全球開源「詞元工廠性能基準」,實現對算力集群真實服務能力的精準評估與公平對比。這是行業首次針對智能體長時運行特徵建立統一的性能度量標準,大模型算力供給從粗放式吞吐比拼進入標準化、工業化的Token流水線時代。