日本在线www-日本在线播放一区-日本在线不卡免费视频一区-日本在线不卡视频-成人影院久久久久久影院-成人影院一区二区三区

隨著國(guó)家“人工智能+”行動(dòng)深入推進(jìn)，大模型正從技術(shù)突破期進(jìn)入產(chǎn)業(yè)深耕期。在實(shí)際應(yīng)用中，海量用戶請(qǐng)求訪問大模型，不可避免地會(huì)遇到請(qǐng)求失敗、調(diào)用超時(shí)、結(jié)果無法返回等穩(wěn)定性問題。基于此類問題解決方案，中國(guó)信通院探索編制《邊緣大模型網(wǎng)關(guān)技術(shù)能力要求》標(biāo)準(zhǔn)，并依托此標(biāo)準(zhǔn)開展評(píng)估工作，火山引擎首批圓滿通過此評(píng)估。

當(dāng)前，業(yè)界針對(duì)調(diào)用大模型反應(yīng)時(shí)延高、超時(shí)等常見問題，提出了多種類解決方案，其中，利用邊緣節(jié)點(diǎn)實(shí)現(xiàn)就近接入、調(diào)用，提升響應(yīng)速度起到有效積極作用。中國(guó)信通院聚焦此方向，規(guī)范相關(guān)產(chǎn)品服務(wù)的功能、性能及安全性，為產(chǎn)品質(zhì)量與適用性提供規(guī)范化參考。

邊緣大模型網(wǎng)關(guān)技術(shù)能力要求評(píng)估簡(jiǎn)介

《邊緣大模型網(wǎng)關(guān)技術(shù)能力要求》是由中國(guó)信通院牽頭，聯(lián)合產(chǎn)業(yè)內(nèi)多家企業(yè)、專家共同研討制定的標(biāo)準(zhǔn)，規(guī)定了邊緣大模型網(wǎng)關(guān)提供服務(wù)時(shí)，在邊緣接入、模型和智能體調(diào)用支持、AI服務(wù)調(diào)用配置、密鑰管理、運(yùn)維與監(jiān)控、技術(shù)支持等方面應(yīng)具備的能力要求，適用于邊緣計(jì)算服務(wù)商在提供邊緣大模型網(wǎng)關(guān)服務(wù)和解決方案時(shí)的能力匹配。

中國(guó)信通院依托此標(biāo)準(zhǔn)開展首批邊緣大模型網(wǎng)關(guān)能力評(píng)估工作，聚焦面向大模型網(wǎng)關(guān)的功能和性能多個(gè)維度。火山引擎深入?yún)⑴c了標(biāo)準(zhǔn)內(nèi)容制定，并圓滿完成首批評(píng)估工作。

全維度能力合格，火山引擎邊緣大模型網(wǎng)關(guān)能力獲認(rèn)可

本次評(píng)估圓滿完成，標(biāo)志著火山引擎邊緣大模型網(wǎng)關(guān)在邊緣接入、模型和智能體支持、調(diào)用配置、密鑰管理、運(yùn)維與監(jiān)控、技術(shù)支持等方面全維度符合能力標(biāo)準(zhǔn)。

火山引擎邊緣大模型網(wǎng)關(guān)支持通過一個(gè) API 接口訪問多家大模型提供商的模型與智能體，在端側(cè)基于遍布全球的邊緣計(jì)算節(jié)點(diǎn)就近調(diào)用。利用邊緣云基礎(chǔ)架構(gòu)優(yōu)勢(shì)，提高模型訪問速度，為終端用戶提供更快速、可靠的 AI 服務(wù)體驗(yàn)。

·  邊緣接入：邊緣大模型網(wǎng)關(guān)提供標(biāo)準(zhǔn)化接口，網(wǎng)關(guān)訪問密鑰與 OpenAI 的 API 和 SDK 完全兼容，面對(duì)多樣化的端側(cè)調(diào)用場(chǎng)景，方便集成，降低適配成本。同時(shí)，邊緣大模型網(wǎng)關(guān)利用緩存機(jī)制對(duì)請(qǐng)求就近存儲(chǔ)，并在相同請(qǐng)求發(fā)出時(shí)就近調(diào)用，減少模型調(diào)用請(qǐng)求的回源次數(shù)，降低成本，為終端用戶提供更快速、更可靠的 AI 服務(wù)體驗(yàn)。

·  模型和智能體支持：邊緣大模型網(wǎng)關(guān)支持調(diào)用國(guó)內(nèi)主要的模型提供商與多種大模型、智能體。面向多樣化的終端調(diào)用場(chǎng)景，支持多模態(tài)與大語言模型，滿足調(diào)用多模型和多智能體的智能需求。同時(shí)，通過預(yù)置多領(lǐng)域 AI 智能體，涵蓋語音對(duì)話、文字識(shí)別、目標(biāo)檢測(cè)、工業(yè)質(zhì)檢等 AI 能力，支持一鍵調(diào)用，助力快速構(gòu)建場(chǎng)景化解決方案，

·  調(diào)用配置：邊緣大模型網(wǎng)關(guān)具備配置調(diào)用順序、調(diào)用次數(shù)、超時(shí)時(shí)長(zhǎng)等策略的能力，通過配置調(diào)用順序、自動(dòng)重試、請(qǐng)求超時(shí)等能力，實(shí)現(xiàn)模型調(diào)用失敗自動(dòng)請(qǐng)求備用模型、單次請(qǐng)求失敗自動(dòng)重試、單次調(diào)用響應(yīng)超時(shí)配置。

·  密鑰管理：邊緣大模型網(wǎng)關(guān)具備管理訪問密鑰的能力，可直接使用平臺(tái)預(yù)置模型并對(duì)其創(chuàng)建網(wǎng)關(guān)訪問密鑰，也可以將第三方模型平臺(tái)的密鑰納管至邊緣大模型網(wǎng)關(guān)，通過邊緣大模型網(wǎng)關(guān)簽發(fā)的網(wǎng)關(guān)訪問密鑰，進(jìn)行對(duì)應(yīng)模型的訪問與調(diào)用。

·  運(yùn)維與監(jiān)控：邊緣大模型網(wǎng)關(guān)具備統(tǒng)一監(jiān)控和基礎(chǔ)運(yùn)維能力，邊緣大模型網(wǎng)關(guān)可根據(jù)您通過網(wǎng)關(guān)向模型發(fā)出的請(qǐng)求以及模型的響應(yīng)來統(tǒng)計(jì)您的用量。不同模型提供商對(duì)模型用量的計(jì)量方式有所不同，根據(jù)模型調(diào)用計(jì)量方式，您的調(diào)用詳情可以在用量統(tǒng)計(jì)中進(jìn)行查看。同時(shí)，通過云監(jiān)控-大模型網(wǎng)關(guān)模塊，可以查詢以網(wǎng)關(guān)訪問密鑰為維度的總用量（已消耗的 tokens 總量）與用量速率（每秒消耗的 tokens 額度）。

·  技術(shù)支持：邊緣大模型網(wǎng)關(guān)具備全局技術(shù)支持，支持提供故障的處理時(shí)間、及時(shí)響應(yīng)率、及時(shí)解決率；支持提供異常事件的解決時(shí)間、及時(shí)響應(yīng)率、及時(shí)解決率以及事件的報(bào)告機(jī)制；支持提供變更的受理時(shí)間、變更的通知機(jī)制以及重大變更的監(jiān)管報(bào)送機(jī)制。

火山引擎邊緣大模型網(wǎng)關(guān)緊跟模型迭代，全面支持豆包 1.5?深度思考模型、接入主流 DeepSeek 模型提供商，同時(shí)發(fā)布端智能實(shí)例以及助力自部署模型公網(wǎng)調(diào)用與全鏈路管控，滿足了多模型和多智能體調(diào)用的設(shè)備智能需求，并在 AI 芯片、智能玩具、具身智能等多個(gè)行業(yè)場(chǎng)景落地。

中國(guó)信通院正持續(xù)開展開展邊緣計(jì)算、邊緣AI系列評(píng)估工作，歡迎業(yè)界參與!

聯(lián)系人：

王蘊(yùn)婷 18612060302 wangyunting1@caict.ac.cn

李　昂 13651208710 liang3@caict.ac.cn

來源：CAICT可信數(shù)字化