近日，商湯絕影與國內(nèi)知名車企合作伙伴聯(lián)手打造的行業(yè)首個原生流式多模態(tài)座艙產(chǎn)品已經(jīng)量產(chǎn)上車，并向用戶進行OTA推送。

在兩個月前的2024「絕影實力AI DAY」上，商湯絕影首發(fā)了AI汽車創(chuàng)新產(chǎn)品「A New Member For U」（你的家庭新成員），它能夠察言觀色，無時不在，心有靈犀，將會讓智能汽車擁有「有趣的靈魂」。原生流式多模態(tài)大模型是打造「家庭新成員」的關(guān)鍵之一，也是它能察言觀色的核心所在。

如今，隨著商湯絕影的多模態(tài)艙外識別功能量產(chǎn)上車，它已經(jīng)開始認(rèn)識并且理解世界，能夠?qū)崿F(xiàn)「前車識別」、「交通標(biāo)志識別」和「沿途風(fēng)光識別」等功能，識別準(zhǔn)確率、識別范圍等性能全面領(lǐng)先行業(yè)，還能和車內(nèi)駕乘人員進行深入交流與互動，這位未來的「家庭新成員」邁出了成長的第一步。

多模態(tài)艙外識別性能全面領(lǐng)先，“懂車博士”、“隨車教練”、“地陪達(dá)人”，一車搞定

隨著小米、小鵬、比亞迪等企業(yè)紛紛上車多模態(tài)識別功能，多模態(tài)大模型上車已成為行業(yè)趨勢。近日，商湯絕影的行業(yè)首個原生流式多模態(tài)座艙產(chǎn)品已經(jīng)量產(chǎn)上車，艙外識別功能已向用戶進行OTA推送。

商湯絕影量產(chǎn)上車的多模態(tài)艙外識別功能包括三大能力，即前車識別、交通標(biāo)志識別、沿途風(fēng)光識別。

“懂車博士”——前車識別功能

相當(dāng)于把馬路變成了流動4S店，也是大型的車型展覽場，路上看到了喜歡的車型，或者不認(rèn)識但又想了解的車型，隨時隨地就可以讓車機這個“懂車博士”為你答疑解惑，從車型、價格、上市日期，到背后的發(fā)展歷史，幾乎無所不知。

相較于已量產(chǎn)的同類功能，商湯絕影的前車識別功能認(rèn)得更準(zhǔn)、更多、更深、更新。

認(rèn)得更準(zhǔn)，就是商湯絕影前車識別準(zhǔn)確率超過90%，領(lǐng)跑行業(yè)；在極端環(huán)境下，如晚上環(huán)境光線弱的時候，識別率依然很高。

同時，原生流式多模態(tài)大模型的強大指代能力，前面如果有三輛車，左中右分別為紅黃藍(lán)，如果問“藍(lán)色車輛是什么車”，傳統(tǒng)模型可能依舊會識別中間黃車，商湯絕影的原生流式大模型能精準(zhǔn)識別右前方的藍(lán)色車輛。

認(rèn)得更多，是絕影的多模態(tài)能夠識別的種類和范圍非常廣，尤其是豪車和小眾品牌。甚至是偽裝車、無車標(biāo)等特殊外觀，通過尾燈、外形、構(gòu)造等品牌特點也可以識別。

認(rèn)得更深，舉例來看，現(xiàn)在很多車型已經(jīng)不再生產(chǎn)，一部分經(jīng)典車型仍然在道路上奔馳，它們背后有值得挖掘的歷史，通過對話、圖文等形式，絕影的前車識別功能可以把豐富且完整的信息展示給艙內(nèi)用戶，幫助他們?nèi)轿簧钊肓私飧信d趣的車型產(chǎn)品。

認(rèn)得更新，是因為絕影的原生流式多模態(tài)大模型一直在持續(xù)訓(xùn)練和迭代，即使是上市不久的新車也能夠快速識別。

“隨車教練”——交通標(biāo)志識別

商湯絕影的艙外識別功能不僅能識別前車，還能夠識別交通標(biāo)志，這也是行業(yè)首發(fā)的產(chǎn)品能力，其他上車的多模態(tài)大模型都沒有做到交通標(biāo)志的準(zhǔn)確識別。

面對路面上越來越多的交通標(biāo)志，即使是老司機有時候也會不知所措，反應(yīng)不及。有了商湯絕影的「交通標(biāo)志識別」功能，就相當(dāng)于有了靠譜的駕校教練坐鎮(zhèn)車內(nèi)，交通標(biāo)志的識別和解讀信息不僅準(zhǔn)確完善，車機系統(tǒng)還可以根據(jù)用戶詢問，給出駕駛建議，讓司機駕駛起來更加安穩(wěn)放心。

準(zhǔn)確識別“車道數(shù)即將減少”的交通標(biāo)志

“地陪達(dá)人”——沿途風(fēng)光識別

商湯絕影的原生流式多模態(tài)座艙產(chǎn)品還能夠?qū)ρ赝撅L(fēng)光進行識別，成為最強的地陪達(dá)人。大家免不了要接待來游玩的親朋好友，也不一定能夠?qū)Ξ?dāng)?shù)鼐包c進行充分的介紹，「沿途風(fēng)光識別」能夠進行車輛行駛途中的建筑物和景點的識別，準(zhǔn)確率高，達(dá)90%以上。在此基礎(chǔ)上，它還可以提供圖文介紹，詳細(xì)講解景點和建筑，相關(guān)的歷史典故、趣聞軼事等都能信手拈來，娓娓道出。

如果對這個沿途風(fēng)光感興趣，用戶可以詢問車機，進一步了解信息，比如，朋友問你某個路過小區(qū)的房價，它也能輕松準(zhǔn)確應(yīng)對。

不止如此，商湯絕影的沿途風(fēng)光功能還能結(jié)合不同用戶的需求，制定特色旅游路線并推薦給用戶，如網(wǎng)紅打卡路線、親子歡樂之旅、高校游覽路線、美食路線等，帶來全新的智慧出行體驗。

原生流式多模態(tài)，智能汽車通往AGI時代的鑰匙

商湯絕影全面行業(yè)領(lǐng)先的艙外識別功能離不開原生流式多模態(tài)大模型能力。

大模型的發(fā)展從單一模態(tài)到多模態(tài)已經(jīng)是不可阻擋的趨勢，人工智能（AI）想要提升全面理解世界和理解「人」的能力，向通用人工智能（AGI）演進，從而真正在工作和生活中幫助人類，AI就必須能夠支持并實現(xiàn)多種模態(tài)的感知、理解和交互，多模態(tài)能力是AI向AGI進化的核心推動力。

商湯絕影CEO、商湯科技聯(lián)合創(chuàng)始人、首席科學(xué)家王曉剛就表示，基于商湯「日日新5o」打造的原生流式多模態(tài)大模型讓世間萬物都可被感知、被理解、被交互。原生流式多模態(tài)大模型是讓文字、語音、視頻等模態(tài)一同輸入，模型統(tǒng)一處理后輸出相應(yīng)模態(tài)的信息。

原生流式多模態(tài)是一種非常自然且新穎的交互方式，將會成為一個全新的直接接觸用戶的超級入口，而智能汽車是這個超級入口的最佳落地場景。依靠智能汽車內(nèi)外各種常開的攝像頭，用戶可以實時跟汽車通過多模態(tài)的方式進行交互。同時，智能汽車的保有量不斷增加，能夠產(chǎn)生豐富的終端用戶反饋和數(shù)據(jù)信息，讓模型不斷迭代成長。

通過應(yīng)用場景和用戶需求驅(qū)動，以原生流式多模態(tài)大模型為基礎(chǔ)的座艙產(chǎn)品將能夠讓智能汽車高效準(zhǔn)確地全景感知和深度理解用戶需求和周圍環(huán)境，并以此為核心打通不同應(yīng)用，全局調(diào)用車上開放的軟硬件服務(wù)，將離散的單點功能聚合在一起，從而為用戶提供更多深度個性化的主動關(guān)懷和服務(wù)，讓智能汽車成為你的新助手、新伙伴乃至新的家庭成員。

現(xiàn)在，商湯絕影原生流式多模態(tài)大模型量產(chǎn)上車，大模型加速深度融入智能汽車，絕影正在用原生流式多模態(tài)這把鑰匙，打開智慧出行的AGI新時代。

商湯絕影的「家庭新成員」，邁出了成長第一步

智能座艙目前陷入了「冰箱彩電大沙發(fā)」的內(nèi)卷當(dāng)中，原生流式多模態(tài)帶來的自然、舒心的交互體驗或許能夠為車企突圍這一輪內(nèi)卷開辟出一條全新的路徑。

在去年11月的2024「絕影實力AI DAY」上，商湯絕影首發(fā)了AI汽車創(chuàng)新產(chǎn)品「A New Member For U」（你的家庭新成員），將會讓智能汽車擁有「有趣的靈魂」。

依托原生流式多模態(tài)大模型、車載類人記憶框架和持續(xù)運行框架等前沿AI汽車創(chuàng)新技術(shù)，商湯絕影打造的「家庭新成員」能夠察言觀色，無時不在，并且做到與你心有靈犀。

智能汽車從冰冷的工具和機械式的助手，進化為「你的家庭新成員」，是一個逐步轉(zhuǎn)型與成長過程。商湯絕影的原生流式多模態(tài)座艙產(chǎn)品量產(chǎn)上車，艙外識別能力覆蓋了座艙、汽車周邊的環(huán)境，這意味著「家庭新成員」開始逐步認(rèn)識世界、理解世界，邁出了成長的第一步。

這第一步邁得很踏實，首先，離不開商湯絕影強大的原生流式多模態(tài)大模型。在OpenCompass多模態(tài)評測榜單中，絕影多模態(tài)大模型的理解和推理能力排名第一，以此為基礎(chǔ)，「家庭新成員」能全面感知用戶的語音、表情、手勢、以及環(huán)境數(shù)據(jù)，并進行深度理解和推理思考。

同時，車端模型部署能力是智能汽車交互革新不可或缺的技術(shù)保障。商湯絕影在行業(yè)率先實現(xiàn)原生多模態(tài)大模型的車端部署，如今可實現(xiàn)首包延遲低至60毫秒以內(nèi)，推理速度40 Tokens/秒。以云側(cè)、端云結(jié)合、端側(cè)等全棧方式靈活部署多模態(tài)大模型，商湯絕影能快速、準(zhǔn)確響應(yīng)用戶的識別需求，并充分保護個人隱私和數(shù)據(jù)安全。

作為最專注于汽車行業(yè)的AI公司，商湯絕影在智能座艙領(lǐng)域具備豐富的量產(chǎn)經(jīng)驗。第三方調(diào)研數(shù)據(jù)顯示，商湯絕影在座艙視覺AI軟件市場的份額連續(xù)五年蟬聯(lián)第一，座艙AI大模型產(chǎn)品已上車智己全系車型、LEVC L380等車型。截至2024年底，商湯絕影已與超30家國內(nèi)外車企達(dá)成合作，覆蓋100余款車型，量產(chǎn)交付累計突破350萬輛。

基于領(lǐng)先的模型能力、全棧的模型部署能力和豐富的量產(chǎn)經(jīng)驗，商湯絕影能夠深入理解用戶需求并進行個性化設(shè)計，讓原生流式多模態(tài)座艙產(chǎn)品具備強大的復(fù)雜環(huán)境適應(yīng)能力，并且提供自然、流暢的交互體驗。

隨著艙外識別功能的量產(chǎn)交付，商湯絕影的各項領(lǐng)先AI技術(shù)都將逐步上車，「家庭新成員」也將持續(xù)學(xué)習(xí)與成長，加速智能汽車駛?cè)階GI時代。