週日. 7 月 14th, 2024

原題目:中新安康|復旦年夜學團隊研發AI年夜模子 助視障者“看見”世界

中新網上海3月2日電 (記者 陳靜)只需一枚攝像頭和一對耳機,畫面可以或許被轉化成說話,刻畫場景、提醒風險,讓視障者出行更平安、生涯更便捷……記者2日得悉,在復旦年夜學天然說話處置試驗室(FudanNLP)師生的盡力下,基于多模態年夜模子“復旦·眸思”(MouSi)為視障者量身打造的“聞聲世界”APP上線,將成為視障人士的生涯助手與智能管家。

2023年上半年,復旦年夜學天然說話處置試驗室發布了開闢MOSS對話式年夜型說話模子,被稱為中國版的GPT,僅用半年時光多模態模子私密空間“眸思”問共享空間世。據先容,“眸思”和基于文本的MOSS分歧,它可以或許懂得并辨認圖片內在的事務,努力于成為視障者的一雙“眸”。

基于“眸思”,“聞聲世界”APP為視障者日常生涯需求量身打造街道行走形式、不受拘束問答形式和尋物形式。在街會議室出租道行走形式中,“眸思”如一位忠誠的向導。紅綠燈、十字路口、妨礙物……它能細致掃描途徑情形,提醒潛伏風險,陪同視障者平安通行“看不見”的漫漫長路。

瑜伽場地在不受拘束問答形式中,“眸思”則像一位貼心的伴侶,走進博物館、藝術館、公園……捕獲周圍氣象的每個細節,用聲響構建豐盛的生涯場景,傳遞每一處日常之美。在尋物形式中,“眸思”將成為一名靠得住的管家,被變動位置過的枴杖、最愛口胃的牛奶……它可以讓視障人士找尋日常物件變得輕松。

復旦年夜學天然說話處置試驗室張奇傳授說:“人工智能成長一日千里,科技應當要轉變更多人的生涯,盼望‘眸思’可以或許輔助視障人士走落發門,讓他們可以測驗考試更多任務,為人生書寫更多能夠。”據先容,該項目標主導者都是“初出茅廬”的先生們,在組內腦筋風暴會上,年青學子總能提出首創性設法,可以或許找到另辟門路的處理措施。

自往年9月以來,復旦年夜學天然說話處置試驗室繚繞GPT4-v復現多模態年夜模子,對焦點要害點展開研討,盼望晉陞單項義務的正確率和強化年夜模子的進修。為了更好地感觸感染視障者的難處,團隊成員模仿真正的情境,蒙眼摸索視障者“暗中”世界。他們約請視障人士參加,進一個步驟摸清真正的而詳細的需求。

在基于幾億張圖片練習出“眸思”年夜模子基本上,針對視障者提出的各類需求,團隊又用上萬張圖片停止特別樣本練習,使“眸思”具有可以或許適配更多場景的才能。據流露,本年上半年,團隊將聯合AR進級APP內的定位精度細化至亞米級別。下半年,團隊盼望將“眸思”進級為基于錄像的家教判定。今朝,更多形式正在開闢中,好比,瀏覽形式、講解形式等。

據清楚,團隊打算與NGO組織、智算中間和硬件廠商等展開一起配合,努力于讓視障者不花錢應用產物和相干辦事。估計本年3月“聞聲世界”APP將完成第一輪測試,在中國一、二線城市和地域同步開啟試點,依據算力安排情形停止推行。(完)

By admin

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。

包養 包養網 包養 包養網 包養 包養網 包養 包養網 包養 包養網 包養 包養網 包養 包養網 網蟲 網蟲 網蟲 網蟲 網蟲 網蟲 網蟲 包養 包養網 包養 包養網 包養 包養網 包養 包養網 包養 包養網 包養 包養網 包養 包養網 網蟲 網蟲 網蟲 網蟲 網蟲 網蟲 網蟲 包養 包養網 包養 包養網 包養 包養網 包養 包養網 包養 包養網 包養 包養網 包養 包養網 網蟲 網蟲 網蟲 網蟲 網蟲 網蟲 網蟲 包養 包養網 包養 包養網 包養 包養網 包養 包養網 包養 包養網 包養 包養網 包養 包養網