雙語(yǔ)理解視覺(jué)模型 360 FG-CLIP2：登頂全球最強(qiáng)圖文跨模態(tài)模型

2025-11-06 17:32

現(xiàn)有的模型在精確對(duì)齊視覺(jué)內(nèi)容與語(yǔ)言描述方面的能力仍然有限，尤其是在非英語(yǔ)環(huán)境下。模型往往難以捕捉物體屬性、空間關(guān)系和語(yǔ)言表達(dá)中的精細(xì)細(xì)節(jié)，并且對(duì)雙語(yǔ)理解的支持也有限。

近日，360 發(fā)布了 FG-CLIP 2，這是一款英語(yǔ)和漢語(yǔ)細(xì)粒度視覺(jué)語(yǔ)言理解的基礎(chǔ)模型。

在 29 個(gè)數(shù)據(jù)集和 8 項(xiàng)不同的任務(wù)中，它超越了 SigLIP 2 和 MetaCLIP 2，在兩種語(yǔ)言中都取得了迄今為止報(bào)道的最佳性能。

FG-CLIP 2 由 4 個(gè)關(guān)鍵部分組成：

豐富的細(xì)粒度監(jiān)管：該方法包含區(qū)域-文本匹配和長(zhǎng)標(biāo)題建模，以及多種判別性目標(biāo)。此外，我們還引入了文本內(nèi)模態(tài)對(duì)比（TIC）損失函數(shù)，以更好地區(qū)分語(yǔ)義相似的標(biāo)題。
雙語(yǔ)多模態(tài)數(shù)據(jù)：FG-CLIP 2 使用精心挑選的大規(guī)模英語(yǔ)和漢語(yǔ)混合數(shù)據(jù)進(jìn)行訓(xùn)練，實(shí)現(xiàn)了強(qiáng)大的雙語(yǔ)性能。
表現(xiàn)：在 8 項(xiàng)任務(wù)的 29 個(gè)數(shù)據(jù)集上進(jìn)行的大量實(shí)驗(yàn)表明，F(xiàn)G-CLIP 2 的性能優(yōu)于現(xiàn)有方法，在兩種語(yǔ)言中均取得了最先進(jìn)的結(jié)果。
中國(guó)多模態(tài)基準(zhǔn)測(cè)試：為了進(jìn)行嚴(yán)格的評(píng)估，我們提出了一個(gè)新的中文多模態(tài)理解基準(zhǔn)，其特點(diǎn)是長(zhǎng)標(biāo)題檢索和邊界框分類。

框架與數(shù)據(jù)

360 團(tuán)隊(duì)采用兩階段分層學(xué)習(xí)框架，從全局語(yǔ)義到細(xì)粒度細(xì)節(jié)逐步增強(qiáng)視覺(jué)語(yǔ)言的一致性。

第一階段：全局語(yǔ)義對(duì)齊。首先使用大規(guī)模的圖像-文本對(duì)，每個(gè)圖像-文本對(duì)都標(biāo)注了簡(jiǎn)短的場(chǎng)景描述和詳細(xì)的上下文信息�；诖穗p語(yǔ)語(yǔ)料庫(kù)的訓(xùn)練能夠?qū)崿F(xiàn)強(qiáng)大的全局對(duì)齊，為英語(yǔ)和漢語(yǔ)的跨模態(tài)理解奠定堅(jiān)實(shí)的基礎(chǔ)。
第二階段：精細(xì)視覺(jué)語(yǔ)言學(xué)習(xí)。在全局對(duì)齊表示的基礎(chǔ)上添加了區(qū)域級(jí)監(jiān)督和多個(gè)細(xì)粒度的旨在加強(qiáng)本地溝通。此階段包括：

細(xì)粒度視覺(jué)學(xué)習(xí)：通過(guò) RoIAlign 提取的區(qū)域特征和短語(yǔ)級(jí)描述進(jìn)行區(qū)域-標(biāo)題對(duì)齊。
細(xì)粒度文本學(xué)習(xí)：使用具有擾動(dòng)屬性的硬否定詞來(lái)區(qū)分細(xì)微的文本差異。
全局閾值同步的跨模態(tài)排名損失：具有全局同步閾值的動(dòng)態(tài)間隔排名，用于穩(wěn)定地挖掘困難的負(fù)樣本。
文本內(nèi)模態(tài)對(duì)比損失：語(yǔ)言內(nèi)對(duì)比學(xué)習(xí)，用于區(qū)分語(yǔ)義相似但不同的區(qū)域標(biāo)題。

數(shù)據(jù)方面，第一階段使用來(lái)自不同來(lái)源的圖像-文本對(duì)進(jìn)行訓(xùn)練。英文部分使用線性混合模型 (LMM) 生成的詳細(xì)長(zhǎng)文本對(duì)來(lái)增強(qiáng)原始的簡(jiǎn)短圖像描述。中文則結(jié)合了三個(gè)數(shù)據(jù)集：Wukong（1 億個(gè)圖像-文本對(duì)）、Zero（2.5 億個(gè)圖像-文本對(duì)）以及一個(gè)大規(guī)模的內(nèi)部數(shù)據(jù)集（5 億個(gè)圖像-文本對(duì)）。

第二階段使用細(xì)粒度的區(qū)域-文本對(duì)擴(kuò)展訓(xùn)練。英文使用 FineHARD 數(shù)據(jù)集，該數(shù)據(jù)集包含 1200 萬(wàn)張圖像、4000 萬(wàn)個(gè)帶有細(xì)粒度區(qū)域描述的邊界框以及 1000 萬(wàn)個(gè)難負(fù)樣本。中文則使用一個(gè)包含 1200 萬(wàn)張圖像的內(nèi)部數(shù)據(jù)集。

雙語(yǔ)的強(qiáng)大泛化能力

FG-CLIP 2 在 29 個(gè)數(shù)據(jù)集和 8 項(xiàng)任務(wù)中均取得了優(yōu)異的性能，包括細(xì)粒度理解、邊界框分類、開(kāi)放詞匯目標(biāo)檢測(cè)、長(zhǎng)短描述圖像文本檢索、零樣本圖像分類、開(kāi)放詞匯分割以及大型多模態(tài)模型 (LMM) 任務(wù)，展現(xiàn)了其在英語(yǔ)和漢語(yǔ)雙語(yǔ)中的強(qiáng)大泛化能力。

如下圖所示，暖色調(diào)表示圖像區(qū)域與匹配文本的相似度更高。與前代版本相比，F(xiàn)G-CLIP 2 支持更密集的視覺(jué)特征輸出，并實(shí)現(xiàn)了更強(qiáng)的雙語(yǔ)語(yǔ)義對(duì)齊和更細(xì)粒度的感知能力。

360 現(xiàn)已發(fā)布了模型、代碼和基準(zhǔn)測(cè)試。官方稱在未來(lái)的工作中將致力于擴(kuò)展模型以處理更長(zhǎng)的文本輸入，并顯式地對(duì)對(duì)象之間的關(guān)系結(jié)構(gòu)進(jìn)行建模，從而實(shí)現(xiàn)更豐富的細(xì)粒度多模態(tài)理解。

參考資料：

https://360cvgroup.github.io/FG-CLIP/

https://arxiv.org/pdf/2510.10921