字節最新發布了一個強悍的閉源多模態大語言模型Seed1.5VL，其技術報告內容簡非常坦誠，值得一讀。筆者將在本文帶大家按文章的寫作順序，一步步精讀這篇技術報告。概述??https:arxiv.orgabs2505.07062??Seed1.5VL由一個擁有532M參數的視覺編碼器和一個擁有20B活躍參數的MoELLM構成，在60個多模態視覺語言模型的Benchmark中有38個達到了SOTA。在GUI、視頻理解、視覺推理中表現出了極強的性能。目前Seed1.5VL是一個商用模型，...

4k分辨率的視覺預訓練：PS3Paper:??https:arxiv.orgabs2503.19903??Demo:??https:huggingface.cospacesbfshiVILAHDdemo??在之前介紹的高分辨率VLM系列中，我們見證了視覺語言模型，視覺編碼器逐漸從224384的固定低分辨率，通過動態切圖原生動態分辨率方法，逐漸走向了動態的高分辨率圖像輸入。想必對于讀過該系列的讀者，高分辨率在視覺領域的的重要性不用多說。英偉達團隊將視覺預訓練擴展到了4k分辨率，提出了方法PS3...

多模態的數據通過統一的向量表示，可以實現不同模態數據的互相檢索或者理解轉換，是多模態AI應用的基石。Jina.ai最近推出了全新的通用多語言多模態向量模型JinaCLIPv2，在實現強大跨模態檢索可能的同時，也為多模態RAG應用奠定了基礎。Paper:https:arxiv.orgabs2405.20204Model:https:huggingface.cojinaaijinaclipv2概覽JinaCLIPV2是一款通用的、多語言、多模態（文本與圖像）Embedding模型多模態embedding技術能夠通過一致的...

GPTo1通過強化學習訓練優化決策策略，并模擬人類思維鏈以深入理解問題，提供更準確的答案，在多個推理任務相關的榜單上實現了巨大的突破。而o1的思維過程是隱藏的。幻方旗下國產大模型公司DeepSeek近期預發布了R1模型，使用了強化學習訓練，回復里包含大量反思和驗證，思維鏈長度可達數萬字，并且沒有像o1一樣隱藏思維鏈。Demo:???https:chat.deepseek.com???[模型和技術報告將會開源]DeepSeekR1DeepSeekR1系列模型采用強...

近日，法國著名開源大模型平臺Mistral.ai，開源了一個1240億參數的超大多模態模型：PixtralLarge，在多個開源多模態評測上超越了GPT4o、Gemini1.5Pro、Claude3.5Sonnet、Llama3.2等商業模型或開源模型，成為目前最強的開源多模態大模型。?Demo:https:chat.mistral.aiBlog:https:mistral.ainewspixtrallargeModel:https:huggingface.comistralaiPixtralLargeInstruct2411太長不看第一梯隊的多模態性能在MathVista、DocVQA、VQAv...

最近在HuggingFace上有一個開源多模態模型引起了廣泛關注：Omnivision968M。這款模型以其不到1B參數量的小巧體積（僅968M參數量）脫穎而出，成為目前市場上最小的視覺語言模型之一。Blog:???https:nexa.aiblogsomnivision???Model:https:huggingface.coNexaAIDevomnivision968MOmnivision968M??Omnivision968M是由NexaAI這家創業公司推出（與國內做CMOS聞名的同名半導體企業Omnivision無關）。NexaAI的愿景是打造先進的端...

Ultralytics在YOLOVision2024活動上宣布發布其新的計算機視覺模型YOLO11。速度更快、更準確。模型已于今日開源。Homepage:???https:www.ultralytics.comzhyolo???Github:???https:github.comultralyticsultralytics???YOLO11YOLO11標志著YOLO家族的新篇章，提供了更強大，更多功能的模型，將計算機視覺帶到新的高度。憑借其完善的架構和增強的功能，該模型支持計算機視覺任務，如姿態估計和實例分割，視覺AI社區已...

BAAI剛剛開源了Emu3多模態大模型，僅使用單個transformer，使用下一個token預測的方法從0進行訓練！通過將圖像、文本和視頻tokenize到一個統一的離散的空間中，直接通過預測下一個token實現文本、圖像和視頻生成。Homepage:???https:emu.baai.ac.cn????Github:???https:github.combaaivisionEmu3???Model:https:huggingface.coBAAIEmu3GenEmu3Emu3在生成和感知任務中超越了多個任務的專用模型，表現優于主流開源模...

在LLM的訓練時，由于顯存不足以支撐起大batch訓練，通常大家都會采用一種策略：梯度累計（gradientaccumulate）。這種方法允許模型在多個batch的梯度回傳累計并求均值之后，再更新一次權重。這樣做相當于模擬了一個更大的批量大小，而實際上并沒有一次性處理那么多數據。這樣做的好處是，它可以減少內存的使用，因為不需要一次性加載所有數據到GPU上，同時也可以享受等價大batch帶來的訓練的穩定性和模型的泛化能力。但是近期大...

DeepSeek開源了一個僅1.3B大小的多模態大模型：Janus（兩面神），統一了多模態理解和生成。通過將視覺編碼解耦成獨立的pathway，同時僅使用一個統一的transformer架構進行處理。Janus在多模態理解和生成基準測試中超越了以往的統一模型，作為一個多模態“小”模型具有顯著的優勢。Paper:???https:arxiv.orgabs2410.13848????Github:???https:github.comdeepseekaiJanus???Model:https:huggingface.codeepseekaiJan...

如果說2023年見證了大語言模型的“寒武紀大爆發”，那么2024年則是多模態大模型“元年”。GPT4o的出現讓大家見識到多模態能力引入，給下游應用生態帶來的巨大改變。隨之而來的，RAG技術也將逐漸從單語言模態的RAG進化到多模態RAG。本文將帶大家速覽多模態RAG技術的原理及實現。什么是RAG什么是RAG：RetrievalAugmentedGeneration，檢索增強生成。是一種結合了信息檢索技術和大型語言模型提示功能的框架。它通過從數據源檢索信息...

OpenGVLab新作：VisionModelPretrainingonInterleavedImageTextDataviaLatentCompressionLearningGithub:??https:github.comOpenGVLabLCL??Paper:https:arxiv.orgabs2406.07543視覺backbone的數據瓶頸CLIP是第一個連接圖像和文本的基礎模型，但在大模型時代，僅憑對比學習的監督，已經不足夠讓下游視覺語言模型（VLM）取得足夠好的性能，尤其是在OCR等細粒度、高分辨率視覺任務上。而且這類方法通常要求圖像和文本數據嚴格...