長文本評測隨著大模型能夠處理的上下文信息越來越多，達(dá)到百萬級別的詞匯量，人們對于模型長文本能力的研究興趣也隨之增長。司南OpenCompass數(shù)據(jù)集社區(qū)已經(jīng)出現(xiàn)了諸如LEval、LongBench等長文本評測基準(zhǔn)。這些工作基于一些開源自建的數(shù)據(jù)集構(gòu)建樣本，其構(gòu)建評測集上的性能已可以一定程度上反映模型的能力。因此，在長文本評測這一工作里，我們認(rèn)為一個好的長文本評測集應(yīng)該具備以下性質(zhì)：樣本長度可控：測試樣本的上下文長度最好...

隨著人工智能技術(shù)的迅速發(fā)展，大模型在處理各種復(fù)雜任務(wù)中展示出了卓越的能力。特別是在網(wǎng)絡(luò)安全領(lǐng)域，大模型的應(yīng)用潛力巨大，它們可以幫助自動化處理大量數(shù)據(jù)、識別潛在威脅和提供安全建議。然而，新型大模型層出不窮，要有效利用這些模型，首先必須驗證它們在理解和處理網(wǎng)絡(luò)安全相關(guān)問題上的能力。4月19日凌晨，Meta開源了新一代LLaMa3模型。作為當(dāng)前最受矚目的大語言模型之一，LLaMa3在網(wǎng)絡(luò)安全領(lǐng)域的表現(xiàn)到底怎樣？如何將LL...

司南團(tuán)隊構(gòu)建了針對大語言模型超長文本能力的中英雙語測試框架——NeedleBench，專門用來壓力測試模型在處理長達(dá)百萬級上下文窗口中的檢索能力和推理能力。論文鏈接：http:arxiv.orgabs2407.11963Part1：為什么需要NeedleBench現(xiàn)在的大語言模型，如最近公開的GPT4o、GLM49B、InternLM2.5等，已經(jīng)擴(kuò)展了它們的上下文窗口，可以處理多達(dá)100萬個token的文本。然而，簡單地通過“NeedleInAHaystack”大海撈針要求LLMs提取關(guān)鍵信息，...

AIAgent（智能體）作為大模型的重要應(yīng)用模式，能夠通過使用外部工具來執(zhí)行復(fù)雜任務(wù)，完成多步驟的工作流程。為了能全面評估模型的工具使用能力，司南及合作伙伴團(tuán)隊推出了TEval評測基準(zhǔn)，相關(guān)成果論文已被ACL2024主會錄用。查看原文：https:arxiv.orgabs2312.14033?PART1為什么需要TEval？使用了工具的大語言模型有著驚艷的問題解決能力，但是如何評估模型的工具使用能力還有很大的探索空間。現(xiàn)有評估方法通常只關(guān)注模型處理單...

5月14日，OpenAI發(fā)布了GPT4o，支持文本、圖像、語音、視頻等多種形式的輸入，大幅提升了推理響應(yīng)的速度，在非英文任務(wù)上具有較大提升，并擁有比現(xiàn)有模型更強(qiáng)的視覺理解能力。我們第一時間對GPT4o模型的圖像文本多模態(tài)能力進(jìn)行了評測。OpenAI官方公布的視覺理解性能基于多模態(tài)大模型開源評測工具VLMEvalKit，我們在OpenVLMLeaderboard中的十二個圖文多模態(tài)評測集上測試了GPT4o的視覺能力。GPT4o(20240513)與此前的GPT4v版本在各...

長文本評測隨著大模型能夠處理的上下文信息越來越多，達(dá)到百萬級別的詞匯量，人們對于模型長文本能力的研究興趣也隨之增長。這些工作基于一些開源自建的數(shù)據(jù)集構(gòu)建樣本，其構(gòu)建評測集上的性能已可以一定程度上反映模型的能力。因此，在長文本評測這一工作里，我們認(rèn)為一個好的長文本評測集應(yīng)該具備以下性質(zhì)：樣本長度可控：測試樣本的上下文長度最好是可控的，以便于測量和比較模型在各個上下文長度下的能力變化（若測試集由不...

先放結(jié)論如果你想為你的項目挑選合適的圖文多模態(tài)模型，以下是一些可供參考的模型性能（括號內(nèi)為評測分?jǐn)?shù)）：已測性能最強(qiáng)的閉源模型：GPT4o（海外API模型，69.9）GLM4v（國內(nèi)API模型，60.8）已測位于"參數(shù)量性能"前沿上的開源模型：InternVLv1.5(26B,61.7)MiniCPMLlama3V2.5(8B,58.8)InternLMXComposer27B4KHD(7B,58.8)?MiniInternVL(4B,56.2;2B,49.8)本期的多模態(tài)模型性能榜單1.多模態(tài)大模型評測榜單構(gòu)成更新在4月底，司南多...

Flames是由上海人工智能實驗室和復(fù)旦大學(xué)聯(lián)合構(gòu)建的大語言模型價值對齊評測基準(zhǔn)，包含一個綜合性評測框架、高對抗性中文數(shù)據(jù)集和自動評分模型，囊括Fairness（公平）,Safety(安全)，Morality(道德)，DataProtection（數(shù)據(jù)保護(hù)），以及Legality（合法）五個大維度，F(xiàn)lames名字也來源于此。一、為什么需要Flames？當(dāng)前大語言模型在深層次的價值對齊和無害性方面存在諸多挑戰(zhàn)，高質(zhì)量的評測集可以有效評估模型的價值對齊情況。然而...

ChemBench是上海人工智能實驗室AIforScience團(tuán)隊自建的化學(xué)語言模型評測數(shù)據(jù)集，實現(xiàn)了大模型能力在化學(xué)領(lǐng)域的全面評估。研究團(tuán)隊從互聯(lián)網(wǎng)公開資源中采集并設(shè)計構(gòu)建了4100多道多項選擇題，每個選擇題只有一個正確答案。覆蓋了基于文本的分子生成、名稱轉(zhuǎn)換、性質(zhì)預(yù)測、溫度預(yù)測、分子描述、產(chǎn)率預(yù)測、溶劑預(yù)測、逆合成分析、產(chǎn)物預(yù)測九大化學(xué)任務(wù)。ChemBench評測任務(wù)介紹隨著大語言模型的飛速發(fā)展，一系列特定領(lǐng)域的垂類模型也...

隨著現(xiàn)代大語言模型（LLMs）如OpenAI的ChatGPT和GPT4的出現(xiàn)，LLMs展示了生成類人對話和解決復(fù)雜數(shù)學(xué)難題的非凡能力。從Meta在4月18日發(fā)布Llama38B&70B開始，Qwen開源的首個百B大模型Qwen1.5110B，到深度求索的MoE模型DeepSeekV2，還有近幾日OpenAI放出的大招GPT4o，號稱更低的價格，更強(qiáng)的性能，大家都號稱自己的新模型數(shù)學(xué)能力頂呱呱，但事實真是這樣嗎？如何透明化評測大模型的各項數(shù)學(xué)能力如今成了大家的難題，因為開源數(shù)據(jù)...