面壁智能“小钢炮”模型开源:号称端侧全面对标 GPT-4V

资讯 » 新科技 2024-08-07

8 月 7 日消息,面壁智能昨日开源了 MiniCPM-V 2.6 模型,官方表示将端侧 AI 多模态能力拉升至全面对标GPT-4V 水平

官方称MiniCPM-V 2.6 模型仅 8B 参数,取得 20B 以下单图、多图、视频理解3 SOTA 成绩,有以下特点:

“三合一最强”端侧多模态:首次在端侧实现单图、多图、视频理解等多模态核心能力全面超越 GPT-4V,单图理解越级比肩多模态王者Gemini 1.5 Pro和新晋顶流GPT-4o mini 多项功能首次上端:实时视频理解、多图联合理解、多图 ICL视觉类比学习、多图 OCR等功能 最高多模态像素密度:类比知识密度,小钢炮 2.6 取得了两倍于 GPT-4o 的单 token 编码像素密度(token density) 端侧友好:量化后端侧 6G 内存可用;端侧推理速度达18 tokens / s,相比上代模型快 33%。发布即支持llama.cpp、ollama、vllm推理;且支持多种语言 统一高清框架:小钢炮的传统优势OCR 能力延续了其SOTA性能水平,并进一步覆盖单图、多图、视频理解

附开源地址:

GitHub: https://github.com/OpenBMB/MiniCPM-V HuggingFace:https://huggingface.co/openbmb/MiniCPM-V-2_6


免责声明:本网信息来自于互联网,目的在于传递更多信息,并不代表本网赞同其观点。其内容真实性、完整性不作任何保证或承诺。由用户投稿,经过编辑审核收录,不代表头部财经观点和立场。
证券投资市场有风险,投资需谨慎!请勿添加文章的手机号码、公众号等信息,谨防上当受骗!如若本网有任何内容侵犯您的权益,请及时联系我们。