微信扫码
添加专属顾问
我要投稿
成果负责人
禹文豪,中国地质大学(武汉)地理与信息工程学院,教授,博士生导师,主要从事地图综合、空间数据挖掘及大模型等研究。(联系邮箱:yuwh@cug.edu.cn;个人网站:
http://grzy.cug.edu.cn/yuwenhao/zh_CN/index.htm)
系统演示链接
网址:https://www.bilibili.com/video/BV1dpszeoEew(点击左下“阅读原文”可直接访问)。
成果介绍
比较自然图片,地图在符号、文字注释、幅面等方面均有其特殊性,一般大模型难以理解其高度抽象的表达形式和内容,亟需建立专业的地图分析大模型与软件系统。MapReader是一个用于地图分析的大型视觉语言模型,在识别地理对象及其空间关系等方面取得了显著改进,其可提供比一般视觉语言模型更详细的地图内容描述。该模型的参数规模为17B(170亿),主要由两个核心组件构成:Vision Transformer (ViT) 编码器和预训练的大型语言模型(LLM)。ViT负责接收图像数据并将其处理为视觉特征,而LLM则利用这些视觉特征和文本嵌入生成符合要求的文本。在此过程中,我们使用EVA2-CLIP-E作为ViT编码器,Vicuna1.5-7B作为LLM。为了使模型适应地图领域,我们收集了2000对高质量的地图文本对数据进行微调。训练策略采用了LoRA微调,将LoRA应用于ViT和LLM。ViT中的附加分支通道旨在增强大模型对地图样式的理解,而LLM中的附加分支通道则专注于学习专业地图描述的风格。具体而言,LoRA被应用于ViT编码器的每个Transformer层,以及LLM中的Q、K和V矩阵和多头自注意力层。这一策略有效减少了训练所需的参数数量,从而降低了计算成本。MapReader处理的最大目标长度为2048个tokens。预训练过程在4个A100 GPU上进行。
53AI,企业落地大模型首选服务商
产品:场景落地咨询+大模型应用平台+行业解决方案
承诺:免费场景POC验证,效果验证后签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2025-04-30
用AI大模型把手写笔记转换为LaTeX PDF文档
2025-04-30
Qwen能吞下整本扫描版PDF,直接转Word了,这波操作太赞了!
2025-04-28
3D 小白亲测:用 Trae + Blender MCP 从零开始 AI 建模(附踩坑指南)
2025-04-27
行业落地分享:作业帮问答检索系统实践
2025-04-27
大模型赋能CAD图纸智能识别与集成实战指南
2025-04-25
英伟达推出 Describe Anything 3B AI 模型了
2025-04-24
OpenAI 图像生成 API 开放!开发者也能“一键出图”了
2025-04-24
OpenAI终于放出图像生成模型 API ,Midjourney危!
2024-09-12
2024-06-14
2024-06-17
2024-08-06
2024-08-30
2024-05-30
2024-11-28
2024-10-07
2024-10-16
2024-04-21
2025-04-08
2025-04-05
2025-03-30
2025-03-26
2025-03-05
2025-03-02
2025-01-08
2024-12-13