推荐语

字节跳动开源MineContext，用AI主动帮你整理碎片信息，让知识管理更智能高效。

核心内容：
1. 主动式上下文感知技术：每5秒智能截屏分析，自动生成日报待办
2. 隐私优先设计：本地存储+云端分析混合架构，支持完全离线模式
3. 多模态扩展能力：未来将兼容文档/视频/代码等全类型信息处理

杨芳贤

53AI创始人/腾讯云(TVP)最具价值专家

在数字化时代，人们面临着海量信息的挑战，如何高效地管理和利用这些信息成为了一个亟待解决的问题。MineContext 作为字节跳动开源的主动式上下文感知 AI 工具，通过挖掘数字生活中的“方块”，帮助用户高效管理知识和信息，为用户提供了一种全新的信息管理方式。

一、项目概述

MineContext 是一个主动式上下文感知 AI 工具，它通过每 5 秒截取一次屏幕，经过处理后，批量发送给视觉语言模型（VLM）分析，提取出人物、产品、公司档案等六种结构化上下文，主动生成日报、待办、洞察等高质量信息，而非被动等待用户提问。它采用存储本地、分析云端的混合架构，包含元模型、采集器、存储层、更新引擎和接口层五个核心组件，以隐私优先，所有数据存储在本地，确保用户信息安全。

二、核心功能

（一）屏幕信息挖掘与分析

MineContext 能够每 5 秒截取一次屏幕，通过 pHash 算法进行去重处理，避免重复信息的分析，提高效率。然后将截图批量发送给视觉语言模型（VLM）进行分析，提取出结构化的上下文信息，涵盖人物、产品、公司档案等六种类型。

（二）主动生成信息

与传统的被动式信息管理工具不同，MineContext 能够主动推送高质量信息，如日报、待办、洞察等，无需用户被动提问。它会根据用户的上下文信息，自动生成总结和待办事项，帮助用户更好地管理和规划工作。

（三）多模态信息处理

MineContext 不仅支持屏幕截图，未来还将兼容文档、图片、视频、代码、外部应用数据等多模态信息来源。这使得用户可以将各种类型的信息整合在一起，形成一个完整的知识体系。

（四）隐私保护

MineContext 非常注重用户隐私，所有数据存储于本地，确保用户隐私和信息安全。此外，它还支持自定义模型服务，用户可以使用完全本地的模型，确保数据不会离开本地环境。

（五）开源与定制化

作为一个开源项目，MineContext 允许开发者自由检查、修改和构建代码库，实现完全定制化。这使得用户可以根据自己的需求和喜好，对工具进行个性化的调整和优化。

（六）成本控制

用户可以使用自己的API 密钥，避免订阅费用，实现成本自主控制。这使得 MineContext 成为一个经济实惠的信息管理工具，适合各种规模的用户使用。

三、技术揭秘

（一）屏幕截图与去重

MineContext 通过每 5 秒截取一次屏幕，利用 pHash 算法进行去重处理，避免重复信息的分析，提高效率。这种技术确保了系统能够快速处理大量的屏幕截图，同时减少了不必要的计算资源浪费。

（二）多模态信息分析

MineContext 利用视觉语言模型（VLM）对屏幕截图等多模态信息进行分析，提取结构化的上下文信息。这种技术使得系统能够理解各种类型的信息，并将其转化为有用的结构化数据。

（三）混合架构设计

MineContext 采用存储本地、分析云端的混合架构，确保数据隐私的同时，利用云端的强大计算能力进行高效分析。这种架构设计既保证了用户数据的安全性，又提高了系统的性能和效率。

（四）核心组件协同

MineContext 包含元模型、采集器、存储层、更新引擎和接口层五个核心组件，这些组件协同工作以实现上下文的采集、存储、更新和调用。这种模块化的设计使得系统具有良好的可扩展性和可维护性。

（五）事件驱动更新

MineContext 基于事件驱动机制进行上下文更新，支持延迟、批量和优先级处理，提高系统的响应速度和灵活性。这种技术使得系统能够快速响应用户的操作，并及时更新上下文信息。

（六）开源与可扩展性

作为开源项目，MineContext 提供 SDK、RPC 和 PubSub 等接口，方便开发者进行定制化开发和扩展。这使得用户可以根据自己的需求，对系统进行个性化的调整和优化。

四、应用场景

（一）知识工作者

对于知识工作者来说，MineContext 能够帮助他们处理海量信息，快速提取关键内容，生成总结和待办事项，提升工作效率。它可以帮助研究人员、分析师等快速找到所需的信息，并将其整合到自己的工作中。

（二）内容创作者

对于内容创作者来说，MineContext 能够挖掘灵感来源，整合素材，提供创作方向和思路，辅助内容生成。它可以帮助作家、博主等快速找到灵感，并将其转化为高质量的内容。

（三）终身学习者

对于终身学习者来说，MineContext 能够构建系统知识体系，记录学习过程，生成学习报告和复习计划，助力知识巩固。它可以帮助学生、研究人员等更好地管理自己的学习过程，并提高学习效率。

（四）项目管理者

对于项目管理者来说，MineContext 能够整合多方信息，跟踪项目进度，生成项目总结和下一步计划，优化项目管理。它可以帮助产品经理、项目经理等更好地管理项目进度，并提高团队协作效率。

（五）企业内部应用

在企业内部，MineContext 可以作为知识管理和信息共享工具，提升团队协作效率，促进知识传承。它可以帮助企业更好地管理内部知识和信息，提高团队的工作效率。

（六）个人数字生活

在个人数字生活中，MineContext 可以管理个人数字活动，设置特色图片如社交媒体使用、在线学习等，提供个性化洞察和建议。它可以帮助用户更好地管理自己的数字生活，并提高生活质量。

五、快速使用

（一）环境准备

在开始部署MineContext 之前，需要进行环境准备。如果尚未安装Python，请从官方网站下载并安装 Python。

1. 克隆仓库

使用Git 克隆 MineContext 的 GitHub 仓库。

git clone https://github.com/volcengine/MineContext.gitcd MineContext

2.安装依赖

安装项目所需的依赖项。

uv syncsource .venv/bin/activate./build.sh

3.配置文件

根据需要修改配置文件`config/config.yaml`。

- 设置存储路径、日志级别等参数。

- 配置 API 密钥，例如使用 Doubao 模型。

server:host: 127.0.0.1port: 8765debug: falseembedding_model:provider: doubaoapi_key: your-api-keymodel: doubao-embedding-large-text-240915vlm_model:provider: doubaoapi_key: your-api-keymodel: doubao-seed-1-6-flash-250828capture:enabled: truescreenshot:enabled: truecapture_interval: 5

4.启动服务

启动MineContext 服务。

uv run opencontext start

（二）使用指南

1. 启动截图功能：进入 `Screen Monitor`，启用系统屏幕共享权限。设置截图区域后，点击 `Start Recording` 开始截图。

2. 查看生成的信息：系统会自动在后台生成待办事项、提示、总结和活动记录。你可以在主页面查看这些信息，并进行进一步的操作。

3. 与 AI 对话：通过 `Chat with AI` 功能，你可以与 AI 进行对话，获取更详细的分析和建议。

六、结语

MineContext 作为字节跳动开源的主动式上下文感知 AI 工具，为用户提供了一种全新的信息管理方式。它通过屏幕信息挖掘、主动生成信息、多模态信息处理、隐私保护等功能，帮助用户高效管理知识和信息。无论你是知识工作者、内容创作者、终身学习者、项目管理者，还是企业内部员工，MineContext 都能为你提供强大的支持。