我要投稿

读屏不靠截图：ChatGPT 客户端的原理、实现与边界

发布日期：2024-11-25 22:08:43 浏览次数： 2410

作者：赛博禅心

微信搜一搜，关注“赛博禅心”

ChatGPT 的 Mac 客户端现在可以连接常用的一些应用程序，比如 VSCode、XCode、iTerm2，这样可以直接就这些应用程序上的内容去提问，效果很棒！　

地址：https://openai.com/chatgpt/desktop　

它基于原生应用程序的能力以及加上用户对它的授权，可以获取到这些应用当前窗口的内容，然后将窗口的内容整理成提示词一起提交到 GPT，这样 GPT 就可以根据窗口内容来处理了，提示词类似于下面这样：　

<windows><instructions>
You are being provided with textfield content from windows the user has asked you to focus on.
</instructions><window><title>Visual Studio Code</title><app_name>Code</app_name><textfields><textfield id="窗口文件名">
【窗口内容】
</textfield></textfields></window></windows>

　

通过请求分析，可发现：它不是通过截图获取内容的，是直接获取窗口完整内容的，比如VSCode，需要额外安装插件以获取完整文本，所以窗口被遮挡也没关系。　

具体的请求分析

可以将鼠标悬停在 ChatGPT Mac 客户端横幅上，查看 ChatGPT 发送哪些内容。　

　

在历史消息中，鼠标悬停在消息顶部，也可以看发送过的内容。　

工程技巧与边界

仔细查看，发现：

使用编辑器和 IDE（Xcode、VS Code、TextEdit）时，ChatGPT 会包含打开的编辑器窗格的全部内容，直到达到最大长度限制被截断。
如果在编辑器中选择文本，ChatGPT 会重点关注选中的内容，窗口的全部内容仍然会包含在上下文中。
使用命令行窗口（Terminal、iTerm）时ChatGPT 包含最后 200 行内容。如果在窗口中选中文本，ChatGPT 将重点关注所选内容以及相邻文本，直至截断限制。

　

这个功能确实不错，但要说能替代 Cursor 那还太扯了：　

它不是项目级别的，只是窗口级别的，编程是要用到整个代码库的
它的结果不能自动更新回窗口，需要手动复制粘贴

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2026-02-28

Google说只有5%的人真正会用AI，他们做对了什么？

2026-02-28

技能即资产：从临时Prompt到可复用Skill的AI工程范式进化

2026-02-26

龙虾Token焦虑自救指南

2026-02-26

生成式 UI：框架、协议与实现类型

2026-02-24

从0到1搭好你的运维技能库：分享20个ClawHub20个Skills

2026-02-24

Anthropic 黑客松冠军项目 Everything Claude Code 完整上手攻略

2026-02-21

Prompt Caching：Claude Code背后的省钱神器，让AI编程成本暴降90%

2026-02-13

用Spring AI Alibaba把MultiAgent实现从5天压到5小时

联系获取

联系获取

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

如何在Cursor、Trae等工具中使用Skills？

2025-12-03

别再问“怎么写 Skill.md”了，直接抄生产级的Skills 库

2026-01-04

2025最新！NotebookLM一键出专业PPT，12套神级提示词直接抄

2025-12-26

一文带你看懂，火爆全网的Skills到底是个啥。

2026-01-13

OpenAI 官方发布 GPT Image 1.5 提示词指南（15+场景Prompt建议收藏！）

2025-12-17

Antigravity 新增 Skills 支持，前端 UI 开发效率飙升

2026-01-18

Cursor 的 5 种指令方法比较：AGENTS.md、规则（Rules）、命令（Commands）、技能（Skills）、子代理（Subagents）

2026-01-29

Spec Kit 实践：从 Prompt 工程到规范驱动开发

2025-12-02

Cursor、CC、Codex 直接用！上下文工程 Agent Skills 来了，一周狂揽 4k Star

2026-01-10

Claude Code创始人亲授13招，看完发现我一直在"青铜"操作

2026-01-04

大家都在问

Google说只有5%的人真正会用AI，他们做对了什么？

2026-02-28

Prompt caching 技术是如何实现 1 折的推理成本优化的？

2026-02-12

几句话就能复刻一个付费Skill，Skills商店还能卖什么？

2026-02-12

从 Prompt 到 Skills：如何把业务流程切开，塞进AI的“技能槽”里？

2026-02-08

Prompt 的本质是“思维压缩包”：如何从结果中反推创作者的认知模型？

2026-02-05

当AI能替你干活，什么能力决定你不可替代？

2026-02-05

Skills 真能取代 MCP 和 Prompts 吗？

2026-01-23

从“手搓 Prompt”到“无限循环”：AI 编码的下一个形态是“Ralph”吗？

2026-01-21

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS Skill 提示词技巧 AI+电商 AI面试数字员工 ChatBI AI知识库开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB Palantir Glean Openclaw

应聘简历请发送至： ceo@53ai.com

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部