我要投稿

读屏不靠截图：ChatGPT 客户端的原理、实现与边界

发布日期：2024-11-25 22:08:43 浏览次数： 2651

作者：赛博禅心

微信搜一搜，关注“赛博禅心”

ChatGPT 的 Mac 客户端现在可以连接常用的一些应用程序，比如 VSCode、XCode、iTerm2，这样可以直接就这些应用程序上的内容去提问，效果很棒！　

地址：https://openai.com/chatgpt/desktop　

它基于原生应用程序的能力以及加上用户对它的授权，可以获取到这些应用当前窗口的内容，然后将窗口的内容整理成提示词一起提交到 GPT，这样 GPT 就可以根据窗口内容来处理了，提示词类似于下面这样：　

<windows><instructions>
You are being provided with textfield content from windows the user has asked you to focus on.
</instructions><window><title>Visual Studio Code</title><app_name>Code</app_name><textfields><textfield id="窗口文件名">
【窗口内容】
</textfield></textfields></window></windows>

　

通过请求分析，可发现：它不是通过截图获取内容的，是直接获取窗口完整内容的，比如VSCode，需要额外安装插件以获取完整文本，所以窗口被遮挡也没关系。　

具体的请求分析

可以将鼠标悬停在 ChatGPT Mac 客户端横幅上，查看 ChatGPT 发送哪些内容。　

　

在历史消息中，鼠标悬停在消息顶部，也可以看发送过的内容。　

工程技巧与边界

仔细查看，发现：

使用编辑器和 IDE（Xcode、VS Code、TextEdit）时，ChatGPT 会包含打开的编辑器窗格的全部内容，直到达到最大长度限制被截断。
如果在编辑器中选择文本，ChatGPT 会重点关注选中的内容，窗口的全部内容仍然会包含在上下文中。
使用命令行窗口（Terminal、iTerm）时ChatGPT 包含最后 200 行内容。如果在窗口中选中文本，ChatGPT 将重点关注所选内容以及相邻文本，直至截断限制。

　

这个功能确实不错，但要说能替代 Cursor 那还太扯了：　

它不是项目级别的，只是窗口级别的，编程是要用到整个代码库的
它的结果不能自动更新回窗口，需要手动复制粘贴

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2026-06-01

18 个把 Claude 从 10% 用到 100% 的实操步骤

2026-05-31

写Prompt别再拽高级词汇了，用大白话效果反而更好

2026-05-30

Codex 入门最佳实践「OpenAI官方」

2026-05-29

天猫新品团队AI编码实战指南（下）

2026-05-27

我帮1000+程序员改过简历，把压箱底的提示词全公开了

2026-05-25

GPT-Image-2 提示词库：583+ 个真实可用的图像生成提示词

2026-05-25

Codex「自我蒸馏」提示词进化版！官方团队给出更强方案，一键打包你的专属工作流

2026-05-24

让你的 AI Agent更加听话

联系获取

联系获取

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

2026 Claude Skills 全岗位合集（新增篇）：6类全新岗位，18个高价值Agent Skill，告别无效加班

2026-03-07

OpenAI 发布 Codex 最佳实践指南：AI 编程工作流首次曝光

2026-03-13

别再裸用 Claude Code，这 20 个隐藏命令，太爽了

2026-03-18

GPT Image 2 提示词图库开源站点来了

2026-04-21

不再触发Claude使用限制，大幅降低Token的10个有效习惯！

2026-04-07

哭了！早知道这些Claude Code快捷键和命令，我能少熬80%的夜！

2026-03-05

TRAE 技术专家推荐：6个技巧让你的 Agent 更听话

2026-03-16

Claude Code终极指令速查表

2026-03-26

7 个 Karpathy 式提示词，让 Claude 变成你的研究员、工程师和思考搭档

2026-03-26

我逆向了 329 条 GPT-Image2 提示词模板，全部开源！

2026-04-25

大家都在问

Search Agent 要如何构造复杂有效的Query？

2026-05-23

写给产品经理的"AI工程"指南：提示词工程、上下文工程、Harness 工程到底是啥？

2026-05-16

AI 工程化实战：如何像设计函数参数一样设计 System Prompt？

2026-04-14

Google说只有5%的人真正会用AI，他们做对了什么？

2026-02-28

Prompt caching 技术是如何实现 1 折的推理成本优化的？

2026-02-12

几句话就能复刻一个付费Skill，Skills商店还能卖什么？

2026-02-12

从 Prompt 到 Skills：如何把业务流程切开，塞进AI的“技能槽”里？

2026-02-08

Prompt 的本质是“思维压缩包”：如何从结果中反推创作者的认知模型？

2026-02-05

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS Skill 提示词技巧 AI+电商 AI面试数字员工 ChatBI AI知识库开源大模型智能营销智能硬件 FDE AI+医疗 MaxKB Palantir Glean Openclaw

应聘简历请发送至： ceo@53ai.com

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部