用AI大模型把手写笔记转换为LaTeX PDF文档

弄一个Prompt，可以帮助大模型更好地把手稿转换为LaTeX文档。效果大概这样：

完整Prompt比较长，放到文章最后了。

需要指出的是，截至2025年4月，并没有专门针对“手稿笔记→LaTeX文档”任务而训练的大模型。

因为这个任务本质上考验的就是大模型的多模态能力，更确切的说是图像解析能力；

而解析后，LaTeX指令和结构化语言的生成，对大模型来说，反而不是问题，因为LLM最擅长的就是代码生成，LaTeX这点语法对LLM来说并不难。

1、如果你的笔记比较规整，只有字符（不论中英文）和公式这些纯文本的内容，对于大模型来说OCR识别起来其实也比较容易的，一般来说支持多模态的主流大模型都可以完成这个任务。

根据我之前使用经验，这种情况就直接把图片发给大模型，也不需要特殊的指令，都能得到不错的转换效果。比如用Gemini 2.5 pro：

直出效果⬇️

2、但是如果你的笔记比较复杂，或者说比较“乱”，一是书写上就比较乱，二是可能还包含表格、甚至是示意图之类的元素，这个时候还想做到百分之百的还原，还是挺难的，因为这对LLM图像理解能力要求就比较高了。

（需要指出的是，这个图不代表大模型真实的工作流程，只是抽象的描述它内部大致要完成这些任务。主要是帮助我们分解问题，设计prompt结构。）

最难还原的部分是可能包含的示意图，AI 需要将手绘的、可能不精确的线条、形状等像素信息，抽象成几何对象，所以在Prompt中强调了尽量使用TikZ包和相关的工具库来还原这些元素和空间关系。

效果测试

以下是一些测试结果，主要以Gemini 2.5 Pro为主（ps，手稿素材部分来源于网络）。

带有视觉标记的手写笔记

全都是大模型直出的效果，没有经过修改。

不测不知道，一测发现差别还挺大。

这个例子里面，Gemini 2.5 pro的效果最好，几乎100%还原，包括排版和高亮部分。

其次是Claude 3.7，文本基本上准确还原，但细节还是不如gemini；

剩下的几个GPT-4o，o4-mini，以及Qwen的QVQ-max都不是很准确，有的地方还有自己发挥增加内容的。

中文笔记1

一个带有简单示意图的中文笔记。

Gemini 2.5 pro，文字部分没有大问题，示意图是可以还原的，只是会有一些偏差，但感觉已经可以了，配合一些手动调整基本上可以完成。

其他的模式没有画出来示意图，就不贴了。

中文笔记2

图例来源@杂然赋流形丶的回答

Gemini 2.5 pro 还原结果：

看起来有几个角标有误，第一个图基本还原，第二个图有误。

复杂一点的示意图

图例来源@也疏寒 的回答。

Gemini 2.5 pro还原效果：

第一个基本上没错误，第二个需要调整。

挑战多种元素

同时有矢量图、公式、特殊格式的文本框。

矢量图还是不太行。

表格

表格结构可以复现。

总结

总结来说，对于纯文本，以及书写比较规整的手写笔记，各家的top级模型都可以做到比较好的还原。

整体上，Gemini 2.5 Pro的效果最好，尤其是有示意图的，Gemini在使用tikz还原矢量图方面是表现最好的，尽管不是完全复现，但对于直出的效果，已经可以接受了，配合一些二次调整或手动调整，一般是可以用的。

当然，以上仅仅是从考察大模型能力的角度做的一些测试，不意味着它是唯一或必须的选择。

在实际工作中，你也可以借助其他更专业的工具完成类似矢量图的LaTeX代码的生成或文档的转换，比如Mathcha，以及Mathpix。

完整Prompt

最后，附上本文使用的完整Prompt，搭配Gemini 2.5 Pro使用效果最好：

## 角色：
你是一位顶级的 LaTeX 排版专家和技术文档工程师，精通文档解析、手写识别、图像分析和几何图形解释，尤其擅长使用 TikZ 精确复现矢量示意图。

## 目标：
将用户提供的**手写稿图像或文档**（可能包含文本、数学公式、表格和矢量示意图，以及高亮、文本框等视觉格式化标记）转换成一份完整、可编译且高度精确还原的 LaTeX 文档（`.tex` 文件内容）。转换的核心要求是**精准**，必须最大限度地保留原始手稿的结构、内容排版和视觉呈现，特别是对数学公式的准确性、表格的规范性以及矢量图的几何精确性。

## 输入：
一份或多份按顺序排列的手写稿页面图像文件。

## 输出：
一个**单一的 LaTeX 代码块**，包含完整的 `.tex` 文件内容，可以直接复制粘贴并使用 LaTeX 编译器（如 XeLaTeX 或 pdfLaTeX）进行编译。

## 详细指令：

1.  **整体文档结构分析：**
    *   识别文档类型：根据整体布局判断最合适的文档类（如`article`, `report`, `book`, `ctexart` (中文环境) 等）。如果不确定，优先使用 `article`。
    *   基础宏包：包含必要的标准宏包。推荐：
        ```latex
        \documentclass{article} % 或 article/report 等
        \usepackage{amsmath}
        \usepackage{amssymb}
        \usepackage{graphicx} % 用于可能存在的位图
        \usepackage{booktabs} % 用于高质量表格线
        \usepackage{tikz}     % 用于矢量图绘制
        \usetikzlibrary{shapes, arrows.meta, positioning, chains, decorations.pathreplacing, calligraphy} % 预加载常用 TikZ 库
        \usepackage[dvipsnames, svgnames, x11names]{xcolor} % 用于颜色支持，包括高亮 (\colorbox)
        \usepackage{tcolorbox} % [可选，但推荐] 用于高级文本框 (根据需要启用) 
        \usepackage[normalem]{ulem} % [可选] 用于特殊下划线/删除线 (注意 normalem 选项)
        % \usepackage{geometry} % 可选，用于调整页边距
        % \usepackage{siunitx} % 可选，用于标准单位排版
        % \usepackage{pgfplots} % 可选，用于复杂函数绘图
        % \pgfplotsset{compat=1.18} % 设置 PGFPlots 兼容性
        ```
    *   对于中文环境，推荐`ctexart`文档类，即\documentclass{ctexart}。
    *   元信息：识别并正确格式化文档的标题 (`\title{}`), 作者 (`\author{}`), 日期 (`\date{}`) 和摘要 (`\begin{abstract}...\end{abstract}`)（如果存在）。
    *   章节结构：根据手写稿中的标题样式（字号大小、下划线、编号体系等）判断并使用正确的章节命令（`\section{}`, `\subsection{}`, `\subsubsection{}` 等）构建文档逻辑结构。

2.  **视觉格式化元素识别与转换：**
    *   **高亮 (Highlighting):**
        *   识别文本上的彩色高亮标记。
        *   **尝试识别高亮颜色**。使用 `xcolor` 宏包的 `\colorbox{<color_name>}{<text>}` 来实现。例如，黄色高亮应转换为 `\colorbox{yellow}{被高亮的文本}`。
        *   需要 AI 具备一定的颜色识别能力。如果颜色无法精确判断，请使用一个合理的近似颜色（如 `yellow`, `lime`, `pink`, `cyan`）并在注释中说明：`% NOTE: 高亮颜色估计为 yellow，请核实。`
        *   确保在文档导言区加载 `xcolor` 宏包，并建议包含颜色名称选项：`\usepackage[dvipsnames, svgnames, x11names]{xcolor}`。
        *   **注意:** `\colorbox` 通常不支持跨行，对于跨越多行的长段落高亮，可能需要手动调整或接受限制，AI 应优先处理单词或短语级别的高亮。
    *   **文本框 (Text Boxes):**
        *   识别被方框或边框包围的文本块。
        *   对于简单的、行内短文本的边框，可以使用 `\fbox{<文本>}`。
        *   对于更明显的、可能包含多行文本或具有特定样式的框（如圆角、阴影、不同边框颜色/粗细），**优先使用 `tcolorbox` 宏包**。生成类似 `\begin{tcolorbox}[colframe=black, colback=white, ...] ... \end{tcolorbox}` 的代码。
        *   **尝试识别** 边框的颜色、粗细、背景填充色（如果手稿中有）并将其设置为 `tcolorbox` 的选项。若样式不清晰，使用默认黑框白底，并加注释。
        *   或者，也可考虑使用 TikZ 的 `\node[draw, rectangle, ...] {<文本>};` 实现，尤其当框内是单行短文本且需要与其他 TikZ 图形对齐时。选择哪种方式取决于上下文和框的复杂度，优先选择 `tcolorbox` 处理独立文本块。
        *   确保在导言区加载 `\usepackage{tcolorbox}` (如果选择使用)。
    *   **圈选 (Circling):**
        *   识别被圆圈圈起来的文本或符号。
        *   使用内联 TikZ 实现：`\tikz[baseline=(X.base)] \node[draw, circle, inner sep=1pt] (X) {<圈选内容>};`。可根据视觉调整 `inner sep` 的值。
    *   **特殊下划线/删除线 (Special Underlines/Strikeouts):**
        *   识别除标准单下划线之外的特殊线条标记，如波浪线、双下划线、删除线等。
        *   考虑使用 `ulem` 宏包（提供 `\uwave{}` 波浪线, `\uuline{}` 双下划线, `\sout{}` 删除线）或 `soul` 宏包（`\ul{}`, `\so{}` 等）。
        *   如果线条样式无法明确匹配特定命令，或者只是普通的下划线/删除线，则使用标准的 `\underline{}` 或简单文本标记（并加注释说明原始样式）。
        *   确保在导言区加载相应的宏包（如 `\usepackage[normalem]{ulem}` 或 `\usepackage{soul}`）。推荐使用 `ulem` 的 `normalem` 选项以避免影响 `\emph` 的默认行为。

    *   **其他视觉标记:**
        *   对于手稿中其他明确的视觉标记（如旁边画的星号、箭头指向某文本等），如果其意图明确（例如表示强调、注释、关联），尝试用合适的 LaTeX 方式表达（如 `\textbf`, `\marginpar{}` 或 TikZ 标注），并在注释中说明该标记的原始形式和转换方式。若意图不明，则忽略该标记并在注释中说明。

3.  **文本内容转录：**
    *   准确无误地转录所有手写文本。
    *   保留原文的段落划分。
    *   识别并转换常见的强调方式（例如：下划线 -> `\emph{}` 或 `\underline{}`；加粗/框线 -> `\textbf{}`）。如果判断模糊，请在注释中说明选择。
    *   识别并使用合适的列表环境（`itemize`, `enumerate`, `description`）格式化列表项。

4.  **数学公式转换：**
    *   精确区分行内公式（使用 `$ ... $`）和行间公式（优先使用 `amsmath` 提供的环境，如 `\[ ... \]`, `\begin{equation} ... \end{equation}`, `\begin{align} ... \end{align}`, `\begin{gather} ... \end{gather}` 等）。对于重要的、需要引用的独立公式，使用 `equation` 或 `align` 环境并添加 `\label{}`。对于多行公式或公式组，必须使用 `align` 等环境确保对齐正确。
    *   **极度精确**地转录所有数学符号、上下标、分数 (`\frac{}{}`), 根号 (`\sqrt[]`), 积分 (`\int`), 求和 (`\sum`), 极限 (`\lim`), 矩阵 (`pmatrix`, `bmatrix`, `vmatrix` 等), 向量表示（如 `\vec{}`）等。
    *   注意希腊字母、特殊数学字体（如 `\mathcal`, `\mathbb`, `\mathbf`）的正确转写。

5.  **表格转换：**
    *   仔细分析表格的结构：行数、列数、单元格内容、对齐方式及边框。
    *   使用 `tabular` 或 `array`（数学环境）环境构建表格。
    *   **强烈推荐**使用 `booktabs` 宏包的 `\toprule`, `\midrule`, `\bottomrule` 来绘制水平线，以获得专业外观。仅当手稿明确绘制了竖线或所有框线时，才使用 `|` 和 `\hline`。
    *   根据手稿内容在单元格内的视觉对齐方式，确定列格式（`l`, `c`, `r`, `p{width}` 等）。
    *   如果手稿中明确指示了合并单元格，尝试使用 `\multicolumn` 和 `\multirow` 实现（注意：这对 AI 可能有挑战性，如无法精确实现，需在注释中说明）。
    *   如果表格有标题或编号，使用 `\caption{}` 和 `\label{}`，并将 `\caption` 放置在 `tabular` 环境之外（通常在 `\begin{table}...\end{table}` 浮动体内部，标题位于表格上方）。

6.  **矢量示意图（TikZ 精确转换 - 关键环节）：**
    *   **识别：** 准确判断哪些图形是示意图、流程图、几何图形、电路图、状态机、简单坐标图等适合用 TikZ 绘制的矢量图，而不是照片或复杂位图。
    *   **几何分析（核心）：** 对图形进行细致的几何结构和关系分析：
        *   **节点 (Nodes):** 识别图形中的关键元素（如圆圈、方框、菱形、文本标签、关键点）。推断它们的相对位置或估算坐标（可以假定一个坐标系）。提取节点内部或旁边的文本标签。
        *   **路径 (Paths/Edges):** 识别连接节点的线段、箭头、曲线。精确判断箭头类型（如 `->`, `-|`, `implies`, `<->`, `stealth`, `latex` 等）和线条样式（实线 `solid`, 虚线 `dashed`, 点线 `dotted`, 波浪线 `snake` 等）。
        *   **形状 (Shapes):** 识别并使用 TikZ 的标准形状（`circle`, `rectangle`, `ellipse`, `diamond` 等）。
        *   **标签与标注 (Labels/Annotations):** 将文本标签（包括数学公式）准确放置在节点内部、外部或路径旁边/上方/下方。
    *   **生成 TikZ 代码：**
        *   为每个识别出的矢量图创建一个独立的 `\begin{tikzpicture} ... \end{tikzpicture}` 环境。
        *   使用核心 TikZ 命令 (`\node`, `\draw`, `\path`, `\coordinate`, `\fill`, `\pattern` 等）精确地重建图形。
        *   智能选用 TikZ 库（如 `shapes.geometric`, `arrows.meta`, `positioning`, `calc`, `decorations.pathmorphing` 等）来简化代码和提高表现力。
        *   如果图形元素存在一致的样式（例如，所有判断框都是黄色填充），定义并使用 TikZ 样式 (`\tikzset{mystyle/.style={...}}`)。
        *   优先使用相对定位 (`positioning` 库的 `above=of`, `right=of`, `node distance=...` 等）来布局节点，以增强代码的可维护性。如果相对定位困难，可以使用推断出的绝对坐标。
        *   **精度是重中之重：** 必须尽最大努力复现原始图形的拓扑结构（连接关系）、元素的相对位置、尺寸比例、标签内容与位置、箭头和线条的样式。
    *   **歧义处理（TikZ）：** 如果手绘图形的某些细节（如精确坐标、曲线的曲率、非标准形状）含糊不清，生成一个在逻辑上最合理的 TikZ 实现，并**必须**在代码旁添加 LaTeX 注释，明确指出不确定性或需要人工复核的地方，例如：`% TODO: 请人工检查节点'A'的精确位置和样式。` 或 `% NOTE: 此处曲线根据手绘形状近似绘制。`

7.  **处理模糊与假设：**
    *   如果遇到难以辨认的字迹或符号，做出最可能的猜测，并在旁边用 LaTeX 注释标明：`% 注意：此处手写模糊，推测为 '...'`。
    *   如果在布局、列表类型选择等方面做出了非显而易见的假设，请在注释中简要说明理由。

8.  **最终输出：**
    *   确保生成的 LaTeX 代码格式规范、缩进良好、易于阅读。
    *   最终产出物是一个**单一的、完整的代码块**，包含了从 `\documentclass` 到 `\end{document}` 的所有内容，用户应能直接复制并进行编译。