余弦

简体中文

English

简体中文

English

外观

GPT 算不对的平面几何题，13B 小模型为什么能解？——AAAI-25 GNS 论文精读

4188 字约 14 分钟

gnsneural-symbolicgeometrypaper

2026-07-29

01 用13B小模型击败GPT-4o：平面几何这道「送分题」为何难倒一众AI

GPT-4o 答错了。Gemini-1.5-Flash 也答错了。

题目很简单：三角形 ABC 被 DE 垂直平分，三角形 ABC 的面积是 8.0，求三角形 ADE 的面积。

GPT-4o 写了一段看起来十分正确的推理——它判断 DE 是 BC 的垂直平分线，然后正确指出三角形 ADE 和 ABC 相似，却在比例这一步翻车，给出了错误答案。Gemini-1.5-Flash 更是直接写错了比例关系。

而一个仅有 7B 参数、经过特殊微调的小模型，用一段清晰的「勾股定理 → 比例计算 → 符号求解程序」流水线，得到了正确答案。

这不是一个偶然的案例。2024 年 5 月，OpenAI 发布 GPT-4o 时，它在 MathVista 数学推理基准的几何问题求解子任务上拿下了 60.6% 的准确率——对于一个拥有约 1.8 万亿参数、训练成本数亿美元的超级模型，这已经是当时顶尖水平。然而仅仅数月后，一篇来自 AAAI-25 的论文，用一个仅 4.2B 参数的模型将这一数字推到了 63.9%，超越 GPT-4o 和 Gemini Ultra，登顶该任务榜首。

这篇论文的方法不是更大的模型、更多的数据、更长的训练，而是一个在 AI 领域被讨论多年但少有成功实践的思路——把符号推理带回神经网络。

文章主旨：本文提出 GNS（Geometry Neural-Symbolic）框架，通过将平面几何问题中的视觉信息显式解析为符号子句，让 MLLM 先「看懂」几何图形，再用符号求解器做精确计算，从而在多个基准上以远小于 GPT-4o 的模型规模取得了更优的 PGP 求解性能。

不同基座 MLLM 在使用 GNS 框架微调前后在 MathVista 几何问题求解任务上的准确率对比。所有模型在 GNS 框架下均有显著提升，其中 Phi3-Vision-4.2B 达到 63.9%，超越 GPT-4o 的 60.6%。

02 论文信息卡与一句话总结

项目内容
论文标题GNS: Solving Plane Geometry Problems by Neural-Symbolic Reasoning with Multi-Modal LLMs
论文类型/会议方法论文 / AAAI-25（CCF-A 类）
研究任务平面几何问题（PGP）求解
核心方法神经-符号（Neural-Symbolic）MLLM 框架，包含知识预测、符号解析、问题推理、符号计算四个模块
技术路线MLLM 全参数微调 + 结构化提示流水线 + SymPy 符号求解
是否训练是——全参数微调
数据集GNS-260K（基于 PGPS9K、GeoQA+、Geo170K 构建；9,426 张独立图形，扩增至 260K 样本）
核心结果MathVista GPS 63.9%（#1，超越 GPT-4o 60.6%）；GeoQA 新 SOTA；MathVerse 显著提升
关键词Plane Geometry Solving, Neural-Symbolic Reasoning, MLLM, Symbolic Parsing, GNS-260K

一句话总结： 本文提出 GNS（Geometry Neural-Symbolic）框架，通过让 MLLM 学习将几何图形显式解析为符号子句（symbolic clauses），再结合知识预测、推理和外部符号求解器（SymPy）执行精确计算，实现了以 4.2B-13B 参数级别的模型超越 GPT-4o（约 1.8T 参数）在平面几何问题求解上的性能。论文同时发布了目前最大的 PGP 多任务数据集 GNS-260K。

03 为什么这个问题本质上很难

平面几何问题求解在 AI 领域长期得不到充分解决，原因不是「模型不够大」，而是问题的输入结构和推理过程天然构成两个层面的困难。

第一层：视觉-文本异构输入的「信息缺口」。

大多数 PGP 的文本描述极其简短。一个典型问题可能只写「Find RT」或者「求 ∠ABC 的度数」，而几乎所有几何信息——点的位置、线的长度、角的大小、图形的形状——都隐藏在图中。MLLM 的预训练数据以自然场景图片为主，几何图形在其中占比极小，导致模型天然欠缺对几何结构的感知能力。

第二层：推理过程对精确性的刚需。

数学推理不同于文本理解。在自然语言中，「大致相同」「基本上等于」是可接受的表达，但在几何问题中，比例关系错一点点，最终答案就会从 10 变成 20——错误率指数级放大。而 LLM 在数值计算上有已知缺陷：它擅长模式匹配，不擅长精确运算。

第三层：多步推理的误差累积。

一个典型的 PGP 解题路径是：识别图形元素 → 判断几何定理类别 → 建立方程 → 解方程求值。每一步的错误都会传递到下一步。如果模型在一开始错把相似关系判断错，后面的所有推理都是无用功。

平面几何问题求解的三个本质困难：跨模态信息缺口、计算精确性刚性和多步推理的误差累积效应。

04 现有方法为什么不够

在 GNS 之前，平面几何问题求解的研究可以大致分为四条路线：

方法路线代表性工作核心优势关键局限
早期规则方法Seo et al. (2014, 2015)[1]手工建立了解题框架数据集规模很小，规则刚性，无法应对题型变化
神经网络方法NGS, UniGeo[2][3]通过视觉问答+专用程序自动解题几何图形理解粒度粗，未显式解析元素
符号方法Inter-GPS, FormalGeo[4][5]形式化语言表示 + 强符号推理能力数据有限、规则需预定义、无法生成自然语言解题描述
MLLM+数据增强G-LLaVA + Geo170K[6]首次将数据集扩展到 170K 规模，可生成自然语言解释仅将 PGP 当通用 QA 处理，缺乏显式几何元素理解

这些方法的一个核心问题是：它们要么依赖手工预定义的规则，要么完全依赖神经网络隐式学习，但没有一种方案同时具备神经网络在理解上的灵活性和符号系统在推理上的精确性。

平面几何问题求解方法的演进路线图。GNS 是首个在理解和推理两个维度同时达到高水平的神经-符号框架。

05 核心方法：论文到底提出了什么

GNS 是一个四模块流水线框架。给定一个平面几何问题 P=[Q,I]P = [Q, I]（QQ：文本问题，II：几何图形），GNS 按以下顺序执行：

文本问题(Q) + 几何图形(I)
      │
      ├──→ [知识预测]    —— 确定解题需要的几何定理类别
      │
      ├──→ [符号解析]    —— 将图形和文本解析为符号子句
      │
      └──→ [问题推理]    —— 结合图形、知识和子句做推理
                    │
               [符号计算]  —— 用 SymPy 精确求解
                    │
                最终数值答案

每个模块的职责：

模块输入操作输出解决什么问题
知识预测图形 II + 提示 PKP_K + 问题 QQMLLM 预测问题所属几何知识类别知识标签 TKT_K模拟人类「先归类再解题」策略
符号解析图形 II + 提示 PPP_P + 问题 QQMLLM 将图形和文本解析为符号子句符号子句段落 TPT_P解决 MLLM 预训练中几何图形稀缺问题
问题推理图形 II + 提示 PRP_R + TKT_K + TPT_PMLLM 综合所有信息进行 CoT 推理求解程序 RSR_S + CoT 描述将知识预测和符号解析结果「翻译」为可执行求解步骤
符号计算求解程序 RSR_SSymPy 逐步执行精确数值计算最终数值答案 VV避开 LLM 在数值计算上的固有缺陷

两个关键设计选择：

第一，知识预测和符号解析是并行的——两个模块各自接收原始输入，独立输出，避免了顺序依赖导致的误差传递。

第二，符号计算不是「可选的锦上添花」，而是 GNS 框架的核心组件。没有这个模块，模型即使理解了几何关系，依然会在数值计算上翻车（实验证实准确率下降 3.4-4.8%）[7]。

GNS 框架整体流程图。给定问题图像和文本「Find RT」，GNS 先预测知识类别「Polygon Similarity」，同时解析出符号子句，再推理建立比例方程，最后由符号求解器计算出结果。

06 关键机制拆解

机制一：符号子句的两层结构

符号子句设计了两层结构：

子句类型描述内容示例作用
语义子句非几何实体与几何基元之间的数量/语义关系BG = EG = 10表达线段长度、角度的数值关系
结构子句几何基元之间的连接/包含关系line A B C, circle G lies on A C D F表达点、线、圆之间的拓扑结构

这种设计的直觉是：一个几何问题中的信息可以分解为「什么东西连在一起」（结构）和「什么东西等于多少」（语义）两个正交维度。

机制二：统一的符号求解系统

GNS-260K 统一了不同来源数据集的符号求解格式，将数值常量直接嵌入求解程序，消去了变量映射步骤。论文使用 SymPy 作为求解后端。

GNS-260K 数据集的多任务结构。数据集基于 9,426 张独立图形，扩增至 260K 样本。

07 闭环、Agent 与执行机制

GNS 框架不包含传统意义上 Agent 系统中的闭环反馈机制。整个流程是一个前向流水线：

Agent 概念GNS 中的对应组件说明
Think（思考）问题推理模块MLLM 综合知识预测和符号解析的结果进行 CoT 推理
Act（行动）求解程序生成 + 符号计算生成可执行的求解程序并交由 SymPy 执行
Feedback（反馈）不存在流水线是单向的，符号计算的结果不反馈给推理模块
State Update不存在各模块之间不维护共享状态
Replan不存在如果符号计算发现解不合法，流水线不会自动回溯修正

GNS 选择一次性流水线而非闭环 Agent 路线，是基于一个关键观察：平面几何解题过程天然是一个确定性的、可规划的序列。人类在解几何题时，思路通常是线性的，很少需要在求解过程中回溯重来。

08 实验到底证明了什么

主实验：MathVista GPS 基准

模型参数规模准确率
GPT-4o~1.8T60.6%
Gemini Ultra未知56.2%
GNS-Phi3-Vision4.2B63.9%
GNS-LLaVA-13B13B63.9%
G-LLaVA-13B (前 SOTA)13B56.7%
LLaVA-1.5-13B (原始)13B30.3%
人类基线—48.4%

关键结论：所有 5 种 GNS-MLLM 均超越人类基线，最小的 DeepSeek-VL-1.3B（55.3%）已经超过 G-LLaVA-13B（56.7%）95% 以上的水平。

消融实验

设置知识预测符号解析符号计算准确率
①✗✗✗52.4%
②✗✗✓55.8%
③✗✓✓60.6%
④✓✗✗57.2%
⑤✓✓✓62.0%
  • 符号计算贡献最大：从设置①→②（+3.4%）和④→⑤（+4.8%）
  • 符号解析贡献居中：从设置②→③（+4.8%）
  • 知识预测贡献最小：从设置③→⑤（+1.4%）

09 结果边界：这些数字应该如何理解

评估条件设置解读
输入是否为 ground-truth否——模型直接接收原始图形和问题文本无需手工预处理，但图形质量影响结果
是否端到端否——四阶段流水线，中间输出可见可控推理延迟比单阶段 MLLM 高
训练数据规模GNS-260K（260K 样本）目前最大 PGP 数据集
基座模型范围1.3B-13B，5 种 MLLM在更大模型（70B+）上的效果未知
符号计算依赖必须依赖 SymPy 外部库在无 Python 环境下的部署受限
GPT-4 参与训练数据生成部分推理描述由 GPT-4 生成引入潜在的数据偏差
推理成本未报告四阶段 MLLM 调用 + 符号计算，延迟必然更高

10 论文局限与我的进一步判断

论文明确承认的局限

局限具体表现
Geometry3K 上仍面临挑战文本信息极少的题目即使 GNS 也表现有限
MathVerse 上与 GPT-4V 差距较大27.1% vs 39.4%，因含大量非 PGP 题目
GPT-4 辅助标注部分自然语言推理描述由 GPT-4 生成

我的进一步判断

观察潜在问题需要进一步验证
消融实验仅在 LLaVA-1.5-7B 上执行各模块贡献比例可能随模型规模变化在 3-4 种不同规模的基座上重复消融实验
知识预测的增益过小（+1.4%）该模块可能是实践中可省略的组件在排除符号解析和符号计算的条件下单独测试
GPT-4 标注引入潜在数据污染训练数据中 GPT-4 生成的推理描述可能带有其推理偏好在完全排除 GPT-4 标注的条件下重新训练并对比
未报告推理成本GNS 的四阶段流水线比单阶段 MLLM 推理慢报告端到端推理延迟与同基座 MLLM 对比

11 研究延伸与总结

从论文局限自然导出的研究方向

维度原论文状态可延伸方向核心假设
数据标注依赖 GPT-4 生成推理描述自监督符号解析符号求解器的输出可以反向推导出自然语言推理过程
推理路径固定四阶段流水线动态模块路由不同难度的问题需要的模块集不同
符号交互前向流水线，无反馈验证-回溯闭环几何问题的解具有自洽性约束
应用边界仅限平面几何扩展到数学其他子领域符号子句范式可推广到立体几何、三角函数等

英文 Research Question：

How can the neural-symbolic paradigm be extended to support dynamic computation graphs, self-supervised annotation, and automated verification loops for broader mathematical reasoning tasks?

总结：GNS 改变了什么

过去（G-LLaVA 等前序工作）GNS 代表的方向
将 PGP 视为通用多模态 QA将 PGP 分解为「理解 + 推理 + 计算」三个阶段
模型隐式编码视觉特征模型显式解析图形为结构化符号子句
全凭神经网络做数值计算神经网络做理解与推理，符号工具做精确计算
单数据集专用求解格式统一符号求解系统
以数据量取胜以数据结构化取胜

这篇论文的真正启示在于：当神经网络在某个任务上遭遇瓶颈时，最有效的提升方法可能不是继续放大模型，而是为它设计一个合适的「结构化接口」——让模型把擅长的事（理解、推理）做擅长的事，同时把不擅长的事（精确计算、符号操作）交给专门的工具。

GNS 的核心范式转变：将「隐式编码 → 自然语言推理」单通道改为「显式符号解析 → 神经推理 + 符号计算」双通道。

本文基于 Ning et al. (AAAI-25) 论文 "GNS: Solving Plane Geometry Problems by Neural-Symbolic Reasoning with Multi-Modal LLMs" 撰写。代码和数据：https://github.com/ning-mz/GNS

参考文献

  1. Seo M, Hajishirzi H, Farhadi A, et al. Solving geometry problems: Combining text and diagram interpretation[C]//Proceedings of the 2015 conference on empirical methods in natural language processing. 2015: 1466-1476. ↩︎

  2. Chen J, Tang J, Qin J, et al. Geoqa: A geometric question answering benchmark towards multimodal numerical reasoning[C]//Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021. 2021: 513-523. ↩︎

  3. Chen J, Li T, Qin J, et al. Unigeo: Unifying geometry logical reasoning via reformulating mathematical expression[C]//Proceedings of the 2022 conference on empirical methods in natural language processing. 2022: 3313-3323. ↩︎

  4. Lu P, Gong R, Jiang S, et al. Inter-gps: Interpretable geometry problem solving with formal language and symbolic reasoning[C]//Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers). 2021: 6774-6786. ↩︎

  5. Zhang X, Zhu N, He Y, et al. Formalgeo: The first step toward human-like imo-level geometric automated reasoning[J]. arXiv preprint arXiv:2310.18021, 2023. ↩︎

  6. Gao J, Pi R, Zhang J, et al. G-llava: Solving geometric problem with multi-modal large language model[C]//International Conference on Learning Representations. 2025, 2025: 3490-3511. ↩︎

  7. Gao L, Madaan A, Zhou S, et al. Pal: Program-aided language models[C]//International conference on machine learning. PMLR, 2023: 10764-10799. ↩︎

版权归属：Kstheme

许可证：Kstheme