把工程图纸的零件表读准：一次 8B 视觉大模型 LoRA 微调的完整复盘

Tue, 20 Oct 2026 00:00:00 +0000

这篇写给两类人。 想了解「这件事对我们有什么价值」的读者，读每节开头带 📌 的段落就够了；想看工程细节的，往下读即可。全文所有数字都来自真实训练记录与评测报告，包括对我们不利的那些。

📌 先说结论

我们用 LoRA 微调了一个 8B 视觉语言模型（Qwen3-VL-8B-Instruct），让它把工程图纸里的零件明细表转成结构化 JSON。两轮训练（含第一轮规则错误的「学费」），算力按云端按需实例、以分钟计量，开销可控。

结果是：零件号、名称、规格、材料、数量五个字段，在合成留出集上从「基本读不对」变成「31 行全对」；描述文本的保真度从 0.51 提升到 0.9971，超过了未微调的基础模型。

但同一篇报告里也写着三件我们必须主动说出来的事：

如果一个团队只给你看第一条，不给后两条，那份报告不值得信。

离散制造企业（机加工、模具、钣金、3D 打印）拿到客户图纸后，第一件事是拆零件明细表：一行行读出零件号、名称、规格、材料、数量，再拿去核价、报价。一张 A3 图纸的明细栏动辄几十行，人工录入一张要 20–40 分钟，且极易出错。

传统做法是 OCR 识字 + 规则拼结构。问题是工程图纸的版式千差万别：跨页多栏、合并单元格、竖长表、扫描歪斜，规则写到最后是一坨补丁。

我们的判断是：这一环应该交给视觉语言模型，但不该交给通用大模型的 zero-shot。

一张图纸从上传到产出 BOM，中间有六步。大模型只负责第五步——把「定位好的那一小块图」变成「结构正确的 JSON」。前四步是传统计算机视觉，最后一步是规则与工程计算。

这个划分很重要，因为它决定了微调的价值怎么衡量：不是「模型变强了多少」，而是「这一环变准了多少」。

我们做过对照：基础模型 zero-shot 确实能认出零件，但它把零件号塞进 spec 字段、把图号塞进 item_no 字段——内容读对了，位置放错了，在下游流程里等于零分。而它在「描述保真度」上反而很强，因为它会整段照抄。

这正是值得微调的典型形态：模型不缺能力，缺的是对我们 schema 的服从。

选卡的理由不是「越大越好」，而是一道硬门槛：8B 模型做 LoRA + bf16，实测需要约 28 GiB 显存。