阶段成果与边界

完整 BFCL Overall 和完整 Agentic 均不报告：Web Search 未执行。所有表格是本地固定官方版本结果，未作为正式榜单提交。内部高分不代表通用工具智能体能力。

BFCL：官方版本本地结果

commit f7cf735 · Prompt · greedy · 原生 4096。选择模型与指标查看；超限、缺项和实际答案失败需结合覆盖报告解释。

原始 CSV · 26 种格式配置 · 完整覆盖审计

原始 CSV 中包含缺项条件下生成的聚合分数和 rank，保留用于审计，不作为完整榜单成绩。Format Sensitivity 单位为百分点；接近零的差值并不证明稳健。

数据分布与质量审计

124,260 原始行 → 74,841 结构/schema 通过 → 16,730 保留候选。候选 15,266 条含调用、1,464 条零调用；10,609 条含工具结果，但结果未经逐条执行。

training_ready=false。随机 10K/1K 切分仍是草案；语义抽审、任务族隔离、模型 token 长度和结果重算未完成。保留率低不能等同源数据错误率。

质量报告 JSON · 固定来源与 checksum · 有效监督规模

Haidass 143M 工具调用后训练研究复盘

归档日期：2026-10-08。研究状态：阶段结束，仅整理既有记录，不再启动训练、推理或评测实验。

摘要与可支持的结论

本研究在八张 Ascend NPU、隔离 Docker 环境中，对 Haidass1.5-143M 原始预训练模型进行了 A、A_repair、B、C、D、E、F 多阶段全参数监督微调。我们完成了工具协议、单步选择、少量多步依赖任务的训练，建立了本地可执行评测、官方 BFCL 接入、数据规模审计和新增公共数据候选池。

研究证明了：143M 基座能学习有限工具集合与固定协议，在内部合成任务上完成多步执行。但这套训练没有获得可用的通用工具调用能力，也没有获得可与 BFCL 完整榜单比较的总分。C 是此前内部能力保留门槛下的保留版本，并不意味着它是 BFCL 上最强或可部署版本。F 在公开单步类别有小幅改善，却伴随原协议能力回退。G 仅准备数据，未发现训练产物，不能报告 G 的模型性能。

最重要的经验是同时管理四件事：语义任务覆盖、协议一致性、有效监督量、评测可执行覆盖。内部高分、loss 下降、更多函数名、更多输入 token，都不能单独替代公开任务上的真实执行成功。

本报告基于已保存的 JSON、CSV、训练代码和数据审计文件。明确区分“记录直接支持的事实”“根据代码和结果的解释”“尚未验证的建议”。新整理不重新运行模型实验，不追补缺失结果。

1. 研究目标、边界和环境

目标是在 BFCL 所覆盖的工具调用任务上改善函数选择、参数生成、多函数调用、跨轮状态使用、不相关请求识别及格式适应性。对话中偶有 BCFL 拼写，本文统一为 BFCL（Berkeley Function Calling Leaderboard）。

基座为 DALabCommunity/Haidass1.5-143M，下载 revision 为 d8a00d4943971088e6f0f4e08fb317dd5ba33ed1。本地检查记录为 143,071,296 参数，Qwen3 架构，30 层，hidden size 576，9 个 attention heads、3 个 KV heads，约 64K 词表，原生上下文 4096。它是预训练模型，不能默认已具备通用指令遵循能力。模型卡记录预训练约 400B token，与对话中的 40B 不同；本研究没有重新审计其预训练语料。

运行环境为 Ubuntu 22.04 / aarch64、八张 Ascend 910B3 64GB。训练容器为 haidass-posttrain，基础镜像 swr.cn-south-1.myhuaweicloud.com/ascendhub/verl_pt27_25rc3:a2-arm。torch 2.7.1 + torch_npu 2.7.1，transformers 4.56.0.dev0。BFCL 的依赖在独立评测 venv 中安装，避免升级训练环境。向量记忆使用 CPU MiniLM 编码器，固定 revision 1110a243fdf4706b3f48f1d95db1a4f5529b4d41。

这是硬件相关的研究快照。原始代码包含 /workspace 路径、torch_npu 和 HCCL 假设，并非已整理成可在任意 CPU/GPU 上直接安装运行的软件包。本归档不包含登录凭据、远程访问脚本、模型权重、优化器状态或完整公共评测题目。

2. 训练数据与协议

早期公共工具数据来自 NousResearch/hermes-function-calling-v1，包括 singleturn 和 Glaive 5K 文件；固定 revision dae3e1d28cfbcf4b915c04ea1e072030529b4bda。记录中 3,379 条工具轨迹被接收，1,752 条被拒绝。BelleGroup/train_0.5M_CN 的固定 revision 为 29c35e9b56c7fc91f04a613ed33896f7a19bad54，读取前 20K 行，用于补充中文指令。公共工具结果多数未经独立执行重算，数据来源可信不等于每个标签正确。

自建可执行任务主要围绕约 20 个工具：四则运算、列表统计、大小写与字符串处理、日期偏移、单位换算、商品与库存查询、联系人查询。多步模板集中于“商品查询→数量乘法→运费”“商品 ID→库存”“超时重试→后续计算”等少数模式。reverse_text、km_to_miles 被用于部分工具泛化检查，但两个留出工具不能代表开放世界 OOD。

原始协议使用 ChatML 风格边界，以及 XML 包裹的 JSON 调用：

<tool_call>{"name":"multiply","arguments":{"a":3,"b":4}}</tool_call>

tool 消息包含 JSON 返回，assistant 可以继续调用或生成最终回答。监督标签仅覆盖 assistant 目标，其余上下文 labels 设为 -100。没有把工具响应当成模型需要臆造的目标，没有开展 RL、DPO 或 GRPO。

一条多步轨迹可能被拆成多个响应样本，每个样本重复工具说明和历史。因此“轨迹数”“响应数”“总输入 token”“监督 token”“实际训练处理 token”是五种不同计量，必须分别记录。改名、换格式、回放同一轨迹不增加独立语义任务数量。

3. 阶段经过与实际训练结果

训练采用八卡 HCCL DDP、全参数 AdamW，FP32 参数配合 BF16 autocast，micro batch 2、accumulation 4，标称全局 batch 64；梯度裁剪 1.0、4% warmup、cosine 调度、序列按 128 对齐。loss 按有效目标 token 归一化；每 100 步及最后一步验证并保存 checkpoint。超长样本计数后排除，没有静默截断。

来源：evidence/{stage}/result.json；学习率见历史 continuation/pipeline 代码。dev 集和协议发生过变化，表中的 loss 不应跨阶段直接排序。

A / A_repair：建立基础协议

A 将公共工具轨迹、一般指令、合成单步和负例混合训练。loss 大幅下降，但模型存在提前 EOS、不会实际产生调用的问题。A_repair 进行协议和调用目标强化，说明初期对小基座的首要挑战包含输出协议和指令对齐，单看教师强制 loss 会漏掉生成时的停止行为。

B：单步调用能力强化

B 增加单工具选择、参数生成、负例和公共轨迹，显著降低 dev loss。这建立了有限工具集合上的可执行基础，但大量函数名并没有自动带来更广的任务推理覆盖。

C：多步执行与能力保留

C 增加多步轨迹并保留单步、负例、公共轨迹、通用指令回放。内部多步表现成为这一阶段的主要成果。之后的 D/E/F 均作为从 C 出发的候选方向，不是简单连续的一条训练链。

Base → A → A_repair → B → C
                          ├→ D
                          ├→ E
                          └→ F

D / E：偏重单步修复的代价

D 的 loss 改善及单步提升伴随多步回退，没有通过晋级门槛。E 在内部 dev_v2 单步和 OOD 上明显改善，多步降至 87.50%，因此也未替换 C。可观察到保留任务之间的权衡；仅凭这些分支不能建立某个超参数的因果结论。

F：面向官方格式的适配

F 从 C 开始，将既有 B/C 轨迹转成官方 Python/JSON 提示与调用格式，并回放 XML 多步轨迹。转换标签经过官方解析器检查；记录中排除 43 条过长样本和 13 条解析转换失败。F 没有引入大量新语义任务。

F 降低新协议 dev loss，并使官方 Python Simple 从 1/400 改善到 15/400，Multiple 从 0/200 改善到 3/200。但内部原协议单步和 OOD 退化，因此研究没有把 F 晋级为通用推荐模型。此结果支持“格式适配有作用但远远不足”；没有格式/数据/初始化的完整对照，不能声称只由格式变化导致。

4. 内部评测：有效成果与外推限制

内部 dev_v2 有 224 条：单步 96、负例 32、多步 64、OOD 32。评测采用 greedy unconstrained 生成、最多 6 次工具调用、真实合成工具执行，使用修正版 scorer_revision=2。早期 revision=1 的不调用判分曾有局限，归档中保留原记录以便审计，主表统一采用 revision=2。

括号中为成功数；来源为 C_v2_eval.json、E_eval.json、F_eval.json。负例成功是该内部协议下正确处理请求，不等价于所有 BFCL 不相关检测标签。

C 的历史冻结 test_v2 为 800 条：单步 300、多步 250、负例 150、OOD 100；成功率分别 81.33%、96.40%、100%、67.00%。该结果支持有限合成分布的能力保留。工具族和模板较窄、验证样本量小、部分开发集被多次用于选择版本，不能由此声称通用智能体成功率超过 90%。研究未开展多随机种子实验，也不报告统计显著性胜出。

5. 两种 BFCL 结果必须分开

5.1 早期 500 题自定义局部测试：历史诊断

这些均是历史本地测试，不是外部公布的 BFCL 成绩。当时采用自定义 XML 受控协议和局部样本，部分解码/解析存在局限。Simple、Multiple、Parallel、Parallel Multiple 几乎没有成功时，仍可能因不相关类别正确“不调用”而出现正的整体 accuracy。

一般局部 micro accuracy 为 通过的样本数 / 已测试样本总数。若通过主要来自负例，整体分数反映样本构成，不证明正例调用能力。官方榜单的类别聚合及权重应以固定版本评分代码为准，不能把上述局部 accuracy 当作官方 Overall，也不能把历史 SmolLM/Qwen 表当作严谨的性能排名。

5.2 官方 BFCL 固定版本的本地评测

采用榜单关联版本 f7cf7359b7ac615a0b294831c5ba2bc95ee4a000，接入官方 loader、Prompt、AST 解码、交互工具环境和 scorer。自定义部分为 Haidass 本地 NPU 推理和模型注册；报告的是 Prompt 设置下的本地复现成绩，未作为正式提交榜单的公开成绩。

† 为官方记分结果，但有严重上下文覆盖限制，见下一节。CSV 中的小数已按官方显示精度报告，不能用四舍五入后的表格逆推出所有准确的计数。

官方输出的 data_overall.csv 还包含 10.21%、10.13%、7.70% 的聚合值，以及 Agentic 的不完整聚合值。这些文件作为原始证据保留，但 Web Search 为 N/A，本报告不将它们包装为完整 BFCL Overall 或完整 Agentic 成绩，也不使用其中局部 rank 宣称胜出。费用逻辑的默认硬件假设与 Ascend 不符，没有实际成本结论。

来源为 evidence/bfcl_official_f7cf735/score/*.csv，主页面提供交互查看。格式敏感性包含 26 种配置，准确率多数接近零；最大差小不等于格式稳健。

5.3 上下文覆盖失败与模型答案失败

C/E/F 各 800 个 Multi-Turn 样本全部触发原生 4096 上下文限制。模型没有完整阅读这些输入，因此不能把这些零分解释为“看完题目后多轮推理全部失败”。

Memory KV 与 Memory Vector 各 192 条含前置记录全部超限；Recursive Summarization 的 192 条记录有 19 条超限。含前置记录的条数不能直接作为官方最终评分分母。Live 类别也有超限：C 的 Live Multiple 为 381/1053、Live Irrelevance 为 114/884、Live Relevance 为 3/16；格式敏感性为 435/5200。不能将这些类别的全部差距归因于答案质量。Web Search 因缺少 SerpAPI 配置未执行，属于基础设施缺项，不能补零。完整覆盖审计见 coverage_audit.json。

4096→8192 仍不足覆盖上述多轮输入。32K 只是初始提示覆盖的候选长度，后续对话可能更长。没有长上下文训练和验证时，修改配置不能证明具备长上下文能力。本研究没有开展上下文扩展实验。

5.4 如何读 Hallucination 和格式指标

不相关检测高而相关检测接近零，与偏向不调用的行为相容；它不是已经解决幻觉问题的证据。官方 irrelevance 主要识别没有有效函数调用输出，解析失败也可能表现为不调用，故必须结合生成轨迹与 relevance。F 相关检测从 0 提升到 12.50% 的同时，不相关检测降到 73.81%，显示调用积极性与误调用之间存在权衡。

AST 成功要求函数与参数符合题目允许的答案；格式正确仅是必要条件。Parallel 还涉及调用集合正确性。Multi-Turn 更依赖工具返回和状态演进，不能用第一步调用准确率替代全轨迹执行成功率。

5.5 外部公布结果的比较边界

后续对外部模型的比较遵循用户要求：引用公开模型卡、论文、固定榜单快照；不新增本地复测。归档中没有可核实、同一 BFCL 版本与设置下的 SmolLM/Qwen 外部结果快照，因此不填入来源不明的数值，也不将早期本地结果冒充公开成绩。

若今后只做文献整理，外部比较表须保存模型确切版本、参数量、BFCL 版本、Prompt/FC 设置、类别覆盖、公开日期和链接。论文中不同版本的 Overall 与本研究不完整聚合值没有直接排序意义。官方入口：BFCL leaderboard。

6. 数据规模审计：为什么“输入很多”仍监督有限

各阶段原始文件合并精确去重后有 56,837 条轨迹、47,807 个用户文本、2,706 个工具名、5,553 个 schema 文档。它们仍包含模板、格式和名称变体，不能等同于独立任务数量。审计没有完整的 A_repair 原始轨迹文件，统计范围需保留这一限制。

扩量理由来自任务覆盖有限和公开泛化不足，而不是预训练与 SFT token 的固定比例。更长工具说明只增加输入成本，重复回放只增加更新次数，不能替代新的任务族。短调用目标本来就合理，不应为了提高监督 token 占比而制造无意义长回答。

7. 最后一轮公共数据准备：成果及质量门槛

新增来源固定为 ToolACE 6bda777c88d21e5a204703c1ee45597a8fa4f734 和 Glaive-v2 e7f4b6456019f5d8bcb991ef0dd67d8ff23221ac。原文件 SHA-256 与源 manifest 一致。原始 124,260 条经过保守解析、schema/参数检查、来源重合检查、精确去重和近重复筛选，保留 16,730 条候选。

保留率约 13.46%。低保留率同时受到数据重合和解析器保守规则影响，不能解读为“86.54% 源数据低质量”。例如无 schema 的一般问答不适用工具数据筛选，但不一定是错误问答；ToolACE 的 SchemaError 有 3,974 条，可能是类型别名和 schema 方言与 Draft7 不兼容，而非所有标签错误。没有额外重跑修复验证，本报告不推断可挽回数量。

Glaive 的拒绝记录包含 19,413 条既有来源用户文本精确重合、8,621 条冻结评测池文本重合、17,168 条用户序列重复、11,671 条轨迹重复、632 条参数 schema 不合格。这些原因按流水线先命中的规则计数，不能把它们理解为各类错误独立同时存在。冻结池结合 BFCL 和内部开发/测试文件，因此 8,621 不能全部归因于 BFCL 污染。

近重复流程使用 64 permutations 的 MinHash 查候选、词三元组 Jaccard≥0.85 精确复核，排除 1,208 条用户序列近重复和 18 条冻结池近重合。它是词法近似筛选，无法保证没有语义重复、改写题或基座预训练污染。扫描中 Format Sensitivity 文件未提取到用户文本；对应基础题覆盖与变化需另行映射，不能宣称每个格式题已完整匹配。

候选均标为 schema_validated_results_not_executed。多调用回合未验证调用之间独立性，不能全部称为并行；零调用候选未逐条判定为不相关、澄清或一般回答；含工具返回不代表结果真实可执行。仅 15 条含 CJK 的候选说明语言分布明显偏英文，不代表做完了语言识别或中文能力评测。

准备脚本随机选出 10,000 条 train 和 1,000 条 dev，其中 train 的 863 条为零调用、12,900 次为调用总数。此前把 863 当成全池零调用数、把 15,867 当成全池含调用数的表述需要纠正，主表以 1,464 和 15,266 为准。

该 train/dev 是准备草案：随机切行，没有完成任务族/schema 分组隔离；未完成语义抽审、模型 token 长度检查、既有来源近重复筛查和真实结果重算。归档报告原字段 training_ready=false 保持不变。数据曾上传服务器，但未发现 G tokenized 数据、模型 checkpoint 或训练结果，本研究结束时不声称已在此扩量训练。

8. 失败模式与研究经验

8.1 协议是可执行接口，应作为独立验收层

工具调用目标需要明确函数名、参数类型、边界 token 和停止条件。XML 协议熟练不等于官方 Python/JSON Prompt 熟练。解码时 skip_special_tokens=True 可能去除结构，保存原始 token 并只去除末端 EOS/pad 更适合诊断；依然须根据真实 tokenizer 检查结构是否为 special token，不能泛化为所有模型的统一问题。

实用验收应逐层记录：非空生成→调用解析→函数存在→参数 schema→参数语义→执行成功→用户目标完成。一个总分无法定位在哪一层失败。本次 F 的官方单步小幅改善说明协议适配有收益，但模板语义覆盖与容量因素仍需独立证据。

8.2 内部合成评测用于回归，不足证明开放泛化

约 20 个工具和少数生成模板容易使模型学习词面映射。内部 multi 98.44% 与公开单步 0.25% 并不矛盾：两者在工具说明、题型、协议、参数结构、任务开放度和上下文长度上不同。未来研究需要留出工具族、任务族、schema 结构和参数组合，报告 IID 与 OOD，避免只靠随机 query 划分。

8.3 负例指标必须结合正例

总不调用可以在不相关集获得高分。负例训练要区分无法完成、缺参需澄清、无需工具可答、可调用但用户没有请求调用等行为。reward 或晋级门槛如果只奖励“不调用”或格式有效，可能优化出捷径。本次未进行 RL，此处是后续方法上的风险分析。

8.4 Loss 衡量拟合，不直接衡量工具执行

D/E/F 均降低各自 dev loss，但对保留能力和 BFCL 的影响不同。监督目标中可能混有短调用、长回答、一般问答，其权重不同。应同时保留教师强制 loss 与生成执行指标，版本晋级以正例、负例、多轮和 OOD 的组合门槛决定。跨协议 dev loss 不直接可比。

8.5 先核实评测长度再决定架构路线

Multi-Turn 全部超限意味着本次没有真正测得该类别的模型推理能力。实验计划应先无推理地统计完整提示长度、后续对话增长和可用生成预算。之后若考虑扩展上下文，需要长序列 attention、显存、吞吐、RoPE/位置适配、远距离引用和短能力保留验证；单纯继续短 SFT 无法解决此瓶颈。

8.6 数据规模要由独立性和学习曲线定义

预训练约 400B 不推出 SFT 必须某个固定规模。应该同时报告去重轨迹、任务族、schema 结构、有效监督 token、真实执行验证比例。比较一次遍历与固定监督预算能够区分“新样本收益”和“更多更新收益”。本次没有实际开展 10K→50K→150K 学习曲线，不能声称扩量已证实有效。

8.7 基础设施和科学结论需分账

NPU DDP、独立 venv、离线下载传输、按卡分片、断点恢复和进度仪表盘是可复用工程成果。它们证明管线可运转，不证明模型有效。网络服务缺失、长输入拒绝、原始评分失败、模型答案错误应分别计数；只有覆盖完整时才可讨论完整榜单总体表现。

9. 可复用代码与复现说明

归档 code/ 保留历史 Python 文件，并提供下载 ZIP。重点阅读顺序为 protocol.py → prepare.py → tokenize_data.py → train.py → evaluate.py → official_adapter.py → run_official.py → 两个审计脚本。文件有硬编码路径与阶段副作用，导入某些文件也会执行数据准备或注册操作；先读代码，勿将归档页面当成自动训练入口。

原始合成执行器的调用示意（仅说明代码，不代表本次重新运行）：

from protocol import execute
result = execute("multiply", {"a": 3, "b": 4}, {})
# expected: {"result": 12}

训练掩码逻辑示意：

prefix = tokenizer.apply_chat_template(history, tools=tools,
    tokenize=False, add_generation_prompt=True)
full = tokenizer.apply_chat_template(history + [assistant_target], tools=tools,
    tokenize=False, add_generation_prompt=False)
# 必须验证 prefix 真的是 full 的 token 前缀；仅目标区段参与 loss。
labels = [-100] * prompt_len + full_ids[prompt_len:]

正式评分复现依赖 pinned BFCL 仓库及其许可证。归档链接到上游而非重新发布全部题目和答案。实验环境快照见 docs/CODE_GUIDE.zh.md，代码文件 SHA-256 见 MANIFEST.json。代码快照不等价于完整可移植复现实验包：原权重、完整数据、历史环境和种子一致性仍需要用户保留的原服务器记录。

10. 阶段结束的成果清单

已完成：A–F SFT 记录；内部执行评测与保留门槛；C/E/F 官方版本本地可运行类别；三种记忆后端；格式配置评测；上下文覆盖审计；输入与监督规模审计；两源原始下载、checksum 验证、16,730 候选池和 10K/1K 草案；研究文档、源代码及证据归档。

未完成且本次不再执行：G 训练、50K 扩量、语义数据质量抽审、任务族隔离切分、32K 长上下文适配、Web Search、完整官方 Overall、RL、多种子与严格容量对照。未完成项目是研究边界，不能从现有结果外推其成功。

阶段结论：该研究获得了有限分布工具学习的可行性证据、可复用的训练评测工程，以及清晰的泛化和上下文瓶颈证据。它没有完成在 BFCL 上表现良好的整体目标。最有价值的经验是及时识别“内部高分≠公开泛化”“不调用高分≠会选择调用”“loss下降≠版本晋级”“格式转换≠新任务”“样本池≠独立高质量数据”“记分零≠推理失败”。

来源与证据

• Haidass 原模型
• BFCL 官方榜单
• BFCL 固定代码版本
• Hermes Function Calling v1
• Belle 中文指令
• ToolACE
• Glaive Function Calling v2
• APIGen / xLAM60K 候选来源：本研究未获取或训练
• 本归档 evidence/、data/、code/；读取证据时以文件自身 stage、split、scorer_revision 和 protocol 为准。

代码、证据与下载