Open Vision Banana：面向生成式视觉感知的完全开放配方

一句话结论

Open Vision Banana（OVB）用完全公开的数据、代码与权重，把开源图像生成器 FLUX.2-Klein（4B/9B）改造成统一的多任务视觉感知模型：在 Cityscapes 零样本语义分割上以 73.9 mIoU 超过闭源 Vision Banana 的 69.9，深度估计接近专用 SOTA，并提出免训练的 legend ensembling 测试时扩展方法。

研究问题与动机

近期工作（Vision Banana）表明，预训练图像生成器不仅会合成图像，还编码了真实世界的视觉理解能力，可把分割、深度、表面法线等感知任务统一表述为「条件图像编辑」：输入图像加指令，输出一张 RGB 图，再由确定性读出程序解码为任务预测。但 Vision Banana 的基座模型、数据、代码与实现细节均不公开，因此无法判断哪些设计真正带来泛化，也无法复现。

OVB 要回答两个问题：(1) 这一「生成式感知」范式能否迁移到公开可得的开源生成器上？(2) 原报告未交代的设计选择——颜色编码、提示设计、参数适配范围、任务配比、数据组成——各自如何影响最终性能？作者强调这些选择彼此耦合，单独有益的设置组合后可能反而有害。

方法

总体框架。 无任务专用头。给定输入图像 $x$ 与指令 $p$，生成器输出 RGB 图 $y$，由任务相关的确定性编码器/解码器在标注与预测之间转换，二者都依赖样本级元数据（颜色图例、深度缩放、尺寸）。

基座与适配范围。 微调 FLUX.2-Klein 的 4B 与 9B 版本；更新全部 transformer 参数（含输入与上下文嵌入、输出层），VAE 与文本编码器冻结。

分割的颜色映射。 提示中以 RGB 三元组、十六进制码（200 色板中分离度最高的 64 色）或 37 个常见颜色名指定类别颜色，黑色保留为背景。语义分割：每样本随机分配颜色，训练时 70% 请求当前类别的随机子集、15% 请求全部出现类别、15% 额外加入不存在的负类以抑制幻觉；推理时每像素归到最近的提示色或背景。实例分割：每提示给一个类别与 32 色，按最左像素排序把第 $i$ 大实例涂第 $i$ 色，读出时做颜色吸附、补洞与 GrabCut 精修。指代分割：指代表达式配一个从命名色板独立采样的颜色，读出为二值掩码。

几何任务编码。 深度用仿射不变逆深度：$p_i=(d_i-d_{min})/(d_{max}-d_{min})$，$d_i=1/z_i$，复制到 RGB 三通道，近处更亮；推理后做逐图仿射对齐再评估。表面法线转为相机空间单位向量，按 $(R,G,B)=((1-x)/2,(1+y)/2,(1+z)/2)$ 线性映射，解码后归一化。

数据。 仅用公开数据：上述感知任务数据，加公开文生图、图像编辑、身份重建数据的 replay 混合。零样本模型 2.1M 训练对，非零样本模型 3.8M。

训练目标。 沿用基座的 rectified-flow 目标。构造 $z_t=(1-t)z_y+tϵ$，网络预测 $v_{\theta }(z_t,t,p,x)$，目标为 $ϵ-z_y$，损失为带有效性掩码的均方误差：

$${\mathcal{L}}_{FM}=\mathbb{E}\left[\frac{\sum _j{m}_j\Vert {\hat{v}}_j-(ϵ-z_y{)}_j{\Vert }_2^2}{C\sum _j{m}_j}\right]$$

其中 $m_j$ 表示潜空间位置 $j$ 是否受监督，$C$ 为潜通道数。几何标注中未定义区域（非零样本池约 8% 目标像素）用占位色编码，模型可能学会复现，故用掩码排除；零样本模型无效区域仅 2%，不用掩码。

训练配置。 100K 步，全局 batch 192，分辨率约 ${512}^2$ 的长宽比桶；AdamW（权重衰减 ${10}^{-4}$）、FSDP、bf16 自混合精度配 fp32 参数；线性 warmup 后恒定学习率 $5\times {10}^{-6}$（4B，500 步）与 $2\times {10}^{-6}$（9B，1000 步）；每 epoch 有放回抽 1M 样本，共约 19 个 epoch；最终权重为若干晚期检查点的权重空间平均。非零样本训练在 16 张 GH200 上约 73 小时（4B）、32 张上约 79 小时（9B）。推理统一 28 步采样、guidance 3.5。

Legend ensembling（测试时扩展）。 对同一图像做 $R$ 次前向，每次重抽类别—颜色图例（实例分割则置换 32 个实例色），生成种子固定；每次用自身图例读出类别图，再逐像素多数投票融合。实例分割在精修后的二值掩码上投票：IoU ≥ 0.5 的跨 pass 掩码归为同一实例，出现于至少一半 pass 的实例保留，最终掩码取至少一半 pass 覆盖的像素。不使用任何真值。

分析协议。 设计选择消融用缩减设置：F2K9B 基座、37.5K 步、batch 64（分割）或 8（几何），单次分割实验约 370 GPU 小时。每次只变一个因素。

关键结果

语义分割。 零样本 9B 配合 legend ensembling（20 pass）在 Cityscapes 达 73.9 mIoU，超过最强零样本专用模型 SAM 3（65.2）、Vision Banana（69.9）与非零样本 SenseNova-Vision（71.2）；单 pass 均值 65.6。非零样本 4B 达 76.4 mIoU，为 OVB 最佳；Cityscapes 仅占非零样本训练样本的 0.13%，零样本模型在完全未见 Cityscapes 时已达 71.3（4B）/73.9（9B）。COCO-Object 上零样本 9B 经 90 pass 达 53.0 mIoU（单 pass 38.7），超过 CorrCLIP（49.4）、OV-Stitcher（46.5）等专用方法；非零样本 9B 达 59.3（单 pass 45.0）。

指代与推理分割。 RefCOCOg val-UMD 上零样本 9B 为 57.4 cIoU，非零样本 69.2，落后 Vision Banana（73.8）与 SAM 3+Gemini（73.4），但超过零样本 HybridGL（51.3）。ReasonSeg val 上，用 Gemma4 31B 把查询改写为显式指代表达式后，零样本 4B 达 67.9 gIoU，非零样本 74.6；Vision Banana+Gemini 为 79.3，SAM 3+Gemini 为 77.0。消融显示：预训练基座即使经 Gemma4 改写也只有 24.1 gIoU，而冻结的 Nano Banana Pro 在原始查询上已达 70.2，说明改写只在微调教会模型分割后才显著收益（微调模型 +26.7 gIoU，预训练模型仅 +5.6）；把 Gemma4 换成 Gemini 3.1 Pro，非零样本 4B 仍为 74.6，说明推理器选择远不如基座生成器的感知能力重要。

实例分割。 SA-Co/Gold 上零样本 9B 经 11 pass 达 37.4 cgF1（单 pass 36.0），约为 Gemini 2.5（13.0）的三倍，超过 OWLv2（24.6）、DINO-X（21.3）；非零样本 39.6（单 pass 38.1）。SAM 3（54.1）与 Vision Banana+Gemini（47.5）仍领先，这是 OVB 相对最弱的一项。

几何任务。 深度（逐图视差仿射对齐，${\delta }_1$）：零样本 9B 在 NYUv2 为 97.4%、KITTI 95.3%、ETH3D 98.2%、ScanNet 93.4%、DIODE 95.4%；非零样本 9B 在 NYUv2 达 99.0%，接近 Marigold V2（98.0）等专用估计器。表面法线平均角误差：零样本 9B 在 NYUv2 为 19.85°，非零样本降至 13.51°（DIODE indoor 从 20.53° 降至 11.43°），但非零样本在 ScanNet 与 iBims-1 上反而变差。

生成能力保留。 ImgEdit-Bench Basic 均分：4B 从基座 3.66 升至 3.78（零样本混合）/3.82（非零样本混合），9B 基本持平（3.89 vs. 3.86/3.89）；但 9B 非零样本在 50 提示的 UGE 套件上从 4.03 降至 3.68。GenAI-Bench 的 VQAScore 全部下降：4B 降 0.050（零样本）/0.049（非零样本），9B 降 0.030/0.027。

特征质量。 冻结特征探测：COCO20k 无监督目标发现 CorLoc 提升 +8.3（4B）/+3.8（9B）；ScanNet 几何对应 R@5 最高 +13.1；SPair-71k 语义对应 R@0.1 最高 +2.6。OVB 9B 在目标发现（56.3 vs. 54.8）与语义对应（61.9 vs. 56.1）上超过 DINOv3 7B。

设计选择消融。

• 颜色映射：固定颜色训练在同协议下 53.9 mIoU，但推理换色即崩至 7.1，说明模型会死记映射；随机颜色训练在未见配色下达 51.0；随机子集提示在 set 协议下达 66.5，但在请求全部类别的 random-draw 协议下损失 15.0 mIoU。最终配方为随机颜色 + 子集/全集/负类提示混合。
• 色板：Top 64 在六个设置上均值最高（54.5 mIoU），成为默认；Top 32 提升 Cityscapes 但拉低两个 COCO 基准。
• 数据配比：15% 生成数据 + 25% 编辑/身份重建数据在九项指标中七项排名前二；去掉生成数据法线误差最低但深度变差，去掉编辑数据则几何与编辑保留同时恶化。
• 适配范围：只调最后 4/12 个 block 全面落后；冻结嵌入时深度误差最低（AbsRel 0.068）、实例分数最好，全 transformer 适配法线误差最低（18.9°），最终选全 transformer。LoRA（rank 64–128）在编辑、深度、法线上可媲美全量微调，但语义分割落后约 12 mIoU。

Legend ensembling 的机制诊断。 用 oracle 重标注（把每个预测连通域赋为其多数真值类）分离「区域分割」与「颜色绑定」两类错误：最终 9B 在 Cityscapes 上 oracle 分数 85.9 远高于单 pass 的 65.4，而 20 pass 集成把标准分数提到 73.9、oracle 仅 85.6，说明增益主要来自纠正类别—颜色绑定错误，区域本身几乎不变。训练早期 oracle 分数已很高而标准分数持续上升，表明模型先学会勾画区域、后学会按提示上色。增益对稀有与细长类别最大（如 train +34.4 IoU）。跨 pass 一致率还提供逐像素置信度：Cityscapes 中一致率低于 0.9 的 6% 像素贡献了 58% 的错误，集中在物体边界。

局限与展望

• 感知能力受基座限制。 开源基座弱于闭源 Nano Banana Pro，这是 OVB 与 Vision Banana 差距的主因；指代分割（57.4 vs. 73.8 cIoU）与实例分割（37.4 vs. 47.5 cgF1）落后最明显，实例分割被作者明确列为差距最大项。
• 依赖外部 MLLM。 ReasonSeg 需 Gemma4 31B 改写查询，实例分割需 Qwen3-VL 存在性门控，SA-Co/Gold 分数含该门控；这些组件不在 OVB 自身训练范围内。
• 生成能力有损。 文生图 VQAScore 全面下降，9B 非零样本在 UGE 上明显退化，说明感知精度与生成质量存在权衡。
• 几何结果不均衡。 非零样本训练在 ScanNet/iBims-1 法线与 DIODE 深度上反而变差，趋势非单调；深度为逐图对齐的相对深度，与 Vision Banana 的度量深度不可直接比较。
• 评估口径需注意。 表中带 ⋄ 的分数为固定 pass 数的共识结果，文中「最高提升 8.7/15.0 点」是共识曲线峰值对 pass 1 的增益，两者口径不同。
• 展望。 作者释放数据构建与处理流水线、训练与评估代码、最终/中间/消融检查点，希望推动更强开源基座上的后续研究；legend ensembling 作为免训练测试时扩展，可与其他生成式感知方法组合。

术语对照

legend ensembling → 图例集成（多组类别—颜色图例下多次推理并按多数投票融合） zero-shot / non-zero-shot → 零样本 / 非零样本（前者评估基准完全不进训练，后者使用部分评估集训练划分） affine-invariant inverse depth → 仿射不变逆深度 rectified flow → 修正流（整流流匹配目标） validity mask → 有效性掩码（几何标注未定义区域不计损失） cgF1 → 类别门控 F1（SA-Co/Gold 实例分割指标）