2988 字
15 分钟
文物重构技术实践:基于点云的多碎片配准与可视化

文物重构技术实践:基于点云的多碎片配准与可视化#

这篇记录的是一次基于点云的文物重构实验。目标很明确:先把一个完整文物的三维点云拆成多个碎片,再人为打乱碎片的位置和姿态,最后只依赖几何信息把它们重新对齐回去。整个过程不是做图像识别,也不是做语义推断,核心是点云配准、刚体变换估计和逐步迭代收敛。

这份文章结合了 文物重构技术介绍.md 和 文物重构可视化.ipynb 的实际输出,按实验流程完整讲一遍原理、步骤和结果。

1. 问题定义#

文物碎裂后的重构,本质上是在做三件事:

  1. 判断碎片来自同一个整体的哪些位置。
  2. 估计每个碎片应该如何旋转和平移。
  3. 让所有碎片在统一坐标系下尽量贴回目标形状。

在这个实验里,输入不是照片,而是三维点云。点云可以理解为物体表面的离散采样点,每个点包含空间坐标。因为只处理几何坐标,所以这套方法不依赖纹理、颜色或拍摄光照,适合做一个纯几何版的重构演示。

2. 数据如何构造#

实验先从完整目标点云出发,然后把它切成多个碎片,再对每个碎片施加随机刚体变换。这个过程模拟了真实文物碎裂后的散落状态。

2.1 先有完整目标#

目标点云是原始文物的完整几何形态。 notebook 中既有单个示例,也有多文物批量实验;在多碎片主流程里,点数规模大约是 18000,碎成 5 片左右,足够展示配准效果和误差变化。

2.2 再切成碎片#

碎片化不是简单裁切成规则块,而是沿着空间位置和随机掩码生成不规则片段,这样更接近真实断裂边界。每个碎片保留原始表面的一部分点,后续才有可能靠局部几何特征重新匹配回去。

2.3 打乱姿态#

每个碎片都会被随机旋转和平移。这样得到的输入已经不再保留原来的空间关系,算法必须重新估计刚体变换。下面这张图就是散乱后的状态,目标物体在中间,碎片被分散到周围。

多碎片散乱状态

3. 核心原理:SVD-ICP#

这套重构方法的核心是 SVD-ICP。它把“找对应点”和“求刚体变换”这两件事结合起来,反复迭代,直到碎片和目标足够接近。

3.1 ICP 在做什么#

ICP 的基本过程可以概括为:

  1. 对当前碎片中的点,在目标点云中找最近邻。
  2. 把当前碎片点和这些最近邻构成对应关系。
  3. 在对应关系下估计最优的旋转和平移。
  4. 用新的变换更新碎片位置。
  5. 重复以上步骤,直到误差不再明显下降。

这里的关键不是一次性算出完美答案,而是让每次迭代都比上一次更接近目标。

3.2 SVD 为什么能求刚体变换#

当对应点已经确定后,问题就变成:给定两组点,如何找到一个旋转矩阵和平移向量,使两组点尽量重合。对这个问题,标准做法是:

  1. 先减去各自质心,把问题转成纯旋转估计。
  2. 计算协方差矩阵。
  3. 对协方差矩阵做奇异值分解。
  4. 根据分解结果构造最优旋转。
  5. 再恢复平移量。

这样得到的是一个刚体变换,不会引入剪切或缩放,符合文物碎片只能平移和旋转的实际设定。

3.3 KDTree 的作用#

ICP 最耗时的部分之一是最近邻搜索。为了加速查询, notebook 中使用了 cKDTree。它把目标点云预处理成树结构,之后每次查询最近点都比直接暴力搜索快得多。

更重要的是,目标树可以在一次 ICP 调用里复用,不必每一轮都重建。这样做既减少开销,也让迭代过程更稳定。

3.4 为什么要做 trimmed ICP#

真实碎片和目标之间并不是完美一一对应,边缘点、遮挡点、离群点都会影响配准。如果把所有点都强行纳入对应关系,错误匹配会把结果拉偏。

所以这里使用了 trimmed ICP 的思路:

  1. 先找最近邻。
  2. 按残差大小筛掉一部分最差的对应点。
  3. 只用保留下来的部分去求 SVD 变换。

这样做的好处是对离群点更鲁棒,尤其适合碎片边缘不完整、局部形状噪声较大的情况。

4. 单碎片与多碎片的重构策略#

4.1 先做多起点粗对齐#

碎片初始姿态是随机的,直接从一个姿态开始跑 ICP 很容易卡在局部最优。所以 notebook 里用了多起点策略:先给碎片生成多个初始旋转候选,再分别跑 trimmed ICP,最后挑出误差最小的结果。

这一步的作用是先把大方向找对,避免一开始就进入错误配准。

4.2 再按碎片大小顺序处理#

多碎片重构时,较大的碎片通常保留了更多结构信息,形状约束更强,所以先处理它们更容易搭出一个稳定骨架。后续的小碎片再依附这个骨架逐步补齐。

这和 notebook 中的排序逻辑一致:先按碎片点数从大到小排序,再逐个对齐。

4.3 再做逐轮细化#

如果只做一次粗配准,碎片虽然已经大致归位,但局部边界往往还会有误差。所以重构完成后还会继续细化:

  1. 根据当前已对齐结果重新划分目标区域。
  2. 让每个碎片只对准自己附近的子目标。
  3. 再执行一轮或多轮 ICP 微调。

这个过程的作用是减少碎片之间的互相干扰,尤其适合多片同时拼接的情况。

5. 主流程结果#

主实验的结果一共做了四类可视化:散乱状态、对齐后的残差图、每片误差柱状图,以及整体仪表盘式总结图。

5.1 散乱到对齐的整体变化#

下面这张图展示了一个典型的多碎片重构过程。左边是初始散乱状态,右边是配准后的结果,颜色映射的是每个点到目标点云的残差。

多碎片对齐结果

可以看到,对齐后大部分点已经回到目标主体附近,残差热区主要集中在边缘和局部形状变化较大的区域。

5.2 每个碎片的误差#

误差柱状图可以直接看出哪一片更难对齐。一般来说,碎片越大、几何信息越完整,误差越容易稳定;碎片越小或者越细长,误差越容易上升。

多碎片误差柱状图

5.3 收敛曲线#

收敛曲线记录的是 trimmed ICP loss 随碎片顺序或迭代过程的变化。它能告诉我们:配准过程是不是在持续下降,还是已经进入平台期。

多碎片损失曲线

5.4 综合仪表盘#

这个图把输入、输出和误差放在一张图里,方便快速汇报。适合展示给老师或组员,能一眼看出“散乱状态、重构结果、误差排序”三件事。

多碎片综合面板

5.5 单帧误差分布#

如果要更直观地看残差如何分布,可以看这一张残差图。颜色越偏红,说明该点到目标的距离越大,越偏蓝则越接近目标。

单帧误差分布

6. 动画结果#

静态图能看最终结果,但看不出中间如何逐步收敛,所以 notebook 还导出了 GIF。动画里记录了每次 SVD-ICP 更新后的空间变化,能直接看到碎片从散乱位置一步步贴回目标。

6.1 整体装配过程#

装配过程动画

6.2 多碎片重构的等轴测视角#

这个 GIF 更适合看三维空间中的相对位置变化。

多碎片等轴测动画

6.3 多碎片重构的俯视视角#

从俯视角度看,更容易确认各碎片在平面内的平移和旋转趋势。

多碎片俯视动画

7. 多文物实验#

除了主流程里的单个示例, notebook 还对多个不同形状的文物做了批量实验,包括高浮雕石碑、带把手的陶罐和装饰柱体。这样做的意义是验证方法不是只对某一个样本有效,而是能在不同几何结构上稳定工作。

7.1 ornate_column#

这组样本的特征是形状比较规整,但局部曲率和边缘细节仍然丰富。它适合观察碎片是否能沿着整体轮廓回到正确位置。

ornate_column 重构报告

ornate_column 过程动画等轴测

ornate_column 过程动画俯视

7.2 amphora_handles#

这个样本带有把手结构,局部细长区域比较多,配准时更容易受到方向误差的影响。它能测试算法对复杂局部结构的稳定性。

amphora_handles 重构报告

amphora_handles 过程动画等轴测

amphora_handles 过程动画俯视

7.3 relief_stela#

这组样本更接近大体块结构,碎片尺度差异更明显。它能体现“先大后小、逐步细化”的策略为什么有效。

relief_stela 重构报告

relief_stela 过程动画等轴测

relief_stela 过程动画俯视

relief_stela 过程动画侧视

8. 结果怎么理解#

这套实验最重要的结论不是“把图拼回去了”这么简单,而是要看方法是否具备稳定的几何对齐能力。可以从三个角度判断:

  1. 整体形状是否和目标一致。
  2. 残差是否主要集中在边缘或局部缺失区域。
  3. 不同文物、不同碎片大小下的误差是否仍然可控。

从 notebook 的结果看,方法在多数碎片上都能恢复到合理位置,误差较大的地方也基本符合几何难点所在,而不是整块结构性失败。

9. 原理总结#

如果只保留最核心的逻辑,这个流程可以概括成四步:

  1. 先把完整点云拆成多个碎片,并随机打乱姿态。
  2. 用多起点粗配准先找一个可行初值。
  3. 在 KDTree 最近邻搜索和 SVD 刚体估计的基础上做 trimmed ICP 迭代。
  4. 再按碎片大小和局部残差做逐轮细化,输出图、柱状图和 GIF。

它的关键点不在于某一个单独技巧,而在于把“最近邻搜索、鲁棒筛选、刚体求解、逐步细化”串成了一条完整的流水线。

10. 小结#

这次实验完成的不是一张漂亮的结果图,而是一套从碎片生成、随机打散、初始对齐、迭代配准到最终可视化的完整流程。对文物重构来说,真正重要的是:在只有几何信息的前提下,能不能稳定恢复出整体结构。

如果后面继续扩展,这个方向还可以再做两件事:一是把碎片间的匹配关系做得更强,二是把多碎片的全局优化做得更严格。但就当前这份作业来说,SVD-ICP 加上分阶段细化,已经能比较完整地说明问题和方法了。