共计 3830 个字符，预计需要花费 10 分钟才能阅读完成。
内容一览： 资料检测在工程、迷信及制造业中扮演着至关重要的角色。传统的资料检测办法，例如切割和化学试剂检测具备破坏性，同时较为消耗工夫和资源。近期，MIT 科学家利用深度学习开发了一种技术，可能填补缺失信息，并进一步通过外表察看确定资料的内部结构。
关键词： 深度学习 资料检测 CNN
作者|daserney
编辑|三羊
本文首发于 HyperAI 超神经微信公众平台 ~
在数据处理时，常常遇到一种挑战，即从含糊的图像或局部信息中还原残缺的图像。 这种挑战被称为「逆问题」(inverse problem)，它不仅在医学诊断中普遍存在，也在材料科学中频繁呈现。 如果咱们可能无效地填补这些缺失的信息，就有可能更全面、更精确地了解生物组织或资料的性质，从而做出更准确的决策。
如何无损检测资料外部的组织构造困扰着许多相干从业人员。无损检测指利用现代化技术和设施，在不侵害或影响资料外部组织和使用性能的前提下，检测资料内部结构。 尽管能够通过应用 X 射线等技术进行检测，但这些办法通常较为低廉，并且须要宏大的设施。
为此，MIT (麻省理工学院) 的中国博士生杨镇泽及 Markus Buehler 传授联合多种深度学习架构， 在 2D 和 3D 的状况下，别离通过无限的信息复原资料中的缺失局部，并进一步表征宏观构造。
目前，该研究成果已发表在《Advanced Materials》期刊上，题目为「Fill in the Blank: Transferrable Deep Learning Approaches to Recover Missing Physical Field Information」。
该研究成果已发表在《Advanced Materials》
论文地址：
https://onlinelibrary.wiley.com/doi/full/10.1002/adma.202301449
试验概述：模型组合进行「填空解谜」
下图展现了该钻研的总体示意图。 在右边的图中，灰色立方体为缺失的局部。在 2D 和 3D 状况下，别离有两个 AI 模型组合执行工作。钻研人员训练第一个 AI 模型「填补空白」，从 masked field 中复原 complete field，训练第二个 AI 模型「解谜」，将复原的 complete field 作为输出，反向取得复合材料对应的宏观构造 (Microstructure)。
图 1: 总体示意图
钻研人员应用有限元剖析 (Finite Element Analysis, FEA) 来计算特定条件下 2D 和 3D 复合材料的应变和应力场 (strain and stress fields)。
在 2D 状况下， 钻研人员创立了对称的 8×8 网格，用于构建复合材料的几何形态（共 232 种可能的几何形态）。随后， 随机生成了 1,000 种不同的复合材料宏观构造用于单轴拉伸测试 (uniaxial tensile test)。
在 3D 状况下， 钻研人员利用 2×4×4 网格创立了两层宏观构造（共 232 种可能的几何形态），并应用 4×4×4 网格构建了 4 层复合材料（共 264 种可能的几何形态）。为了使可能几何形态的数量与 2D 状况雷同，钻研人员抉择了 2×4×4 网格作为基准， 并随机生成了 2,000 种不同的几何形态用于 FEA 计算。
数据的可视化及预处理
在 2D 状况下， 通过应用 Abaqus 可视化工具，钻研人员生成了从 FEA 中失去的应变和应力场图像，并应用红色和红色的条块进行示意。 接着，通过 Python 预处理，进行剪切、调整大小和从新着色。预处理后的图像尺寸为 256×256。在复合材料几何图或宏观构造中，红色块代表柔软资料，而红色块代表刚性资料。 钻研人员引入了规定和不规则形态的掩码，规定掩码是方形形态，大小从 96-128 不等。
在 3D 状况下，钻研人员收集了每个单元的应变和应力值 (strain and stress values)， 而后对其进行了归一化，造成一个 16×32×32×1 的矩阵。 与 2D 状况相似， 应用 Python 代码可视化应变和应力场的等值线。 将一系列 field 图像存储在一个 16×32×32×3 的矩阵中，用作训练和测试深度学习模型的数据表示模式。 相应的 3D 复合材料宏观构造可视化通过 Matplotlib 库进行体积绘制。
模型抉择：GAN + ViViT + CNN
本钻研采纳了多种深度学习模型， 包含生成反抗网络 (GAN)、基于 Transformer 的 ViViT 模型及卷积神经网络 (CNN)。
- GAN: 在填补 2D 图像阶段，钻研人员应用了 GAN 模型，该模型被称为 DeepFill 模型的第二版本，能够进行自在模式的图像修复。
- ViViT: 在 3D 状况下，钻研人员应用基于 Transformer 架构的 ViViT 模型进行填补空白。
- CNN: 在取得 complete field 后，2D 和 3D 状况下皆采纳了 CNN 模型，以建设从力学行为到复合材料宏观构造的逆向链接。
试验后果：ViViT + CNN 实现完满预测
2D 状况
为了取得预测误差，钻研人员绘制了预测应力平均值与掩码区域内理论值的散点图。掩码的形态随机生成。 如下图 c 所示，给定 200 个测试数据的 R2 指标达到 0.998，表明 GAN 模型性能杰出。
图 2: 2D 状况下模型体现
c: GAN 模型在填补图像上的体现。Ground truth 与预测值显示出很高的一致性 (R2 = 0.998)。
d: CNN 模型进行几何辨认的性能。图中显示了 ground truth 与预测后果之间的 geometry difference 散布。
此外，钻研人员通过计算 geometry difference 来评估 CNN 模型在几何辨认方面的性能。geometry difference 是实在序列和预测序列之间不同资料块的数量。 如图 2d 所示，大多数预测序列与理论序列雷同，所有 200 个测试数据中的最大 geometry difference 为 0.0625，32 个块 (block) 中有两个不同。 如果复原的 field 图像不精确，几何误差会减少。因而，CNN 模型的准确预测进一步验证了 GAN 模型的高性能。
3D 状况
在理论工程实际中，3D 复合材料宏观构造通常比 2D 状况更加简单。下图展现了 8 个预测的 field frames 与 ground truth 的比照。结果显示， 改良后的 ViViT 模型可能利用复合材料中的一层（第 1 至第 8 帧）的 mechanical fields，对另一层（第 9 至第 16 帧）的 field 进行精确预测。
图 3: 两例双层复合材料的 field frame 预测。
前 8 个帧作为输出，其余 8 个帧由深度学习模型预测。
图 4 显示了所有 200 个测试数据的第 9 至第 16 帧的均方误差 (MSE)。每个数据点的 MSE 是通过计算预测的 field maps 和实在值之间像素值平方差的平均值失去的。8 个预测帧的整体 MSE 都很低，全副帧的均匀 MSE 都低于 0.001，显示了 ViViT 模型的杰出性能。
均方误差 (Mean Squared Error, MSE) 是一种罕用的评估预测模型准确性的指标。在预测过程中，MSE 用于度量预测值与实在值之间的差别水平。MSE 值越小，示意预测模型的准确性越高。
图 4: 误差散布
通过预测的 field frame，能够利用残缺的 3D mechanical fields 来确定复合材料的宏观构造。与 2D 状况相似，钻研人员应用 CNN 模型来进行预测。如图 4 右上方小图所示，geometry difference 为 0，通过将改良后的 ViViT 模型与 CNN 模型相结合，可能实现对外部 3D 宏观构造的准确辨认，其中大多数几何形态失去了完满预测。
LAMM 实验室：链接资料构造与性能
该钻研为 MIT 的中国博士生杨镇泽及 Markus Buehler 传授共同完成。 杨镇泽是 MIT 的博士生，在 MIT 原子和分子力学实验室 (LAMM) 工作。钻研趣味包含将机器学习和深度学习技术与多尺度模仿办法相结合，以减速复合材料、纳米材料和生物资料等各种资料的性能计算和设计。 在此之前，杨镇泽取得了中国科学院大学的物理学学士学位。
杨镇泽与 Markus Buehler 传授
杨镇泽集体网站：
https://www.zhenzeyang.com/
实验室地址：
http://lamm.mit.edu/
通信作者 Markus Buehler 是 LAMM 的次要研究员。 Markus Buehler 学术研究援用率很高，在计算材料科学、生物资料和纳米技术等方面发表了 450 多篇文章。 他的指标之一是利用音乐和声音设计，联合人工智能，以一种形象的形式从底层开始模仿、优化和发明新模式的自治物质 (autonomous matter)，逾越尺度（例如从纳米到宏观）和物种（例如从人类到蜘蛛）。
LAMM 致力于开发一种新范式，从分子尺度开始设计资料。联合构造工程、材料科学和生物学的概念，LAMM 将根本的原子尺度化学构造与性能尺度相连接，通过了解生物资料如何造成层次结构，实现优越的力学性能， 将构造和性能的概念交融在一起。
参考链接：
[1]https://zhuanlan.zhihu.com/p/632154023
[2]https://scitechdaily.com/mits-ai-system-reveals-internal-structure-of-materials-from-surface-observations/?expand_article=1
[3]https://professional.mit.edu/programs/faculty-profiles/markus-j-buehler
本文首发于 HyperAI 超神经微信公众平台 ~
