年初 ChatGPT 爆火，美国《时代周刊》发文揭发其背地的「血汗工厂」，给「AIGC 领头羊」夺目的光环蒙上了一层微小暗影。
据报道，为训练 ChatGPT 辨认无害内容，一群来自肯尼亚、乌干达和印度的外包员工负责给数据库手动标注，他们每天破费 9 小时甄别各种攻击性词汇，每小时至少标注 2 万个单词，播种是 1.32-2 美元的时薪以及长久的心理创伤。
报道一出，舆论哗然，这堪称人工智能时代最不智能的操作。抛开劳工问题，此事件也折射出监督学习一大 痛点：为 AI 模型尤其是大模型筹备大规模、事后标注的训练数据，是件相当耗力的事。
作者 | 铁塔
编辑 | 三羊
本文首发于 HyperAI 超神经微信公众平台~
在 全息显微图重建 (Holography microscopic reconstruction) 畛域，这一问题也给科研工作带来了旷日持久的折磨。
深度学习在计算成像和显微成像方面的现有利用，次要依赖于 监督学习 ，须要大规模、多样化和事后标注的训练数据， 但此类训练图像数据集的获取和筹备通常很费劲且老本昂扬，而且这些办法往往对新样本类型的泛化无限。
往年 8 月 7 日，加州大学洛杉矶分校的钻研团队在「Nature Machine Intelligence」杂志报告了一个名为 GedankenNet 的自监督模型，其突出特质是无需实在数据或试验对象投喂，可间接从思维试验 (Thought experiment) 和物理法则中学习，且具备优异的内部泛化性 (External generalization)。
论文链接：
https://www.nature.com/articles/s42256-023-00704-7
GedankenNet 源于德语 Gedankenexperiment，意为「思维试验」，明明白白通知你：
我，GedankenNet，和里面那些从实在数据和试验对象中学习的 AI 模型不一样，我的学习对象，是爱因斯坦等科学家们都在用的 思维试验！
该模型无望革除深度学习在全息显微图重建畛域的弊病，为解决全息术、显微镜和计算成像中的逆问题发明出新机会。
全息显微图重建
先来简略理解一下 GedankenNet 的应用领域——全息显微图重建。
数字全息显微成像 (Digital holographic microscopy) 是一种宽泛用于生物医学和物理迷信及工程的无标签成像技术，与传统的二维显微成像相比， 全息显微图提供了一种更全面、非破坏性、高分辨率的显微察看和分析方法，它应用光学干涉技术从采集的全息图数据中复原原始物体的三维状态，可帮忙科学家和钻研人员更好地了解和钻研微观世界。
如何进行显微全息图重建呢？ 传统办法次要分为两类：
基于物理前向模型和迭代误差缩小的 迭代相位复原算法；
基于有 监督深度学习 的推理方法。
第一类办法通过迭代优化来逐渐改良对复数场 (Complex field) 的预计。首先利用物理模型计算出由复数场引起的实践全息图与理论测量的全息图之间的误差，随后依据这个误差进行调整，反复该过程直到实现肯定的准确度。
第二类办法训练一个深度神经网络来学习从输出全息图到复数场的映射，通常由成对的全息图和对应的复数场作为训练数据，让神经网络学习这些数据对之间的关系，从而预测和重建复数场。
注：复数场，形容物体光学性质散布，蕴含光场的振幅和相位信息。
不过这些传统办法通常须要屡次迭代来调整和优化预测的全息图，速度较慢，而 GedankenNet 采取了齐全不一样的思路，既防止了迭代过程，又获得了更好的重建后果和更快的速度。
走近 GedankenNet
模型训练
1. 办法
与现有的基于学习的办法不同，GedankenNet 不间接比拟输入复数场与实在复数场的差别，而是通过观察输出的全息图和相应的指标输入 （比方清晰的图像），从带有物理一致性束缚的数据中学习到复数场的重建模式，并生成相应的全息图预测， 而无需逐渐迭代调整。
物理一致性损失是 GedankenNet 训练方法的外围组成部分，它基于稳定方程 (Wave equation) 的条件和理论观测数据之间的差别来度量重建后果的准确性。
通过最小化物理一致性损失，模型可能将察看数据与稳定方程的预期行为相匹配，从而失去更合乎物理法则的全息图重建后果。
2. 数据集
GedankenNet 的训练数据集由 随机图像产生的人工全息图组成，这些人工全息图从随机图像或天然图像（COCO 数据集）模仿，应用 Python 随机图像包生成随机图像（与真实世界样本没有连贯或相似性）。
图 1：GedankenNet 示意图和其余现有解决全息成像问题的办法
a. 经典迭代全息图重建算法、自监督深层神经网 (GedankenNet) 和现有的监督深层神经网络
b. GedankenNet 的自监督训练过程
模型验证
1. 重建图像品质
钻研人员依照图 1 的训练过程，训练了一系列承受多个输出全息图（M 范畴从 2 到 7）的自监督网络模型，并采纳 MHPR(Multi-height phase retrieval) 多高度相位复原算法从每个视场的 8 幅原始全息图中提取了实在对象图片，据此比照评估不同 GedankenNet 模型在重建图像品质方面的体现。
钻研结果表明，即使没有应用试验数据进行训练，所有 GedankenNet 模型都以高保真度重建了样本场。
图 2：GedankenNet 利用多 (M) 输出全息图进行全息重建的性能
2. 内部泛化能力
为验证 GedankenNet 的内部泛化能力，钻研人员将 GedankenNet 模型与其余监督学习模型 （基于雷同的人工图像训练集训练而成）、 迭代相位复原算法进行了比照，测试数据采纳包含人体组织切片和宫颈涂片在内的试验全息图。
如下图所示，与这些监督学习办法相比，GedankenNet 在所有 4 种样本 （肺、唾液腺和前列腺组织切片以及巴氏涂片 (Pap smear)） 上体现出更好的内部泛化性，失去了更高的加强相关系数 (ECC) 值。
此外，钻研人员还针对经典的迭代相位复原算法，即 MHPR 进行了比拟剖析。结果显示，与应用雷同输出全息图的 MHPR(M=2) 相比，GedankenNet 推断的复数场具备更少的噪声和更高的图像保真度。
图 3：GedankenNet 对人体组织切片和巴氏涂片内部泛化后果，以及与现有监督学习模型和 MHPR 的比拟
a. GedankenNet 在人体肺部、唾液腺、前列腺和巴氏涂片全息图上的内部泛化，以及与现有监督学习模型和 MHPR 的比拟
b. 监督学习办法在同样的测试数据集上的内部泛化后果。这些监督学习模型应用与 GedankenNet 雷同的模仿全息图数据集进行训练
c. 应用雷同的 M = 2 输出全息图的 MHPR 重建后果
d. 应用每个视场 (FOV,fields-of-view) 的 8 个原始全息图获取的高空实在复数场的后果。标尺：50 μm
表 1：GedankenNet、监督学习模型和 MHPR 的全息图像推理工夫(样本面积：1 mm²)
如表 1 所示，与 MHPR(M = 2)相比，GedankenNet 将图像重建过程减速了约 128 倍。
综上，这些全息成像试验和后果剖析胜利证实了 GedankenNet 对未知新型样本优越的泛化能力，并能实现杰出的图像重建性能。
3. 对其余训练数据的泛化
为证实其余数据集训练进去的 GedankenNet 也具备同样性能，钻研人员应用以下数据集独自训练了 3 个 GedankenNet 模型：
（1）从随机图像生成的人工全息图数据集，与之前雷同
（2）从天然图像数据集 (COCO) 生成的新的人工全息图数据集
（3）人肺组织切片的试验全息图数据集
这 3 个独自训练的 GedankenNet 模型在 4 个测试数据集上进行了测试，包含随机合成图像的人工全息图、天然图像的人工全息图，以及人肺组织切片、宫颈涂片的试验全息图。
图 4：不同 GedankenNet 对其余测试数据集的泛化
钻研结果显示，所有的自监督 GedankenNet 模型在外部和内部泛化方面都体现出优异的图像重建品质（图 4a，b）。
值得注意的是，如图 4b 中的红条所示，监督模型在外部和内部泛化体现之间的性能差距较大，表明了其过拟合景象。相同，GedankenNet 模型（蓝条）展现出了十分好的泛化性能，笼罩了天然宏观图像和宏观组织图像的测试数据集。
4. 与稳定方程的兼容性
与图 3 雷同的模型被用于剖析 GedankenNet 是否与稳定方程相容，办法是在肺组织切片上进行自觉测试。
结果显示，在应用偏焦全息图进行测试时，GedankenNet 输入了正确的（物理统一的）偏焦简单场，而不是产生幻觉和非物理随机光场。
从这个意义上说，GedankenNet 不仅展现了优越的内部泛化能力（从无试验和数据的训练到试验全息图），还很好地适应了偏焦试验全息图的工作。以往的文献中，尚未有任何全息图重建神经网络体现出这些个性。
图 5：GedankenNet 输入图像与自由空间稳定方程的兼容性
AI 具备「智慧」了吗？
作为自我监督的人工智能模型，GedankenNet 打消了对大规模、事后标注的训练数据须要，展现了优越的内部泛化能力和高质量全息图的重建后果。正如论文作者之一、加州大学洛杉矶分校电气与计算机工程、生物工程系传授 Aydogan Ozcan 所言：
「这些发现阐明了自监督人工智能从思维试验中学习的后劲，就像科学家那样。它为开发物理兼容、易于训练和宽泛通用的神经网络模型开拓了新机会，可代替目前在各种计算成像工作中采纳的规范、有监督深度学习办法。」
始终以来，人们对 AI 是否具备真正意义上的智能争吵不休，毕竟即使强悍如击败多个世界围棋冠军、攻占人类智慧堡垒的 AlphaGo，其本质也是无需了解规定、凭仗算力一直反复数学公式的代理罢了。
但现在这个能像科学家那样从思维试验中学习 GedankenNet 模型的问世，是否意味着 AI 曾经在某种程度上具备人类独一份的「智慧」了呢？ 欢送大家在留言区畅所欲言哦。
参考链接：
https://www.sciencedaily.com/releases/2023/08/230807122001.htm
本文首发于 HyperAI 超神经微信公众平台~