编辑 | 紫罗
ai 的各个领域中，深度机器学习已经取得了显著的成功，但同时实现高可解释性和高效率仍然是一个严峻的挑战
张量网络，即tensor network（tn），起源于量子力学，是一种成熟的数学工具。在开发高效的“白盒”机器学习方案方面，它展示了独特的优势
近日，首都师范大学的冉仕举和中国科学院大学的苏刚从量子力学中汲取灵感，综述了一种基于 tn 的创新方法，为协调深度机器学习的可解释性和效率这一长期挑战提供了一个有前景的解决方案。
一方面，tn ml 的可解释性可以通过基于量子信息和多体物理的坚实理论基础来实现。另一方面，强大的tn表达和量子多体物理中开发的先进计算技术可以获得高效率。随着量子计算机的快速发展，tn有望在不久的将来朝着「量子 ai」的方向产生可在量子硬件上运行的新颖方案
该综述以《tensor networks for interpretable and efficient quantum-inspired machine learning》为题，于 2023 年 11 月 17 日发表在《intelligent computing》上。
论文链接：https://spj.science.org/doi/10.34133/icomputing.0061
深度学习模型，特别是神经网络模型，常常被称为「黑匣子」，因为它们的决策过程复杂且难以解释。神经网络是目前最强大的深度学习模型。展示其强大功能的一个典型例子是gpt。然而，由于缺乏可解释性，即使是gpt也面临着稳健性和隐私保护等严重问题
这些模型缺乏可解释性可能会导致人们对其预测和决策缺乏信任，从而限制了它们在重要领域的实际应用
基于量子信息和多体物理的张量网络为 ml 提供了「白盒」方法。研究人员表示：「张量网络在将量子概念、理论和方法与 ml 联系起来以及有效实现基于张量网络的 ml 方面发挥着至关重要的作用。」
来自量子物理学的强大的「白盒」数学工具quantum physics has brought forth powerful white box mathematical tools.
随着经典计算和量子计算的快速发展，tn 为克服可解释性和效率之间的困境提供了新的思路。tn 被定义为多个张量的收缩。它的网络结构决定了张量收缩的方式。
在图1中，展示了三种类型的tn的图解表示。这三种类型分别是矩阵乘积态（mps）表示、树型tn以及投影纠缠对态（peps）表示
图 1：3 种类型的 tn 的图解表示：（a）mps、（b）树 tn 和（c）peps。（来源：论文）
tn 作为大规模量子系统状态的有效表示，在量子力学领域取得了显著的成功。在 tn 理论中，满足纠缠熵面积定律的状态可以通过具有有限键维数的 tn 表示来有效地近似。
基于 mps 的算法，包括密度矩阵重整化组和时间演化块抽取 ，在模拟纠缠熵时表现出显著的效率。此外，mps 还可以表示许多广泛应用于量子信息处理和计算中的人工构造的状态，例如 greenberger–horne–zeilinger 状态和 w状态。
peps 表示遵守二维及更高维度的面积定律，并在高维量子系统研究中取得了巨大的成功。总之，纠缠熵的面积定律为模拟量子系统的tn的表示或计算能力提供了内在的解释。这种解释也适用于tn ml。此外，tn作为一种白盒数值工具（born机器），类似于ml的（经典）概率模型，可以通过玻恩的量子概率解释（也被称为玻恩规则）来解释
图片2：采用mps（tensor train形式）可以有效地表示或者公式化大量数学对象。（引自：论文）
受到量子启发的机器学习的技术进展 (technological advancements in machine learning inspired by quantum)
tn提供了一种新的方法来解决机器学习中可解释性和效率之间的困境，这得益于其完善的理论和有效的方法。目前，有两条相互纠缠的研究路线正在争论中：
量子理论如何作为 tn ml 可解释性的数学基础？量子力学 tn 方法和量子计算技术如何产生高效的t n ml 方案？在这篇内容中，研究人员从特征映射、建模和基于量子计算的 ml 的角度介绍了最近在量子启发 ml 方面取得的令人鼓舞的进展，围绕这两个问题展开了讨论。这些进展与使用 tn 在提高效率和可解释性方面的优势密切相关。这些 ml 方案通常被称为「量子启发」，因为它们的理论、模型和方法源自量子物理学或受其启发。然而，我们需要更多努力来开发基于量子物理学的可解释性系统框架
在下面的表格中，总结了关于tn ml的主要方法以及它们与效率和可解释性之间的关系
强化经典机器学习的技术网络
作为一种基本的数学工具，神经网络在 ml 中的应用并不局限于那些遵循量子概率解释的应用。鉴于 tn 可用于有效地表示和模拟经典随机系统的配分函数，如 ising 和 potts 模型，tn 与玻尔兹曼机之间的关系已被广泛研究。
tn还被用来增强nn并开发新颖的ml模型，忽略任何概率解释。重新写成中文：tn还被用于增强nn并开发新颖的ml模型，无视任何概率解释
基于同样的基础，模型压缩方法被提出来将 nn 的变分参数分解为 tn 或直接将变分参数表示为 tn。后者可能不需要显式分解过程，其中神经网络的参数不会恢复为张量，而是直接恢复为 tt 形式 、矩阵乘积算子或深度 tn。非线性激活函数已添加到 tn 中，以提高其 ml 性能，将 tn 从多线性模型推广到非线性模型。
需要重写的内容是: 结论
长期以来，人们一直关注解决人工智能（尤其是深度机器学习）在效率和可解释性之间的困境。在这方面，我们回顾了tn取得的令人鼓舞的进展，这是一种可解释且高效的量子启发式机器学习方法
图 3 中的「n ml butterfly」列出了 tn 在 ml 方面的优势。对于量子启发的 ml，tn 的优势可以从两个关键方面来总结：用于可解释性的量子理论和用于提高效率的量子方法。一方面，tn 使我们能够应用统计学和量子理论（例如纠缠理论）来构建可解释性的概率框架，这可能超出经典信息或统计理论的描述。另一方面，强大的量子力学 tn 算法和大幅增强的量子计算技术将使量子启发的 tn ml 方法在经典和量子计算平台上都具有高效率。
图 3：「tn ml butterfly」总结了 2 个独特优势：基于量子理论的可解释性（左翼）和基于量子方法的效率（右翼）。（来源：论文）
特别是，随着最近在gpt领域的显著进展，模型复杂度和计算能力都出现了前所未有的激增，这为tn ml带来了新的机遇和挑战。在面对新兴的gpt ai时，可解释性变得越来越有价值，不仅可以提高研究效率，还可以更好地应用和更加安全地控制
在当前的nisq时代和即将到来的真正的量子计算时代，tn正在迅速成长为探索量子人工智能的重要数学工具，从理论、模型、算法、软件、硬件和应用等各个角度
参考内容：https://techxplore.com/news/2023-11-tensor-networks-efficiency-quantum-inspired-machine.html
以上就是国科大&首师大合作综述：揭示「白盒」张量网络如何提升量子机器学习的可解释性和效率的详细内容。