图灵汇官网

引言

剑桥学者在《美国科学院院报》(PNAS)上发表的研究揭示了神经网络计算稳定性和准确性面临的挑战。这项研究探讨了深度学习的局限性以及Smale的第18个数学问题，即人工智能的能力边界。

发现概览

研究人员发现，虽然存在接近理想的神经网络，但未必存在能够有效训练或计算这类网络的算法。这一发现与图灵的理论相呼应，即不论计算能力如何，计算机可能无法解决某些问题。这意味着，即便神经网络表现出色，它们在现实世界的应用中也可能存在局限性。

研究背景与关键问题

深度学习在科学计算领域的应用日益广泛，但其稳定性问题引发了关注。例如，Facebook（Meta）和纽约大学在FastMRI挑战赛中遇到的问题，表明了优秀神经网络在图像重建方面的局限性，如容易出现误报和漏报。在医疗诊断等高敏感领域，这些“幻觉”可能带来严重后果。

分类理论与计算条件

研究团队提出了一种分类理论，明确了计算稳定神经网络的算法存在的充分条件。理论指出，算法能否计算特定精度的神经网络取决于问题的性质和所需精度。这揭示了深度学习在解决某些问题时的内在限制。

FIRENETs：平衡稳定与准确

为应对神经网络稳定性和准确性的权衡问题，研究团队开发了“快速迭代重启网络”（FIRENETs）。FIRENETs不仅在对抗扰动方面表现出显著的稳定性，还能将不稳定的神经网络转化为稳定的网络，同时保持高性能和低误报率。这为实现稳定性和准确性的最佳结合提供了可能。

结论与展望

该研究揭示了深度学习在特定应用场景下面临的挑战及其解决方案。FIRENETs的引入为克服神经网络稳定性与准确性的矛盾提供了一条途径。未来，随着技术的进一步发展，将有更多针对不同问题和应用场景优化的解决方案出现，以实现人工智能在实际应用中的高效和可靠。