上海交大招生办揭秘高招新规单看分布偏移远不足真实数据背后隐藏的外部有效性关键解锁
数据分布偏移远不够！真实世界的复杂性中，外部有效性是不可或缺的关键
在探讨人工智能系统时，研究人员常常将注意力集中于数据分布偏移这一问题上。然而，单纯关注这个方面可能不足以全面理解模型在真实世界中的表现。Deborah Raji，一个技术研究员，在一篇发表在UC伯克利助理教授Benjamin Recht个人博客argmin上的文章中提出了对此话题的看法。
Raji对于学界过度关注数据分布偏移感到担忧，她认为更应该考虑统计上一个相关概念——外部有效性（external validity）。她警告说，对于这一术语的痴迷会限制ML社区的发展，使得社区更加专注于回顾性的研究，而不是前瞻性的研究。
Raji希望研究能够更多地转向“有效性”（validity）这一概念，它衡量了系统的可信赖性。她指出，即使有时候模型表现良好，但当它们被应用到新的场景时，也可能出现显著差异。这是因为现实世界中的数据往往是动态变化和不可预测的，而这些变化可能导致模型失效。
她用了一篇关于败血症预测模型外部有效性的分析作为例子来说明这个问题。在这篇文章中，作者描述了使用败血症模型的情况，并发现该工具未能识别出67% 的败血症患者，这导致了大量虚假报警。这些问题超出了简单的数据分布偏移，而是涉及到了医生与模型交互以及其他影响结果的事项。
Raji强调说，更需要关注的是如何确保AI系统能够在不同环境和条件下保持其性能，从而实现真正的人工智能。这意味着我们需要从仅仅关注内部测试性能转变为考虑外部实际应用场景，以及所有潜在因素如何影响最终结果。通过这种方式，我们才能更好地理解并解决现有的挑战，并推动人工智能技术朝着更加可靠和广泛适用的方向发展。
