两个ICLR文档最终解决了两个“大井”的“大井”

真正的 - 时间增强学习就在这里！ AI不再害怕“种马”。想象一个未来的场景，其中多个厨师机器人共同创建玉米饼。我们希望这些机器人可以使用最强大，最可靠的智能模型，但最重要的是，它们需要跟上不断变化的节奏。应精确添加材料，鸡蛋过程必须实时监测以确保均匀的加热。虽然机器人略微落后，但鸡蛋卷肯定会燃烧。他们还必须解决这对夫妇的行动中的不确定性，并立即和适应性地进行调整。但是，实际的 - 时间强化学习，现有的强化学习算法主要基于理想的互动模式。 “ Pausan”环境和代理等待另一方完成计算器的答案。具体而言，它似乎如下：环境暂停假设：代理做出计算决策和EXperience学习，环境状态保持静止。代理暂停假设：当环境状况发生变化时，代理停止了决策过程。这种假设类似于“换档游戏”，这与现实相似，这使得很难处理一个持续变化和延迟灵敏度的真实环境。以下图突出了在实际时间环境中不在标准RL研究中，在实际时间环境中引起的两个重要困难。首先，长期以来，代理无法在环境中的每个步骤中采取行动。这可以使代理商采用一种新的最佳策略，称为“无所作为”。第二个困难是根据过去的状态计算动作。因此，敬意是关于对环境的延迟影响。这导致了另一个新的亚题主义来源，这在称为延迟re悔的随机环境中尤为突出。在这种情况下，MI的两个2025 ICLR文档洛杉矶实验室提出了一个新的实时加强学习框架，旨在解决推论延迟以及在实施过程中当前增加的学习系统所面临的行动问题。第一篇文章提出了解决方案，以最大程度地减少不采取行动的遗憾，而第二篇文章提出了解决方案，以最大程度地减少延迟的遗憾。最小化动作：交织的推断第一篇文章是基于以下事实：它不会增加操作不会随着模型参数数量增加而增加的程度。因此，强化学习界必须考虑新的实施Framesn，以便在现实世界的基本模型的规模上进行学习加强。为此，本文档提出了一个框架，用于对多个过程的异步学习。纸张地址：https：//openreview.net/pdf?id=fxb9bbayad地址：https：//github.com/cerc-ai/realtime_rllpaper标题ED推断中心思想是调整并行推理过程的时间位移，以便代理可以以更快的固定间隔在环境中执行动作。本文表明，尽管其计算机资源足够，但无论模型的大小或推理时间的持续时间如何，都可以在所有环境步骤中执行操作，从而消除了完全不后悔的行动。在本文中，我们将实时测试Game Boy和Atari模拟中提出的新框架。这可以同步帧速度的协议以及当这些游戏真正在主机中播放时人类所经历的相互作用。本文重点介绍了出色的性能，显示出在神奇宝贝蓝色游戏中使用1亿个参数模型捕获神奇宝贝，以捕获神奇宝贝。重要的是要记住，代理商不仅迅速采取行动，而且还需要不断适应新的方案以进步。此外，此文档还强调了真正的时机游戏框架（例如Tetris）的性能，该框架着重于反应时间。使用异步推理和训练，我们发现表现莫伦塔的性能最大模型。但是，大型模型表现的根本原因是尚未解决延迟悔改的影响。通过单个神经元网络的延迟的动作和悔改最小化：https：//openreview.net/pdf?id=yoc5t8phf2project地址：https：//github.com/avecplezir/实时环境未在实时中找到实时环境。在深网络中，顺序计算效率低下，因为深网中的每个层大约同时执行。因此，随着网络深度的增加，总潜伏期会按比例增加，从而导致响应速度较慢。该限制与以前CPU架构的不便完全相同。如果说明可以是processesar不断地，计算机资源的使用量很少，执行时间延长。最后的CPU使用管道技术很好地解决了这个问题。这使您可以在不同阶段执行多个并行指令。受此启发，本文介绍了与神经网络平行的计算机系统。当同时计算所有网络层时，它实际上会有效地减少遗憾。为了进一步减少延迟，本文档引入了临时遗漏连接，以提供新的观察，以越来越快地网络。网络层不需要浏览CAPE。这项研究的核心贡献是将并行计算与时间跳跃连接相结合，以减少遗憾，而无需动作和延迟实际时间系统。下图说明了以下图：在图中，垂直轴表示网络层的深度。从第一个观察开始，按顺序通过第一层和第二层，最后通过STImulus。水平轴代表时间。因此，每个箭头代表层的计算过程，是所需的时间Δseconds。在参考方法（左图）中，新观测值必须通过层N层的整个网络，因此动作的输出必须获得N×δs。在每一层（图中）执行并行计算时，每次每次δ秒每次都会增加推理产率，从而减少了无动作的后悔。最后，时间跳跃连接（如右图）将nδ的总延迟减少到δ。该机制是将最新的观测值传递给输出层，仅一个延迟δ。从设计概念的角度来看，该解决方案基本上通过权衡网络表示能力的必要衍生功能和及时集成信息来解决延迟问题。此外，通过改善过去的行动/状态的条目，您可以恢复马尔可夫的特征和即使在延迟存在的情况下，也可以提高学习的稳定性。结果表明，这同时减少了延迟并减少了与优化相关的遗憾。尽管两种组合的组合是互补的，尽管隔间的异步推理和同步跳跃连接彼此独立。同步遗漏连接减少了观测值对模型中的动作的延迟，但是散布的推理允许即使使用大型模型，也可以连续发行稳定的操作。两者的组合允许在交互中隔离延迟模型，这允许在真实时间环境中部署表情和接受剂。这对于主要取决于响应速度的关键领域，例如机器人技术，自动驾驶和财务交易非常重要。通过允许大型模型实现高频决策而无需牺牲其表达能力，这些方法迈出了重要的一步，以改善对延迟敏感的实际应用中的学习。