小77文学欣赏 港大发布智能交通大模子全家桶OpenCity，突破时空零样本预测壁垒，老师速率最多提高50倍

香港大学发布智能交通预测模子 OpenCity小77文学欣赏。

【导读】近日，香港大学发布最新计划效果：智能交通大模子 OpenCity。该模子凭证参数大小分为 OpenCity-mini、OpenCity-base 和 OpenCity-Pro 三个模子版块，显耀提高了时空模子的零样本预测才能，增强了模子的泛化才能。

精准的交通流量预测关于提高城市谋划和交通管制服从至关蹙迫，有助于更合理地分派资源并提高出行质地。

然而，现存的预测系统在处理未知区域的交通预测，以及进行长久预测时，经常无法达到预期效果，这些挑战主要源于交通数据在空间和时候上的不一致性，以及在不同时代和地方的显耀变化。

基于「蛊惑一种具有高度通用性、鲁棒性和妥贴性的时空预测模子」的念念路，香港大学、华南理工大学等机构的计划东谈主员提议了一个翻新的基座模子 OpenCity，有时识别并整合来自多个数据源的时空模式，以增强在不同城市环境中的零样本学习才能。

论文流畅：http://arxiv.org/abs/2408.10269

代码流畅：https://github.com/HKUDS/OpenCity

OpenCity 集结了 Transformer 和图神经汇集本领，以捕捉交通数据中的复杂时空关联。通过谢世俗的、千般化的交通数据集上进行预老师，OpenCity 有时掌持丰富且具有世俗适用性的特征默示，这些特征适用于多种交通预测情境。

实验完毕泄漏，OpenCity 在零样本学习方面取得了显耀奏凯。

此外，OpenCity 的可延迟性也得到了考证，这标明有望构建一个有时满足总共交通预测需求的系统，况且有时以较低的出奇资本妥贴新的城市环境。

笼统现存问题

C1. 空间泛化：现存的交通预测模子在空间泛化方面存在限度，难以妥贴不同地区因基础范例和东谈主口特征不同而发扬出的差异交通模式。在现实条目下，全面部署传感器来汇集数据并不能行。因此，蛊惑一种有时在有限数据相沿下妥贴新区域的模子显得很是关键。这种模子有时裁汰跨城市部署的资本，并确保交通预测系统在多元化的城市环境中灵验运作，无需频贫寒老师或调节。

C2. 时候泛化与长久预测：现存的交通预测模子天然有时较好地处理短期预测（如将来一小时内），但在进行数小时甚而数天的长久预测时则效果欠安。模子难以妥贴城市环境中随时候变化而变化的复杂交通模式，这极少限度了城市谋划者和交通管制者制定灵验长久政策的才能。

C3. 通用表征学习与时空异质泛化：蛊惑有时世俗适用的交通模子，关键在于蛊惑有时世俗适用的交通模子，通过学习通用的交通动态特征完毕泛化。这种泛化学习使得模子有时妥贴不同的应用场景，即等于在阑珊特定场景老师数据的情况下也能驱动。研讨到城市交通的千般性过火时空分散的显耀变化，模子需要具备妥贴这些变化的才能，以保持其功能性和活泼性。

图 1 左图展示了不同交通数据集之间的数据分散差异，凸显了蛊惑有时妥贴这些分散差异的模子的必要性。右图则比较了 OpenCity 在零样本条目下的发扬与使用全样本数据的基线模子的发扬。完毕标明，尽管 OpenCity 濒临时空异质性分散偏移的挑战，其性能仍可与全样本基线模子匹敌

论文孝敬

（1）通用时空建模。OpenCity 针对城市交通在不同地区实时候内的千般性和变化进行挑升联想。

（2）超卓的零样本预测才能。OpenCity 在未经特定区域老师的情况下，展示了卓绝常限度型的性能，这凸显了其泛化特征学习的才能，并允许该模子在新环境中快速部署，减少了重老师的需求。

（3）快速妥贴性。OpenCity 在多个时空预测任务中泄漏了其世俗的适用性，有时快速地妥贴各式场景，完毕活泼的部署。

（4）延迟才能。OpenCity 展现了精湛的延迟后劲，这意味着它有时在险些无需出奇老师的情况下灵验地妥贴未知环境。

方法

图 2 OpenCity 全体框架

用于分散偏移泛化的时空镶嵌

荆棘文归一化

传统方法常常依赖于老师数据的统计特征，举例均值和范例差，来进行数据的范例化处理。然而，当测试数据发扬出与老师数据在地舆空间上无重迭的异质性时，这些统计参数可能不再适用，也难以妥贴。为了克服这一挑战并满足零样本交通预测的需求，选拔了实例归一化 IN ( ⋅ ) 处理数据。

该方法诳骗每个个区域的单个输入实例

的均值 μ ( Xr ) 和范例差 σ ( Xr ) 进行数据范例化，而不依赖于通盘老师集的统计信息。有关计划名义实例范例化能灵验缩小老师数据与测试数据之间分散差异的问题，时局化如下：

用于高效长久预测的 Patch 镶嵌

OpenCity 旨在交代长久交通预测的复杂性，相称是处理增加的输入时候步长，这会导致计划资源和内存需求显耀增加。为缩小这一职守，选拔了一种基于时候维度的 Patch 分割政策。在此政策中，设定了 Patch 长度 P，用于详情每个 Patch 包含的时候步数；同期设立了步长 S，用于界说一语气 Patch 之间的重迭进度。选拔此 Patch 处理景观后，输入数据的时局发生了变化。

，这里� � 为块的数目，

。

计划东谈主员取舍将一小时的交通数据设定为一个 Patch 的长度，并设立步长 S=P，这么的建树匡助模子灵验捕捉并妥贴交通数据在更万古候跨度的变化趋势。

此外，选拔 Patch 处理方法显耀减少了对计划和内存的需求，从而完毕了更高效和可延迟的长久交通预测。

Patch 处理完成后，对数据应用线性变换和正余弦位置编码 PE，以获得最终的时空镶嵌默示。

被用于后续模块的输入，如下：

时空荆棘文编码

为了拿获交通数据中的复杂时空模式，OpenCity 模子整合了时候与空间的荆棘文信息。

通过充分研讨这两个维度的多个成分，OpenCity 能更全面地知悉影响交通模式的多元成分。这种全体方法使得该框架有时在各式时候段和地舆区域中提供更精准的预测。

时候荆棘文编码

为了使 OpenCity 得胜地捕捉交通数据中的私有时候模式，诳骗了诸如一天中的时候

和一周中的某一天

等时候特征来识别周期性筹商，并通过线性层调度这些时候特征，生成响适时候荆棘文的特定镶嵌。通过精准模拟交通流的周期性特征，的方法有时在长久预测中达到高精度。

时候荆棘文的编码进程会通了 Patch 操作和时空镶嵌的对王人，具体完毕如下：

空间荆棘文编码

鉴于地舆特征的千般性，每个区域的交通模式具有其特有的特征（举例，交通重要的流量常常较高）。为了灵验捕捉这些区域性特征，在交通汇集模子中引入了空间荆棘文。

最先，进行了拉普拉斯矩阵的范例化处理：

，其中 I 和 D 分歧是单元矩阵和度数矩阵。

然后实践特征值分解，得到

，其中，U 和 Λ 分歧代表特征值和特征向量。

取舍了最小的 k 个非零特征向量算作区域镶嵌 s，用以编码交通汇集的结构特点。这些镶嵌随后经过一个线性层的处理，用以产生最终的空间编码

。

时空依赖建模

时候依赖建模

OpenCity 诳骗新提议的 TimeShift Transformer 架构，专注于捕捉时候依赖性。

该方法从两个主要方面识别交通模式：

（1）周期性交通模式。模子有时识别交通中的周期性和重复模式，如每小时、逐日和每周的轮回。通过对这些周期性变化的编码，的方法不错更精准地解析交通汇荟萃的执法性。

通逾期候镶嵌 D 和空间镶嵌 C 来拿获交通模式的周期性特征。标的在于探索历史交通模式与将来趋势之间的筹商。时候镶嵌被细分为历史时候信号和将来时候信号两部分：

，

。

的模子挑升建模了历史时候和将来时候的映射模式，这使得它有时更灵验地学习和应用交通时候序列的周期性特征。此进程通过构建一个时候升沉的多头注观点机制来完成，其中将将来的时空镶嵌算作查询（Query），将历史的时空镶嵌算作键（Key），并将历史时空数据的默示算作值（Value）。

其中，

和

为权重矩阵，δa 为 dropout 操作。

为更新后的空间镶嵌，

为来自第 h 个注观点头的周期关联编码模块的输出。

引入 RMSNorm 以提高老师进程的通晓性。通过明确地建筑历史与将来时候信息之间的筹商，OpenCity 具备了识别周期性的时空交通模式的才能。

（2）动态交通趋势。除周期性模式外，时候编码器还能捕捉交通数据随时候发展的复杂和非线性动态趋势。

该模块旨在探索不同时代点之间的动态依赖性。举例，交通事故等突发事件可能导致交通速率和流量急巨变化。

为了交代这种情况，选拔了一种编削的注观点机制，与周期性交通模式编码相同。

其区别在于，查询（Q）、键（K）和值（V）的输入被改为上一步的归一化输出（M）。此调节匡助模子专注于学习不同时代点之间的动态依赖筹商，而非仅限于周期性模式。

由此产生的时候默示

有时灵验捕捉这些动态的时空筹商。

空间依赖建模

由于在交通预测中，交通汇集展现出显耀的空间有关性，拿获空间依赖性对模子联想至关蹙迫。一个区域的交通状态常常会受到其左近区域状态的影响。为了灵验学习这种空间筹商，选拔了图卷积汇集（GCNs）：

是归一化的连系矩阵，� � 用于均衡原始信息的保留进度。残差联结、RMSNorm（RN）和 SwiGLU 激活函数被用于后续的运算。

式中，

代表第 l 层时空编码汇集的最终输出，σ 是 Swish 激活函数，

是可老师权重。通过叠增多层时空编码汇集，OpenCity 具备拿获复杂的时空依赖性的才能，从而使其有时学习交通汇集内的复杂相互作用。

实验零样本 vs. 全样本

全面评估了 OpenCity 在零样本条目下的性能，测试触及跨区域、跨城市和跨类型三个维度，并将其与基线模子在全样本条目下的性能进行了对比，完毕如表 1 所示。

（1）优胜的零样本预测性能。

OpenCity 在零样本条目下取得了杰出成就，有时在无需出奇微调的情况下卓绝大都基线模子。这凸显了模子在掌持复杂的大限度交通数据时空模式、索取适用于多种任务的通用常识的可靠性与服从。

在多个数据集的测试完毕下，OpenCity 经常位于前两名，即便不是最好，其与最优性能（MAE）的差距也限度在 8% 之内。

这种超卓的零样本预测才能展现了 OpenCity 在处理千般化交通数据集时的世俗妥贴性和渊博性，无需大限度的从头老师。

其中枢上风在于能飞速妥贴新环境，大幅裁汰了传统监督学习方法所需的时候和资源，为执行应用带来了显豁的上风。

（2）超卓的跨任务泛化才能。

对 OpenCity 进行了跨四个不同交通数据类别的评估，包括交通流量（CAD3、CAD5）、交通速率（PEMS07M、TrafficSH）、出租车需求（CHI-TAXI）和自行车轨迹（NYC-BIKE）。基线分析泄漏，天然多种模子在特定类型数据上发扬出色，但莫得一个有时在总共类别中一直保管最优完毕。

比拟之下，OpenCity 在总共测试类别中均呈现出高质地的效果，展示了其超卓的通晓性和多功能性。此外，为了评估 OpenCity 框架的通用性，相称测试了其在跨类别零样本泛化才能上的发扬（以 NYC-BIKE 为例）。

完毕标明，OpenCity 在多个评价计划上均展现了出色的收货，进一步考证了其对千般数据类型的妥贴性和普适性。

（3）优胜的长久预测性能。

幼女强奸

OpenCity 架构在长久交通预测任务中的发扬优于基线方法，这是其显耀的上风之一。好多现存模子在预测时候范围延万古经常难以保管准确性，原因在于这些模子可能过度依赖历史数据，未能灵验捕捉交通情景的动态变化和演进。

相背，OpenCity 有时从世俗的交通数据源中学习到关键的时空特征，使其有时提供通晓而可靠的预测，即便在交通模式随时候发生变化的情况下亦然如斯。

表 1 零样本 vs. 全样人道能

有监督预测性能

为了进一步考证 OpenCity 的性能，进行了监督学习评估。在这一评估中 OpenCity 选拔一体化建树，在单个数据集上与基线模子进行了全面的端到端老师和测试比较。

表 2 中的完毕泄漏，OpenCity 在监督学习环境中展示了出色的性能，并在大大都评料想划上保持了跨越地位。此外，不雅察到大大都基线模子在 CAD-X 数据集上的发扬欠佳，这可能是由于它们倾向于过度拟合历史的时空模式，难以妥贴长久依赖的交通模子。

相背，OpenCity 架构通过灵验地从预老师阶段索取通用的周期性和动态时空特征，得胜克服了由时候和地方的分散偏移引起的预测性能裁汰问题。

表 2 有监督任务评估

模子快速妥贴才能探索

本节中探讨了 OpenCity 不才游任务中的快速妥贴才能。对预老师阶段未出现的交通数据类型实施了"高效微调"政策。具体作念法是仅更新模子的预测头部（临了一个线性层），并限度老师周期为至多三个。

如表 3 所示，天然 OpenCity 在一些计划上的零样人道能率先不如基线模子的全样人道能，这可能归因于交通模式和数据采样的差异。然而，通过高效微调，OpenCity 的性能显耀提高，卓绝了总共比较模子。

相称值得凝视的是，OpenCity 的老师时候仅需基线模子的 2% 至 32%。这种快速的妥贴性凸显了 OpenCity 算作基本交通预测模子的后劲，展示了其对新的时空数据类型的飞速妥贴才能。

表 3 OpenCity 快速妥贴才能评估

消融实验

（1）动态交通建模的蹙迫性。

-DTP。除动态交通建模模块后，性能有所下落。这评释该模块关于灵验分析最新友通模式并妥贴突发的交通情景以优化预测至关蹙迫。

（2）周期性交通升沉建模的作用。

-PTTM。在模子中取消了周期性编码，取舍顺利将时候和空间荆棘文融入时空镶嵌。性能的下落标明，通过映射历史与将来时候对之间的交通流，OpenCity 有时灵验拿获影响时空模式演变的关键执法。

（3）空间依赖性建模的作用。

在 -SDM 变体中，移除了空间编码模块。分析泄漏，通过学习空间筹商，模子的时空预测才能得到了显耀提高。模子通过整合依赖于空间区域的交通讯息，灵验地识别了动态交通流模式，为零样本交通预测提供了关键相沿。

（4）时空荆棘文编码的作用。

在移除了时空荆棘文信息编码后（-STC），性能显耀下落。时候荆棘文信息匡助模子识别并学习特定时段的常见交通模式，同期区域镶嵌则提供了区域特定的关键特征。这些成分共同为剖判城市间的动态时空模式提供了深入的知悉。

图 3 OpenCity 消融实验

模子可延迟性计划

如图 4 所示，本节探索了 OpenCity 在数据量和参数限度这两个维度的可延迟性。

关于参数限度，磨练了三个不同的版块：OpenCity-mini（2M 参数）、OpenCity-base（5M 参数）以及 OpenCity-plus（26M 参数）。在数据限度的可延迟性方面，关于 OpenCity-plus 模子，分歧使用了 10%、50% 和 100% 的预老师数据，以计划增加数据量所带来的上风。

为了便于比较，使用相对预测裂缝算作纵轴的度量范例。完毕泄漏，跟着参数数目和数据量的增加，OpenCity 的零样本泛化才能也迟缓提高。

这标明 OpenCity 有时灵验地从大限度数据蚁集索取有用信息，并通过增加参数限度来提高其学习才能。这种可延迟性的展示相沿了 OpenCity 成为世俗应用于交通规模的基础模子的后劲。

图 4 模子可延迟性计划

与大限度时空预测模子的比较

在本节中，对 OpenCity 与其他先进的大型时空预老师模子进行了比较，包括以其出色的零样本泛化才能而著称的 UniST 和 UrbanGPT。评估使用的是三个模子在预老师阶段均未战斗过的 CHI-TAXI 数据集。

如表 4 所示，OpenCity 在这些先进的大型时空模子中泄漏出了显耀的性能上风。此外，与 UrbanGPT 比拟，OpenCity 和 UniST 发扬出了显豁的服从提高。这可能是因为 UrbanGPT 需要依赖于大型言语模子（LLM）以问答神色进行预测，从而限度了其处理批量数据的服从。

OpenCity 在性能和服从方面的超卓发扬凸显了其在交通规模算作迢遥大限度模子的后劲。

表 4 与大限度时空预测模子的比较实验。

回顾与预测

该论文提议了 OpenCity，一个针对交通预测联想的可延迟时空基础模子，它在多种交通预测场景中展示了超卓的零样本预测才能。

该模子中枢选拔了 Transformer 编码器架构，用以建模动态的时空依赖性，并通过在大型交通数据集上预老师，使得 OpenCity 在多种下贱任务中均发扬出色，其零样本预测性能可与全样本设立下的先进模子比好意思。

OpenCity 框架有时灵验处理不同分散的数据，并展现出高效的计划性能。鉴于其所泄漏的精湛延迟性，OpenCity 为蛊惑一个迢遥且适用于多种城市环境和交通汇集的通用交通预测措置决策奠定了基础。

参考尊府：

http://arxiv.org/abs/2408.10269

https://sites.google.com/view/chaoh

本文来自微信公众号"新智元"小77文学欣赏，剪辑：LRST 。