大模型+智能城市=城市通用智能！港科大（广州）发布最新「城市基础大模型UFM」综述与方案

时事新闻2024-02-27 19:56:19无忧百科

新智元报道

编辑：LRS

【新智元导读】城市通用智能该如何发展？如何解决概念定义模糊、缺乏系统文献述评和通用解决方案等难题？

城市通用智能（UGI）是一种概念化的高级人工智能形式，旨在深入理解、解释并有效管理复杂城市系统与环境。

与通用人工智能（AGI）类似，UGI 有望自主执行与城市环境相关的任何智力任务，具备媲美甚至超越人类的能力，从而将城市转变为更宜居、更有耐受力和更具适应性的空间。

近期，ChatGPT等大语言模型和视觉大模型等基础模型的发展极大地推动了机器学习和人工智能领域的进步。

这些模型通过在庞大数据集上进行预训练，展现出如上下文理解、复杂问题推理和跨任务适应等前所未有的能力，而城市基础模型（UFMs）是在广泛的多源、多粒度和多模态的城市数据上预训练的大规模模型。

题目：Towards Urban General Intelligence: A Review and Outlook of Urban Foundation Models

作者：Weijia Zhang ; Jindong Han ; Zhao Xu ; Hang Ni ; Hao Liu ; Hui Xiong

机构：香港科技大学（广州），香港科技大学

链接：https://arxiv.org/abs/2402.01749

仓库：https://github.com/usail-hkust/Awesome-Urban-Foundation-Models

UFMs可以深入理解和适应各类城市数据及任务，通过整合不同类型的城市数据，能够为复杂的城市环境提供全面的洞察，揭示复杂动态的时空模式，提高在各种城市环境中的决策能力，从而有效促进城市通用智能的实现，引领城市系统朝着更加一体化、智能化、响应式的方向发展。

尽管UFMs充满了潜力并受到广泛关注，但其发展仍面临诸多挑战，如概念定义模糊、缺乏系统文献述评和通用解决方案等。

因此，本文旨在对UFMs研究进行系统性回顾与展望。首先给出UFMs的定义并讨论了其独特的挑战。接着，提出了一种以数据为中心的分类法对现有UFMs研究进行归类和总结。

此外，本文还介绍了一种构建UFMs的新型通用框架，旨在解决所面临的挑战，并广泛适应不同城市任务和环境。随后，本文还探讨了UFMs的应用领域，展示其对城市智能的全面提升，并展望UFMs未来的发展。

城市基础模型（UFMs）

城市基础模型（UFMs）是基于大规模的多源、多粒度及多模态城市数据预训练的大型模型。通过大规模预训练，其能在城市背景的多种下游任务及领域中涌现出前所未有的能力与适应性。

构建UFMs的独特挑战

多源、多粒度和多模态数据整合

UFMs必须有效整合来自社交媒体、卫星图像、城市传感器和交通记录等多种来源的数据。每个数据源提供从宏观的城市整体模式到具体的局部细节不同粒度级别的数据。

此外，数据的模态差异显著，包括文本、图像和传感器读数等。这些不同类型数据的整合在数据预处理、标准化、对齐融合、模型训练等方面均提出了重大挑战。

时空推理能力

城市环境在空间和时间上是动态变化的。UFMs需要理解和预测依赖时间和空间的城市复杂现象。这涉及对时间序列和空间分布的复杂建模和能够处理高维时空数据的先进算法。这种时空推理能力在城市背景下尤为关键，而这一能力在其他类型基础模型中往往被较少强调甚至缺失。

适应多样化城市任务领域的能力

城市环境涵盖了广泛的领域，如交通、城市规划、环境监测、公共安全等。每个领域都有其独特的挑战和需求。UFMs需要足够灵活，以适应不同的领域背景。这不仅涉及模型针对特定任务的定制，还要确保它们能够在不同城市场景中进行泛化。模型需要在复杂性和适用性之间谨慎平衡，以确保UFMs在实际领域环境中的有效部署。

UFMs研究文献综述

本文提出一种数据为中心的UFMs文献分类体系，根据城市数据模态类型将现有的UFMs研究工作分为六大类：基于语言的模型 (Language-based models)、基于视觉的模型 (Vision-based models)、基于轨迹的模型 (Trajectory-based models)、基于时间序列的模型 (Time series-based models)、多模态模型 (Multimodal models) 及其他模型，并基于文献所侧重的模型预训练和适应技术对这些工作进行介绍。

基于语言的模型 (Language-based models)

该部分研究集中在将预训练语言模型（PLMs）应用于城市语境，主要分为预训练方法和领域适应方法两类。

预训练方法侧重于使用城市特定领域数据开发PLMs，以超越通用PLMs在特定任务上的表现。领域适应方法则主要关注利用提示工程和模型微调等技术将现有PLMs适配到城市场景中，充分利用现有PLMs中蕴含的世界知识，同时大幅减少所需的计算成本。

基于视觉的模型 (Vision-based models)

该部分研究主要分为预训练方法和领域适应方法两类。预训练方法侧重于利用街景、监控、遥感、天气栅格等城市视觉类数据进行模型预训练。领域适应方法则通过提示工程和模型微调技术，将已有的视觉模型适配至城市场景。

基于轨迹的模型 (Trajectory-based models)

该部分讨论了两类基于轨迹的模型：单模态方法和跨模态迁移方法。单模态方法基于轨迹数据进行预训练和领域适应。预训练方法主要应用于路网轨迹和自由空间轨迹两种数据类别。跨模态迁移方法则侧重于研究大语言模型在轨迹分析任务的应用。

基于时间序列的模型 (Time series-based models)

该部分介绍了基于城市时间序列数据的UFMs，主要包括单模态方法和跨模态迁移方法。单模态方法通常通过在大规模普通时间序列或空间相关时间序列数据集上进行有监督或自监督预训练来学习时间序列数据的特征和模式。跨模态迁移方法探讨了通过提示工程、模型微调、模型重编程等技术将从一个模态学习到的知识、特征或模式转移到时间序列分析任务中的应用潜力。

多模态模型 (Multimodal models)

该部分讨论了开发UFMs来处理多种数据模态以实现对城市动态更全面的理解，也可主要分为预训练方法和领域适应方法两类。其中预训练方法根据可应用领域又划分为单领域模型和多领域模型。而领域适应方法则主要基于提示工程和模型微调等技术。

其他模型 (Other Models)

该部分探讨了除前述模态外，UFMs在其他城市数据和场景中的探索性研究，如地理数据、路网数据和交通控制等。

UFMs通用框架

UFMs的发展目前主要集中于整合有限范围的城市数据类型并应用于特定的城市场景。并且，UFMs对空间-时间推理以及数据隐私问题的考量尚未得到充分探索。

理想情况下，UFMs应能够处理多源多粒度城市数据，涵盖各种数据模态，适应广泛的城市任务和领域。

此外，它们还应具备智能的空间-时间推理能力，以深入理解和解释城市环境中的复杂动态和相互联系，同时保证数据隐私和安全，并保障用户的使用体验。

为此，本文提出了一个潜在的UFMs通用框架，旨在克服当前挑战并构建未来的多功能UFMs。