本技术介绍了一种空地联合自适应追踪技术。该技术涉及大语言模型接收用户通过自然语言输入的提示词，并将其传递给空中和地面机器人。这些提示词用于指导机器人识别目标。观测编码器收集基于这些提示词的目标频率环境信息，并将其传输至大语言模型和强化学习模块。该技术旨在解决现有空地协同追踪方法中未能充分利用机器人互补优势、智能性不足以及在动态环境中执行复杂任务能力有限的问题，从而提高追踪的准确性。
背景技术
机器人被誉为“制造业皇冠顶端的明珠”，以智能化和自主化为主要特征的机器人受到世界各科技强国越来越多的重视。然而，单机器人的通体功能、任务执行效率与容错能力都相对有限，难以适应复杂任务与动态环境。因此，许多研究者开始将目光转向任务执行效率更高且具备环境自适应性的多机器人集群系统。由空中机器人和地面机器人组成的异构多机器人协作系统是一种典型的多机器人集群系统，它结合了空中群体与地面群体的互补优势，将地面机器人运动的二维平面扩展到三维空间，利用空中机器人灵活机动、视角广阔的优势，结合地面机器人高负载、强计算推理的能力，在任务执行效率、环境自适应性与容错能力等方面均显现出较强优势，已成功代替人类在危险、污秽、极端温度的环境中完成搜索救援、自主探索、巡逻修检等任务。
然而，面向复杂任务与动态环境，当前的空地协同系统仍面临低智能性、弱自主性等挑战。基于此，将人工智能技术和自然群智理论应用于空地协同系统是提升个体智能和群体智慧的有效方案。尽管近年来以深度学习为代表的人工智能(ArtificialIntelligence, 简称为AI)技术在机器人感知、决策与控制等领域得到广泛应用，但由于空地机器人在动态的环境中执行负责任务，需要为空地机器人设计更加智能的决策方法，以应对动态环境。与此同时，由于空地协同算法设计开发周期较长，需要科研人员投入大量的时间成本，尤其是直接将设计的空地协同算法部署于空地机器人的物理实体，会花费大量的时间调试测试，并且如果协同算法不鲁棒，有可能会损坏物理实体。因此目前大量科研人员选择在算法部署真实环境之前，先在模拟环境中进行测试算法性能。然而目前并没有一款完全面向空地协同的模拟环境，需要科研人员设计考虑空地机器人的结构设计、通信算法和感知算法等空地协同过程中必要步骤。
现有许多研究工作开展空地协同的研究。最早的工作从规划的角度出发，基于经典控制理论在静态环境中跟踪目标。这些研究往往忽略了感知层的信息来源，而依赖于预先处理的数据。并且他们为空地机器人设置相同的模型，即采用同构策略来解决空地异构机器人协作问题。然而，这种方法并没有充分利用空中和地面机器人的互补优势。长期以来，多智能体增强深度学习（Multi-Agent Deep Reinforcement Learning,，简称为MADRL）已被广泛应用于机器人协作，尤其是在决策和规划任务中。为了解决环境不稳定的问题，大多数工作都遵循了集中式训练分布式执行（CTDE）框架。这种方法需要在训练期间通过实时沟通获得全局信息。然而，由于高带宽传输要求，这种情况在现实世界中并不常见。此外，每个智能体在执行过程中仅依靠局部观测的决策也限制了多个智能体之间的合作能力。最近的研究旨在通过智能体之间有效的通信交流提高合作效率。它们专注于减少协作过程中的通信资源消耗，主要是通过选择通信对象，学习通信内容，以及管理通信的频率。尽管现有工作已经通过管理通信频率在减少通信带宽使用方面做出了许多努力，但它并没有研究如何增强空地机器人的智能性，以便在动态环境开展复杂任务。
实现思路