本技术公开了一种空中手势交互中的跨设备多尺度光标控制方法,首先由输入设备采集用户手部运动信息数据,通过消息队列方式传递给服务器;服务器在接收到输入设备传递的数据后,对手部信息进行均值滤波处理;根据用户预期的光标移动类型采集不同的手势信号;服务器获取到用户不同运动类型的手势信号后,根据用户的静态手势进行用户意图判断;服务器生成与之相对应的指令,并通过稳定的通信渠道将该指令准确地发送给输出设备;输出设备在接收到服务器发送的指令后,获取光标移动的变化值,求出新的光标位置,实现对应的光标移动功能。本发明不仅能够极为高效地实现输出设备在大范围的光标移动,而且还能够精准地进行极为精细的微调操作。
背景技术
随着信息技术的不断发展,空中手势交互作为一种自然的人机交互方式,逐渐成为研究热点。与传统的键盘、鼠标等物理输入设备相比,空中手势交互更具直观性、灵活性,用户可以摆脱特定设备的限制,使用手部动作与系统进行交互。尤其在大屏幕显示、智能家居控制、虚拟现实(VR)和增强现实(AR)等领域,空中手势交互技术展现出了巨大的应用潜力。
传统的空中手势交互多用于单一设备上,而在多设备协同操作场景中,尤其是在跨设备交互中,用户往往需要更加灵活、精确地控制设备上的光标位置。然而当前的手势识别和控制方法仍存在一些局限,特别是在多设备协同的场景下,如何实现对不同设备上光标的跨尺度控制,仍面临着输入设备捕捉范围有限、光标移动精度不足等问题,极大的影响了交互的流畅性和准确性。
专利CN108776550A提出了一种光标定位控制装置、控制方法及电子设备,该装置包括有基座和控制球,通过手指对控制球的移动和按压进行控制。
专利CN113282222A提供了一种光标控制方法和装置,应用于设置有加速度传感器的移动终端。方法包括:在终端处于遥控器模式时,获取加速度传感器在两个坐标轴上的数值,根据数值确定目标键值(遥控器方向键对应键值),控制第二终端光标按目标键值方向移动。装置包括获取模块、确定模块和控制模块。通过控制终端姿态控制光标移动,避免了实体按键易损坏和操作不便的问题。
专利CN111045638A公开了一种光标控制方法、装置、存储介质和终端,旨在通过语音识别技术对带有麦克风的鼠标语音输入操作指令,代替用户双手实现对鼠标光标的控制,提高光标控制的准确性和便利性。
专利CN115291733A公开了一种光标控制方法,使用摄像头捕捉用户手势位移信息从而控制光标的移动。其光标的移动主要由根据所述焦点位置、所述移动前位置和所述移动后位置确定第一距离和第二距离等特征决定。
专利CN108292362A描述一种用于手势识别的系统、方法、设备及计算机可读介质。该技术通过分析手的运动向量和光流直方图来创建描述符,实现手势识别和光标控制,具有对比例、旋转和手型不变的特点,且能应用于不同图像类型,提高了准确度和性能。
专利PCTCN2023135670公开了一种光标控制方法,主要步骤为:第一电子设备根据第二电子设备指令控制光标,接收第一指令将光标显示为静止态,接收第二指令使光标在静止态和指向态间变化并移动,接收第三指令播放目标焦点画面;第二电子设备响应用户操作生成指令,控制第一电子设备上光标、焦点和列表的移动及状态显示。
专利PCTCN2021080438涉及显示设备与终端设备的交互方法,包括显示设备接收终端设备接入请求并建立通讯,生成对应光标并展示,根据光标控制指令控制光标位置;终端设备获取接入地址建立连接并控制光标;多个显示设备可同步显示,它们通过云服务器连接。该方法还包括对终端设备进行权限设定等。
专利CN116048313A公开了一种光标控制方法,涉及接触式手势控制问题,主要步骤为光标输入设备检测用户对光标输入设备的触控区域从抬起至离开的操作,控制显示设备确定每个周期的光标位置偏移信息,将光标位置偏移信息降低至预设值。显示设备基于预设值显示光标。
专利CN113010130A公开了一种基于图像流的远距离大屏交互控制方法,包括大屏幕端与智能手机端,通过智能手机内置惯性传感器控制大屏幕端矩形光标的移动,矩形光标区域内容截图实时传输到智能手机端,在智能手机端触摸控制确认点选目标点,再通过惯性传感器控制模式或触摸屏控制模式实现对选中目标点的多种交互操作。
当前大部分的光标控制方法并未考虑跨设备空中手势交互场景,没有考虑到用户的多尺度光标控制需求。上述提到的专利CN108776550A、CN113282222A、CN111045638A使用具体的终端设备、语音指令等方式完成光标的高效控制,并未适用手势控制;专利CN115291733A、CN108292362A都使用手势进行光标控制,但各自关注手势控制光标的具体手势识别方法,并未涉及跨设备交互中的光标控制;专利PCTCN2023135670、PCTCN2021080438涉及多设备间的光标控制方法,但更多只是使用到多种设备作为辅助装置,并未结合不同设备的独特交互能力设计具有针对性的光标控制方法。专利CN116048313A、CN113010130A提到的光标控制方法适用于跨设备的场景,但其并适用于接触式手势而非空中手势,且未涉及多尺度的光标控制方法。
目前没有一种方法能够适用于跨设备空中手势交互场景中的多尺度光标控制需求,即满足大范围高效光标控制和小范围精准光标控制的多尺度需求。因此迫切需要一种能够适应多设备空中手势交互场景的光标控制方法,以提升用户的操作体验和交互效率。
实现思路