Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
DISPLAY METHOD AND DEVICE BASED ON AUGMENTED REALITY, AND STORAGE MEDIUM
Document Type and Number:
WIPO Patent Application WO/2022/055418
Kind Code:
A1
Abstract:
A display method and device based on augmented reality, and a storage medium. The method comprises: in response to a first instruction of a user, acquiring a target object image collected by an image collection unit in a real-time scene image; generating, according to the target object image, an avatar corresponding to a target object; and displaying the avatar of the target object in the real-time scene image on the basis of the augmented reality technology. A target object image is acquired, and an avatar corresponding to a target object is thus generated on the basis of the target object image. The avatar is displayed in a real-time scene image on the basis of the augmented reality technology. Various avatars can be generated according to the requirements of a user, such that the diversified requirements of the user are met, and the use experience of the user using the AR technology is improved.

Inventors:
LU ZHIXIONG (CN)
CHEN ZHILI (US)
ZHANG JINGCONG (US)
CHEN ZIHAO (US)
Application Number:
PCT/SG2021/050488
Publication Date:
March 17, 2022
Filing Date:
August 20, 2021
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
LEMON INC (SG)
International Classes:
G06T19/00; G06F3/01
Foreign References:
CN111626183A2020-09-04
CN110597397A2019-12-20
CN106791784A2017-05-31
US20070182739A12007-08-09
CN202010937921A2020-09-09
Other References:
See also references of EP 4044123A4
Attorney, Agent or Firm:
POH, Chee Kian, Daniel (SG)
Download PDF:
Claims:
权 利要 求 书

1、 一种基于增强 现实的显示 方法, 包括: 响应于 用户的第 一指令 , 获取图像采集单元采 集的实时 场景图像 中的目 标物体 图像; 根据 所述目标物 体图像生 成所述 目标物体对应 的虚拟形 象; 基于增 强现实显 示技术, 在所述实 时场景图像 中显示所述 目标物体 的虚 拟形 象。

2、根据权 利要求 1所述的方法 , 其中, 所述获取图像采集单元采集 的实 时场景 图像中 的目标物体 图像, 包括: 对所述 实时场景 图像中的所 述目标物 体进行物体 分割, 以获取所述目标 物体 图像, 并对所述 目标物体图像 进行标识 。

3、 根据权利要求 2所述的方 法, 还包括: 响应于 用户的触 发指令, 运行预加载 的物体分 割算法 , 以对所述实时场 景 图像中的所 述目标物体 进行物体 分割; 响应于 所述第一 指令, 停止所述物 体分割算 法的运行 。

4、 根据权利要求 1-3任一所述的方法 , 其中, 所述根据所述目标物体 图 像生 成所述 目标物体对应 的虚拟形 象, 包括: 将所述 目标物体 图像与动 画素材进行 合成, 生成所述 目标物体对 应的虚 拟形 象, 其中 , 所述动画素材包括 虚拟形象 的肢体动 画素材和 /或表情动画素材 。

5、根据权 利要求 4所述的方法 , 其中, 所述将所述目标物体图像与 动画 素材 进行合成 , 包括: 获取所 述肢体动 画素材和/或所 述表情动 画素材; 在所述 目标物体 图像上确 定多个连接 点; 通过 所述多个 连接点将 所述肢 体动画素 材和/或所 述表情动 画素材 与所 述 目标物体图像 进行合成 , 生成所述目标物 体对应的虚 拟形象 。

6、 根据权利要求 4或 5所述的方 法, 还包括: 播放 所述动画素 材, 以对所述虚拟 形象进行动 作和/或表情控 制。

7、 根据权利要求 6所述的方法 , 其中, 所述播放所述动画素材 , 以对所 述虚 拟形象进行 动作和/或表情 控制, 包括: 根据所 述动画素 材的预设动 画帧播放 所述动画 素材, 以对所述虚拟 形象 进行动 作和 /或表情控制; 和 /或 根据所 述用户的 肢体动作 和/或表情生成 并播放所 述动画素材 的动画帧 , 以对 所述虚拟形 象进行动作 和/或表情控 制。

8、 根据权利要求 1-7任一所述的方 法, 还包括: 响应于 用户对所述 虚拟形 象的控制指 令, 对所述虚拟形 象进行相应 的控 制, 所述控制指令包括 以下至少一 项: 旋转控 制指令 、 缩小控制指令、 移动控制指令 、 放大控制指令 。

9、 根据权利要求 1-8任一所述的方法 , 其中, 所述基于增强现实显示技 术, 在所述实 时场景图像 中显示所述 目标物体 的虚拟形 象, 包括: 在所述 实时场景 图像中创建 虚拟平面 ; 在所述 虚拟平面 处生成 3D空间; 基于所 述增强现 实显示技 术, 在所生成的 3D空间 中显示所述 目标物体 的虚 拟形象。

10、 根据权利要求 9所述的方 法, 其中, 所述在所述实时场景 图像中创 建虚 拟平面, 包括: 若检测 到所述实 时场景图像 中存在 目标平面区域 , 则基于所述目标 平面 区域创 建所述虚 拟平面 , 其中目标平面区域 为与所述 图像采集单 元距离处 于 第一预 设距离 范围内和 /或处于所述实时场 景图像的 中心区域 内的平面 区域; 或者 在所述 实时场景 图像中特定 位置处创 建所述虚 拟平面。

11、根据权利 要求 9或 10所述的方法 , 其中, 所述基于所述增强现实显 示技 术, 在所生成的 3D空间中显示 所述目标 物体的虚 拟形象, 包括: 在所述 3D空间 中确定 目标位置; 基于所 述增强现 实显示技 术, 在所述 3D 空间的 目标位置处显 示所述 目 标物体 的虚拟形 象。

12、 根据权利要求 11所述的方法 , 其中, 所述在所述 3D空间中确 定目 标位 置, 包括: 接收用 户发出的位 置指定指 令; 根据用 户的位置 指定指令 触发的位 置点 ,在所述 3D空间中建 立 3D锚点, 将所 述 3D锚点 作为所述 目标位置 。

13、 根据权利要求 1-12任一所述的方法 , 其中, 在所述根据所述目标物 体 图像生成所 述目标物体 对应的虚 拟形象之后 , 在基于增强现 实显示技术 , 在所 述实时场景 图像中显 示所述 目标物体的虚 拟形象之 前, 还包括: 将所述 虚拟形 象悬浮于所 述图像采 集单元前 方的预定位 置处。

14、 根据权利要求 1-13任一所述的方 法, 还包括: 若所述 实时场景 图像中 已存在至少一 个虚拟形 象, 且所述已存在 的至少 一个 虚拟形象 所在位置 与所述 目标物体对应 的虚拟形 象之间的距 离超过第 二 预设距 离范围 , 则将所述已存在的 至少一个 虚拟形象移 动至所述 目标物体 对 应的虚 拟形象 的第二预定 范围内并 显示。

15、 根据权利要求 1-13任一所述的方 法, 还包括: 若所述 实时场景 图像中 已存在多个虚 拟形象 , 对各虚拟形象之间进 行碰 撞检 测; 当确 定任意两个 虚拟形 象之间发生碰 撞时, 移动发生碰 撞的两个 虚拟形 象 中的任意一 个虚拟形 象。

16、 根据权利要求 1-15任一所述的方法 , 其中, 在所述基于增强现实显 示技 术, 在所述实时场景 图像中显 示所述 目标物体的虚 拟形象时 , 所述方法 还包 括: 在所述 虚拟形 象周围的特 定位置处显 示所述虚 拟形象 的影子。

17、 根据权利要求 1-16任一所述的方 法, 还包括: 基于增 强现实显 示技术, 在所述实 时场景图像 中动态显示 所述目标 物体 的虚 拟形象。

18、 一种基于增强 现实的显示 设备, 包括: 目标物 体确定单 元, 用于响应于用 户的第一指 令, 获取图像采集 单元采 集的 实时场景 图像中的 目标物体图像 ; 生成单 元, 用于根据所述 目标物体 图像生成 所述目标物 体对应的 虚拟形 象; 显示单 元, 用于基于增强 现实显示技 术, 在所述实时场景 图像中显 示所 述 目标物体的虚 拟形象 。 19、 一种电子设备 , 包括: 至少一 个处理器 ; 以及 存储器 ; 所述存 储器存储 计算机执行 指令; 所述 至少一个处 理器执行 所述存储 器存储的计 算机执行 指令时, 使得所 述至 少一个处 理器执行如 权利要求 1-17任一项所述的 方法。

20、 一种计算机可读 存储介质 , 其中, 所述计算机可读存储 介质中存 储 有计 算机执行指 令, 当处理器执行 所述计算机 执行指令 时, 实现如权利要 求 1-17任一 项所述的 方法。

Description:
基于增强 现实的显示 方法、 设备及存储介 质 本申请 要求于 2020年 9月 9日提交的 中国专利 申请第 202010937921.6 的优 先权, 该中国专利 申请的全文 通过引用 的方式结合 于此以作 为本申请 的 一部 分。 技术领 域 本公开 实施例涉 及一种基 于增强现 实的显示方 法、 设备及存储介质 。 背景技 术 增强现 实技术 ( Augmented Reality , 简称 AR) , 是一种将虚拟信息与真 实世 界融合的技 术, 广泛运用了 多媒体、 三维建模 、 实时跟踪及注册、 智能 交互 、 传感等多种技术手段 , 将计算机生成的文 字、 图像、 三维模型、 音乐、 视频等 虚拟信 息模拟仿真 后, 应用到真实世界 中, 两种信息互为 补充, 从而 实现对 真实世界 的 “增强” 。 随着增强现实技术的发 展, 其在各行业 中均得 到广 泛应用。 已知技 术中对 AR技术 的一种应 用是在真 实世界中 叠加虚拟模 型, 例如 卡通 人物模型 、 动物模型等, 然而, 已知技术中的虚 拟模型通 常是固定 的, 是 由开发人员预 先设计好 的虚拟模型 形知 这就 导致虚拟模 型形象 比较单一, 无法 满足用户 多样化的需 求,进而影响用 户使用 AR技术的 意愿和使 用体验。 发明 内容 本公开 实施例提 供一种基 于增强现 实的显示方 法、 设备及存储介质 , 以 克服 虚拟模型 形象比较单 一, 无法满足用户 多样化的 需求的问题 。 第一 方面, 本公开实施例 提供一种基 于增强现 实的显示 方法, 包括: 响应于 用户的第 一指令 , 获取图像采集单元采 集的实时 场景图像 中的目 标物体 图像; 根据 所述目标物 体图像生 成所述 目标物体对应 的虚拟形 象; 基于增 强现实显 示技术, 在所述实 时场景图像 中显示所述 目标物体 的虚 拟形 象。 第二 方面, 本公开实施例 提供一种基 于增强现 实的显示设 备, 包括: 目标物 体确定单 元, 用于响应于用 户的第一指 令, 获取图像采集 单元采 集的 实时场景 图像中的 目标物体图像 ; 生成单 元, 用于根据所述 目标物体 图像生成 所述目标物 体对应的 虚拟形 象; 显示单 元, 用于基于增强 现实显示技 术, 在所述实时场景 图像中显 示所 述 目标物体的虚 拟形象 。 第三 方面, 本公开实施例 提供一种 电子设备 , 包括: 至少一个处理器和 存储 器; 所述存 储器存储 计算机执行 指令; 所述 至少一个处 理器执行 所述存储 器存储的计 算机执行 指令, 使得所述 至少 一个处 理器执行 如上第 一方面 以及第 一方面各 种可能 的设计 所述的方 法。 第四 方面, 本公开实施例 提供一种计 算机可读 存储介质 , 所述计算机可 读存储 介质中存 储有计算机 执行指令 ,当处理器执行所 述计算机 执行指令 时 , 实现如 上第一 方面以及 第一方面各 种可能的 设计所述 的方法。 本公开 实施例提 供的基于 增强现实 的显示方法 、 设备及存储介质 , 该方 法通 过响应于用 户的第一 指令, 获取图像采 集单元采 集的实时场 景图像中 的 目标 物体图像 ; 根据目标物体图像 生成目标 物体对应 的虚拟形象 ; 基于增强 现实技 术, 在实时场景图像 中增强显 示目标物 体的虚拟形 象。 通过获取目标 物体 图像, 基于目标物体 图像生成 目标物体 对应的虚拟 形知 可以 避免虚拟 形象 需要预先设 计、 且形象固定单 一的问题 , 本公开实施例中可 根据用户 需 求生 成各种各样 的虚拟形 象, 可以满足用户 多样化的 需求, 通过增强现 实技 术, 将虚拟形象显示在 实时场景图像 中的 目标位置处, 提高用户使 用 AR技 术的 意愿和使 用体验 O 附图说 明 为了更 清楚地说 明本公开 实施例或 已知技术 中的技术方 案, 下面将对实 施例 或已知技 术描述中 所需要使 用的附图作 简单地介 绍, 显而易见地, 下面 描述 中的附 图是本公开 的一些实施 例, 对于本领域普 通技术人 员来讲, 在不 付 出创造性劳 动性的前提 下, 还可以根据这 些附图获得 其他的 附图。 图 1为本公开一实施 例提供 的基于增强 现实的显 示方法流程 示意图 ; 图 2A为本公 开一实施 例提供 的显示目标 物体图像 的轮廓的一 个示例 图; 图 2B为本公 开一实施 例提供的 用户发 出第一指令 、 确定目标物体图像 一个 示例图; 图 3 为本公开一 实施例提供 的目标 物体图像 的对应 的虚拟形 象的示例 图; 图 4为本公开一实施 例提供 的实时场景 图像中显示 虚拟形象 的示例 图; 图 5为本公开一实施 例提供 的基于增强 现实的显 示方法流程 示意图 ; 图 6为本公开一实施 例提供 的基于增强 现实的显 示方法流程 示意图 ; 图 7为本公开一实施 例提供 的获取目标 物体对应 的虚拟形 象过程的示 例 图; 图 8为本公开实施例 提供的基 于增强现 实的显示设 备的结构 框图; 图 9为本公开实施例 提供的 电子设备的硬 件结构示 意图。 具体 实施方式 为使本 公开实施 例的目的 、 技术方案和优点 更加清楚 , 下面将结合本公 开实施 例中的 附图, 对本公开实施 例中的技 术方案进行 清楚、 完整地描述 , 显然 , 所描述的实施例是 本公开一 部分实施 例, 而不是全部的 实施例。 基于 本公 开中的实施 例, 本领域普通技 术人员在 没有作 出创造性劳动 前提下所 获 得的 所有其他 实施例, 都属于本公开保护 的范围。 本公 开实施例可 适用于任 意的具备 AR功 能的电子设 备,例如智能手机 、 平板 电脑、 可穿戴设备等 等, 本公开实施例 的应用场景 可以包括 例如, 电子 设备通 过其图像 采集单元 采集实时 场景图像 , 根据场景图像中的 目标物体生 成对 应的虚拟形 象, 并经过本公开各 实施例 的增强现 实的显示方 法, 最终将 目标 物体对应 的虚拟形 象在实时场景 的中进行 增强显示 ,其中增强显示包括: 基于 增强现实显 示技术 , 显示虚拟物体, 例如实时场景 图像中的 目标物体 为 一个 芒果, 通过采用本 公开实施例 中的虚拟 形象生成 方法生成 目标物体 芒果 对应 的虚拟形 象, 经过本公开各实施 例的增 强现实的显 示方法后 , 可以将目 标物 体芒果对应 的虚拟形 象在实时 场景图像 中进行增强 显示并进一 步通过动 画的 形式动态显 示, 其中芒果对应的 虚拟形象可 具备四肢 和/或表情, 且四肢 和/或表 情可以有 一定的 动作, 以使得芒果对应的 虚拟形 象在实时 场景中运 动。 参考 图 1 , 图 1为本公开实施例提供的基于增 强现实的 显示方法 流程示 意 图。 本实施例的方法 可以应用在 具备 AR功能 的电子设备 中, 该基于增强 现实 的显示方 法可以包括 :

S101、 响应于用户的 第一指令 , 获取图像采集单元 采集的实 时场景图像 中的 目标物体 图像。 在本 实施例中 , 电子设备的图像采 集单元如摄 像头等可 以采集实 时场景 图像 , 并显示在电子设备 的显示单元 中。 当用户希望得 到实时场景 图像中 的 某一 目标物体 图像对应 的虚拟形象 时, 用户可发出第一 指令, 使得电子设备 根据 第一指令 获取实时场 景图像 中的目标物体 图像。 在一个实施 例中, 电子 设备 可以根据 第一指令 , 基于图像采集单元 采集到的 实时场景 图像中的 目标 物体 图像, 再复制出同样 的目标物 体图像作 为获取到 的目标物体 图像, 并基 于复 制后的 目标物体图像 生成虚拟 形象。 其中 , 电子设备可以对实 时场景图像 中的目标物 体进行物 体分割 , 以得 到 目标物体图像 。 进一步的, 电子设备还可对 目标物体 分割后所 得到的 目标 物体 图像进行 标识。 具体的, 电子设备可运行 预加载的 物体分割 算法, 以对 实时 场景图像 中的目标物 体进行物体 分割, 从而得到 目标物体 图像。 其中, 本公 开实施例 中采用的 物体分割 算法可以 包括显著性 物体分割 算法 , 在分割 时可 将实时场景 图像中的 显著物体作 为目标物 体, 并分割出目标 物体图像 。 其 中, 显著物体可以为 实时场景 图像中与背 景颜色存在 较大差异 的物体 , 也 可以 为实时场景 图像中心 区域处的 物体, 或者实时场景 图像中所 占面积最 大 的物 体, 等等。 例如图 2A 中所示, 实时场景图像中的芒果 处于实时 场景图 像 中的中心 区域且所 占面积最大 , 可以将其作为所述 目标物体 ; 而耳机并未 位于 实时场景 图像中的 中心区域 , 且所占面积较芒果 小很多, 因此不将其作 为所 述目标物体 。 进一 步的,在电子设 备得到 目标物体图像 、对目标物体 图像进行标 识时, 可将 目标物体 图像进行 突出显示 , 例如如图 2A所 示, 通过描边突 出显示目 标物体 图像的轮 廓, 或者, 也可对目标物体 图像进行 高亮显示 , 或者, 对除 了 目标物体图像 外的图像 区域进行 低亮度显 示等等, 进而可以使得用户确 认 当前 电子设备分 割得到 的目标物体 是否与用 户自己所 需的目标物 一致。 当用 户确认 一致时 , 可发出第一指令 , 其中第一指令包括 但不限于 对经过标识 的 目标 物体图像 的点击操作 指令、 拖拽操作指 令、 语音操作指令 、 表情识别获 取到 的操作指 令等, 本公开不对第 一指令 的具体形 式进行限定 。 如图 2B所 示 , 用户通过在目标物体 图像的轮 廓区域 内进行拖拽 , 从而发出上述的拖 拽 操作 指令。 当用户确认不一致时 , 用户可移动电子设备 , 使得电子设备的 图 像采 集单元更换 角度重新 采集实 时场景图像 , 并再次运行物体分 割算法 , 再 将 实时场景图像 中的显著 物体作为 目标物体 , 对目标物体图像进行 分割并标 识, 以使用户重新确认 当前电子设备 所确定 的目标物体 是否与用 户自己所 需 的 目标物一致 , 以及分割效果是 否符合用户 的预期 。 可选 的, 在电子设备得到 目标物体 图像、 对目标物体图像 进行标识 时, 还可 在显示单元 中显示提 示信息 , 例如可显示提示语 , 如 “对准物体扫描, 拖动” , 或者显示动态提示 图, 如用手指拖动 目标物体 图像、 放到平面上的 动态提 示图等 , 以便于提示用户如 何确认并操 作目标物 体图像 。

S 102、 根据目标物体图像生成 目标物体对 应的虚拟 形象。 在本 实施例中 , 在得到目标物体 图像后 (例如, 复制原始目标物体图像 后获取 到的 目标物体图像 ) , 电子设备可根据目标物体 图像生成 目标物体 对 应的虚 拟形象 , 其中虚拟形象可具有 肢体动作 和/或表情动作 , 例如, 当目标 物体 图像为芒 果的图像 时, 则对应的虚拟形 象可以在芒 果的图像 上长出四肢 和面 部表情 , 如图 3所示。 进一步的, 四肢和表情还可 具有一定 的动作以驱 动芒 果的虚拟形 象在电子 设备的屏 幕中运动 。 可选 的, 在根据目标物体 图像生成 目标物体对 应的虚拟 形象时, 可将所 述 目标物体图像 与动画素 材进行合 成, 生成所述目标 物体对应的 虚拟形象 , 其 中, 该动画素材包括虚 拟形象 的肢体动画 素材和 /或表情动画素材 。 也即, 在本 实施例中 ,可预先设置 目标物体对应 的虚拟形 象的肢体 动作和/或表情 动 作 , 生成相应的肢体动 画素材和 /或表情动画素材 , 以用于后续的合 成过程, 也即 在目标物体 图像上 添加肢体动 画素材和/表情 动画素材 ,得到目标物体 对 应的 虚拟形 象, 且该虚拟形象 的肢体和/或表 情可以根 据肢体 动画素材 和/表 情动 画素材的播 放进行 一定的动作 。

S103、 基于增强现 实显示技术 , 在所述实时场景图像 中显示所 述目标物 体的 虚拟形象 。 在本 实施例中 , 在得到目标物体的 虚拟形象后 , 电子设备可通过 增强显 示技 术, 将目标物体的虚 拟形象显 示在实时 场景图像 中, 也即将虚拟形象 通 过增 强现实技术 叠加到真 实的实时 场景图像 中, 实现增强显示的效 果, 如图 4 所示 。 其中可以将虚拟形 象显示于 实时场景 图像中的任 意位置 , 例如可以 是在 实时场景 图像中检测 到的任意 平面区域 , 或者也可以是用户 在实时场 景 图像 中指定的 目标位置 , 本实施例中可不做 限定。 在一种 可选实施 例中, 用户可将获取 到的复制 后的目标 物体图像从 原始 目标 物体图像 的初始位 置出拖动至 实时场景 图像中的 某一位置处 ,进一步的, 基于 增强现实显 示技术 , 在该位置处显示 目标物体的虚 拟形象; 或者也可先 显示 出基于复 制后的 目标物体图像 生成的 目标物体的虚 拟形象 , 再基于用户 的拖 动操作将 该虚拟形 象显示至 实时场景图像 中的某一 位置处。 在一 个实施例 中, 用户还可对所显示 的虚拟形 象进行旋 转、 缩放、 移动 等 。 例如, 用户可在电子设备的显 示界面上 发出对虚拟 形象的控 制指令 , 控 制指 令可包括 但不限于 旋转控制 指令、 缩小控制指令 、 移动控制指令 、 放大 控制 指令, 电子设备响应于用户对虚 拟形象 的控制指令 , 对该虚拟形象进行 相应 的控制。 需要说明的是, 本实施例中 的旋转可 包括虚拟形 象在任意 情况 下的 角度变化 , 移动可包括虚拟形 象在任意 情况下 的位置变化 。 缩放可以包 括虚 拟形象在任 意情况 下的大小 的变化。 当然本实施例中, 用户还可与 该虚 拟形 象进行更 多其他的 交互过程 , 为简明起见, 此处不再 — 赘述。 本实施 例提供 的基于增 强现实的显 示方法,通过响应 于用户的第 一指令, 获取 图像采集单 元采集 的实时场景 图像中的 目标物体 图像; 根据目标物体 图 像生 成目标物体 对应的虚 拟形象; 基于增强现实技术 , 在实时场景图像中增 强显 示目标物体 的虚拟形 象。 通过获取目标 物体图像 , 基于目标物体图像 生 成 目标物体对应 的虚拟形 象, 可以避免虚拟 形象需要预 先设计 、 且形象固定 单一 的问题, 本实施例 中可根据用 户需求生 成各种各样 的虚拟形 象, 可以满 足用 户多样化 的需求, 通过增强现 实技术, 将虚拟形 象显示在 实时场景图像 中的 目标位置 处, 提高用户使用 AR技术 的意愿和使 用体验 。 在本公 开的一个 实施例 中, 可选的, 在获取图像采集单 元采集的 实时场 景 图像中的 目标物体图像 时, 针对于物体分割 算法, 为了避免物体分割算 法 长时 间运行, 占用电子设备的运算 资源, 因此可控制物 体分割算 法的适 时运 行和 停止运行 , 如图 5所示, 具体过程可如下 所示:

5201、 响应于用户的 触发指令 , 运行预加载的物体 分割算法 , 以对所述 实时 场景图像 中的所述 目标物体进行 物体分割 ;

5202、 响应于所述第 一指令 , 停止所述物体分割 算法的运 行。 在本 实施例中 , 当需要运行物体分 割算法时 , 用户可发出触发指 令, 触 发指 令可以为 开启图像采 集单元的 触发指令 , 也可以是在图像采 集单元在 采 集 实时场景图像 的过程 中, 用户通过触发界 面中的启动 按钮时发 出的触发指 令 , 电子设备响应用户的 触发指令 , 启动运行物体分割 算法, 从而开始对 实 时场 景图像中 的目标物体 进行物体 分割。进一步 的, 当用户发出第一指令 后, 电子设 备根据第 一指令 已获取实时 场景图像 中的目标物 体图像, 此时则可停 止物 体分割算 法的运行 。 当然 , 用户也可通过其方 式控制物 体分割算 法停止运 行, 例如关闭图像 采集 单元或者 触发界面 中的停止按 钮等, 此处可不做 限定。 例如 , 电子设备运行算法模 块中的物 体分割 算法, 当接收到第一 触发指 令 (对应于触发 算法运行 的指令 ) , 即启动物体分割算法的运 行; 当接收到 第二 触发指令 (对应于触 发算法终 止运行的 指令) , 则停止物体分割算 法的 运行 。 在一 个实施例 中, 用户也可通过长按 操作控 制物体分割 算法的启 动, 在 长按 操作的过程 中物体 分割算法持 续保持运 行, 当长按操作停 止时, 可结束 物体 分割算法 的运行。 通过采 用上述方 式控制物 体分割算 法的适时 运行和停 止运行 , 可以避免 物体 分割算法 在电子设备 中的长时 间运行, 并节约了电子设备的运 算资源 。 在上 述任一实施 例的基础 上, 在根据所述 目标物体图像 生成所述 目标物 体对 应的虚拟形 象时, 可将所述 目标物体图像 与动画素 材进行合 成, 以生成 所述 目标物体 对应的虚拟 形象, 其中, 所述动画素材 包括虚拟形 象的肢体 动 画素 材和 /或表情动画素材。 其中 , 在一个实施例中 , 如图 6所示, 将所述目标物体 图像与动画 素材 进行 合成的步骤 , 具体可包括:

5301、 获取所述肢体 动画素材 和/或所述表情 动画素材 ;

5302、 在所述目标物 体图像上 确定多个 连接点;

5303、通过所述 多个连接点 将所述肢 体动画素 材和/或所述表 情动画素 材 与所 述目标物体 图像进行 合成, 以生成所述目标物体 对应的虚拟 形象。 在本 实施例中 , 电子设备首先可获取虚拟 形象的肢 体动画素材 和/或表情 动画 素材,其中肢体 动画素材 和/或表情动画 素材可以 预先配置 并存储在 电子 设备 中, 在需要进行合成 时, 电子设备可提取出肢 体动画素 材和 /或表情动画 素材 , 并且根据目标物 体图像的属 性 (例如, 形状、 大小、 纹理等)在目标 物体 图像上确 定多个连接 点,其中连接 点为肢体 动画素材 和/或表情动画素 材 与 目标物体图像 结合的位 置, 例如电子设备 可以将 目标物体图像 设置为虚 拟 形 象的身体躯 干部分 ,将在目标图像上确 定的多个 连接点设置 为肢体连接 点, 由此 , 连接点可包括肢 体与身体躯 干部分 的连接位 置, 进而电子设备可通 过 连接 点将肢体 动画素材 与目标物体 图像进行 合成, 使得目标物体 图像长 出肢 体 。 此外, 电子设备还可以根据 目标物体图像 在目标物 体图像上 确定表情 在 目标 物体图像对 应的虚拟 形象身体 躯干部分 的放置位 置, 并将表情动画素 材 与 目标物体图像 进行合成 , 从而使得目标物体 图像具有 表情。 此外, 肢体和/ 或表 情还可以 具有一定 的动画效 果, 从而进一步得到 具有动画 效果的 目标物 体对 应的虚拟形 象, 具体如图 7所示。 进一 步的, 电子设备还可以播放 动画素 材, 包括播放肢 体动画 素材和/ 或表 情动画素 材, 从而对虚拟形象进 行动作和/或表 情控制, 也即使得 目标物 体对 应的虚拟形 象的肢体 和/或表情可 以展示出相 应的动作 。 具体 的, 电子设备可根据 该动画素材 的预设动 画帧播放该 动画素材 , 以 对该虚 拟形象 进行动作和 /或表情控制; 和 /或, 根据用户的肢体动作和 /或表 情生 成并播放 动画素材 的动画帧 ,以对目标物体 对应的虚拟 形象进行 动作和/ 或表 情控制 。 也即, 上述的动画素材可包括 预设动画 帧, 预设动画帧中可 预 先设 置肢体和/或表 情具体展 示怎样的 动画。 在一个实施例 中, 电子设备还可 以 实时采集用 户的图像 ,并根据用户的肢 体动作和 /或表情动作生成肢体动 画 素材 和 /或表情动画素材的动 画帧,从而实现 用户通过动 作控制 目标物体对应 的虚 拟形象的 动作。 例如用户做 出某个肢体 动作, 则虚拟形象也 相应的展 示 相 同的肢体动作 , 和/或用户做出某个表情 , 则虚拟形象也相应 的展示相 同的 表情 , 通过采用用户的动 作驱动并控 制目标物 体对应的 虚拟形象 的动作, 能 够提 高用户的操 作体验和 乐趣。 在上述 任一实施 例的基础 上, 所述基于增强 现实显示技 术, 在实时场景 图像 中的目标位 置处显示 所述目标 物体的虚 拟形象的 步骤, 包括如下操作 : 在实 时场景图像 中创建虚拟 平面; 在虚拟平面 处生成 3D空间 ; 基于所 述增 强现实显示 技术,在所生 成的 3D空间中显示 所述目标 物体的虚 拟形象。 在本 实施例中 , 在增强显示目标物体 的虚拟形 象时, 为了保证虚 拟形象 在 实时场景图像 中的动作 更加真实 、 立体, 可在实时场景图像中创 建一个虚 拟的 3D 空间。 具体的, 首先在实时场景 图像中创 建虚拟平 面, 再以虚拟平 面为基 础, 在虚拟平面之 上生成 3D空 间, 进而基于增强现 实显示技 术, 将 虚拟 形象增强显 示在该 3D空间中 。 在上述 实施例 的基础上 , 在所述实时场景图像 中创建虚 拟平面, 具体可 包括 : 若检测 到所述 实时场景图像 中存在 目标平面 区域, 则基于所述 目标平面 区域 创建所述虚 拟平面 , 其中目标平面区域 为与所述 图像采集 单元距离处 于 第一 预设距离 范围内和 /或处于所述实时 场景图像 的中心区域 内的平面 区域; 或者 , 在所述实时场景 图像中特定 位置处创建 所述虚拟 平面。 在本 实施例中 ,电子设备可通过 诸如 SLAM算 法基于 实时场景图像 检测 实时 场景图像 中包括的平 面区域 , 判断与图像采集单元 距离在第 一预设范 围 内和 /或处于实时场景图像中心 区域内是 否存在平 面区域, 若存在, 可将检测 到的 该平面区域 作为 目标平面区域 , 进一步的, 在该目标平面 区域的基础 上 创建虚 拟平面 , 虚拟平面可紧贴 目标平面区域 , 或者平行于 目标平面区域 、 且与 目标平面 区域保持 一定的固 定距离。若电子设备 未检测到 目标平面 区域, 则可 在实时场景 图像中特 定位置处创 建虚拟平 面。 或者电子设备 不检测目标 平面 区域, 直接在实时 场景图像 中特定位置 处创建虚拟 平面, 其中实时场景 图像 中的特定位 置处可 以包括实 时场景图像 的中心区域 或右上 角等区域 , 特 定位 置具体在 实时场景 图像的哪一 位置可根 据实际需 求进行设置 。 在上述 实施例 的基础上 , 在生成的 3D 空间中显示 目标物体 的虚拟形 象 时, 由于 3D空间可 能比较大 , 因此需要确定具体将 虚拟形象 显示在 3D空间 的 目标位置处 , 也即, 可以首先在 3D空间中确 定目标位 置; 再基于增强现 实显 示技术, 在 3D空间 的目标位置 处显示 目标物体的虚 拟形象 。 在上 述实施例 的基础上 , 在 3D空间中确定 目标位置, 具体可包括: 接收 用户发出的 位置指定 指令,根据用户的 位置指定 指令触发 的位置点 , 在 3D空间中建 立 3D锚点 , 将所述 3D锚点作 为所述 目标位置。 在本 实施例中 , 用户可发出位置指 定指令, 电子设备在接收到用 户发出 的位 置指定指 令后, 可确定用户 的位置指 定指令触发 的位置点 , 基于位置点 延伸 到与 3D空间产生 交点 , 基于该交点在 3D空间 中建立 3D锚点 , 3D锚 点 即为在 3D空间 中显示虚拟形 象的 目标位置, 进而电子设备 将目标物 体的 虚拟 形象在 3D空间中的 3D锚点处 增强显示 。 可选 的, 用户发出的位置 指定指令 可以为, 用户对虚拟形象进行拖 动操 作结 束指令, 拖动结束指 令触发的 位置处 (也即用户拖 动结束处 )为用户 的 位置 指定指令 触发的位 置点; 此外, 位置指定指令 也不限于是 用户对虚 拟形 象的 拖动操作 的结束指令 , 也可以为用户的 点击操作 指令, 点击操作指令 触 发的 位置点 (也即用户点击位置 )为用户的 位置指定 指令触发 的位置点 。 当然 电子设备也 可将虚拟模 型显示 于实时场景 图像中的任 意位置 , 例如 显示 在电子设备 在实时场景 图像中识 别到的任 意平面区域 。 电子设备还可通 过其 他方式确 定虚拟模 型的显示位 置, 本实施例中可 不做限定 。 在上 述任一实施 例的基础 上, 在根据所述 目标物体图像 生成所述 目标物 体对 应的虚拟形 象之后 , 在实时场景图像中 的目标位置 处增强显 示所述 目标 物体 的虚拟形 象之前, 还包括预放置阶段 , 即, 可以将目标物体对应的虚 拟 形 象悬浮于图像 采集单元 前方的预 定位置处 , 在确认实时场景图像 中的 目标 位置 后, 再将虚拟形象 显示在 目标位置处 。 在上 述任一实施 例的基础 上, 本实施例中还 可执行多次 S101-S103从而 在 实时场景图像 中放置多 个虚拟形 象。 可选 的, 若实时场景图像 中已存在至 少一个虚 拟形象 , 且该已存在的至 少一 个虚拟形 象所在位 置与目标物 体对应的 虚拟形象之 间的距 离超过第二 预 设距 离范围, 则将该已存在的至少 一个虚拟 形象移动 至目标物体 对应的虚 拟 形 象的第二预 定范围内 并显示。 也即, 在本实施例 中, 当实时场景图像 中已 存在 的虚拟形 象距离 目标物体对应 的虚拟形 象当前放 置位置距 离过远、 且超 过第 二预设距 离范围时 , 可将已存在的虚拟 形象也移 动到目标物 体对应的虚 拟形 象的附近 范围, 也即第二预设 距离范 围之内, 从而可以更好 的、 更清晰 的展 示多个虚 拟形象。 此外, 实时场景图像中可设置 最多可显示 的虚拟形 象 的数 量上限 , 若实时场景图像中 已存在的虚 拟形象达 到数量上 限, 再新增加 虚拟 形象时, 可将最早显示的虚拟 形象替换 掉。 可选 的, 若所述实时场景 图像中已存 在多个虚 拟形象 , 为了避免实时场 景 图像中已存 在的多个 虚拟形象之 间出现交 叉、 从而出现穿模 现象, 因此可 以对 各虚拟形 象之间进行 碰撞检测 ; 当确定任意两个虚 拟形象之 间发生碰 撞 时, 电子设备移动发生碰撞 的两个虚 拟形象 中的任意一 个虚拟形 象。 其中碰 撞检 测主要检测 在空间 中任意两个 虚拟形象之 间是否存 在交叉或 干涉, 例如 在第 一虚拟形 象和第二 虚拟形象 的肢体或躯 干部分 出现在 3D空间 中的同一 空 间位置处, 则说明第一虚拟形象 和第二虚 拟形象 出现干涉, 可将第一虚 拟 形 象移开和/或将第 二虚拟形 象移开 ,直至第一 虚拟形象 和第二虚 拟形象之 间 无干 涉。 在上 述任一实施 例的基础 上, 基于增强现实显 示技术 , 在实时场景图像 中增 强显示 目标物体的虚 拟形象 时, 还可以在虚拟形 象周围的特 定位置处 显 示该 虚拟形象 的影子。 在本 实施例中 , 可以获取虚拟形象 的影子, 再将影子放置在虚 拟形象周 围的 特定位置 处 ,其中影子的放置位 置可根据 实时场景 中的光源 的位置确 定, 例如 光源在虚 拟形象的 左侧, 则影子放置在 虚拟形 象的右侧, 而其中光源的 位置 可以通过 实时场景 图像进行确 定, 例如可确定实 时场景图像 中目标物体 的影 子朝向哪 个方向 , 则可确定光源位置 , 或者可以检测实时 图像中的 光源 位置 从而确定 虚拟形象 的影子放 置位置。 或者也可直接确定虚 拟形象影 子的 放置 位置。 当然虚拟形象的影子放 置的位 置也可通 过其他方 式确定, 例如也 可采 用随机方 向放置或 者固定位 置放置。 此外, 可选的, 虚拟形象的影子可 才艮据虚拟形象的动作 进行相应 的调整, 以使得虚拟 形象的影 子随着虚 拟形象 的动 作进行调整 , 从而效果更加真 实。 以上 的实施例 中, 在实时场景图像 的目标位置 处增强显 示目标物体 的虚 拟形 象还可以 进一步动 态显示该虚拟 形象, 例如, 动态显示该虚拟 形象的动 画 , 从而在界面上呈现虚 拟形象的动 作和 /表情动画, 增加用户的操作体验 和 乐趣 。 对应于 上文实施 例的基于 增强现实 的显示方法 , 图 8为本公开实施例 提 供的 基于增强 现实的显示 设备的结构 框图。 为了便于说明, 仅示出了与本公 开实施 例相关 的部分。 参照图 8, 所述基于增强现 实的显示设 备 80包括 目标 物体 确定单元 801、 生成单元 802以及显示单元 803。 目标物 体确定单 元 801 , 用于响应于用户的第一指令 , 获取图像采集单 元采 集的实时 场景图像 中的目标物体 图像; 生成单 元 802, 用于根据所述 目标物体图像 生成所述 目标物体对 应的虚 拟形 象; 显示单 元 803, 用于基于增强现 实显示技术 , 在所述实时场景图像 中显 示所 述目标物体 的虚拟形 象。 根据本 公开的一 个或多个 实施例 , 所述目标物体确定单 元 801在获取 图 像采 集单元采 集的实时场 景图像中 的目标物体 图像时 , 用于: 对所述 实时场景 图像中的所 述目标物 体进行物体 分割, 以获取所述目标 物体 图像, 并对所述 目标物体图像 进行标识 。 根据本 公开的一 个或多个 实施例 , 所述目标物体确定单 元 801还用于 : 响应于 用户的触 发指令, 运行预加载 的物体分 割算法 , 以对所述实时场 景 图像中的所 述目标物体 进行物体 分割; 响应于 所述第一 指令, 停止所述物 体分割算 法的运行 。 根据本 公开的一 个或多个 实施例 , 所述生成单元 802根据所述目标物 体 图像 生成所述 目标物体对 应的虚拟 形象时, 用于: 将所述 目标物体 图像与动 画素材进行 合成, 生成所述 目标物体对 应的虚 拟形 象, 其中 , 所述动画素材包括 虚拟形象 的肢体动 画素材和 /或表情动画素材 。 根据本 公开的一 个或多个 实施例 , 所述生成单元 802在将所述目标物 体 图像 与动画素材 进行合成 时, 用于: 获取所 述肢体动 画素材和/或所 述表情动 画素材; 在所述 目标物体 图像上确 定多个连接 点; 通过 所述多个 连接点将 所述肢 体动画素 材和 /或所述表情动 画素材 与所 述 目标物体图像 进行合成 , 生成所述目标物 体对应的虚 拟形象 。 根据本 公开的一 个或多个 实施例 , 所述显示单元 803还用于 : 播放 所述动画素 材, 以对所述虚拟 形象进行动 作和/或表情控 制。 根据本 公开的一 个或多个 实施例 , 所述显示单元 803在播放 所述动画 素 材 , 以对所述虚拟形象进 行动作和/或表 情控制时 , 用于: 根据 所述动画素 材的预设 动画帧播放 所述动画 素材, 以对所述虚 拟形象 进行 动作和 /或表情控制; 和 /或 根据 所述用户 的肢体动作 和/或表情生成 并播放所 述动画素材 的动画 帧, 以对 所述虚拟形 象进行动 作和/或表情控 制。 根据本 公开的一 个或多个 实施例 , 所述显示单元 803还用于 : 响应于 用户对所 述虚拟形 象的控制指 令, 对所述虚拟形 象进行相应 的控 制 , 所述控制指令包括 以下至少 一项: 旋转控 制指令 、 缩小控制指令、 移动控制指令 、 放大控制指令 。 根据本 公开的一 个或多个 实施例 , 所述显示单元 803在基于 增强现实显 示技 术, 在所述实时场景 图像中显 示所述 目标物体的虚 拟形象时 , 用于: 在所述 实时场景 图像中创建 虚拟平面 ; 在所述 虚拟平 面处生成 3D空间; 基于 所述增强现 实显示技 术, 在所生成的 3D空间 中显示所述 目标物体 的虚 拟形象。 根据本 公开的一 个或多个 实施例 , 所述显示单元 803在所述 实时场景 图 像 中创建虚拟平 面时, 用于: 若检测 到所述 实时场景图像 中存在 目标平面 区域, 则基于所述 目标平面 区域 创建所述虚 拟平面 , 其中目标平面区域 为与所述 图像采集单 元距离处 于 第一 预设距离 范围内和 /或处于所述实时 场景图像 的中心区域 内的平面 区域; 或者 在所述 实时场景 图像中特 定位置处创 建所述虚 拟平面。 根据本 公开的一 个或多个 实施例 , 所述显示单元 803在基于 所述增强 现 实显 示技术, 在所生成的 3D空间中显 示所述 目标物体的 虚拟形象 时, 用于: 在所述 3D空间 中确定 目标位置; 基于 所述增强现 实显示技 术, 在所述 3D空间的 目标位置处显 示所述 目 标物体 的虚拟形 象。 根据本 公开的一 个或多个 实施例 , 所述显示单元 803在所述 3D 空间中 确定 目标位置 时, 用于: 接收用 户发出的 位置指定 指令,根据用户的位 置指定指 令触发 的位置点 , 在所 述 3D空 间中建立 3D锚点, 将所述 3D锚点作为所 述目标位 置。 根据本 公开的一 个或多个 实施例 , 所述显示单元 803在所述根 据所述 目 标物体 图像生成 所述 目标物体对应 的虚拟形 象之后, 在基于增 强现实显示技 术, 在所述实时场景图像 中显示所述 目标物体 的虚拟形 象之前 , 还用于: 将所述 虚拟形 象悬浮于所 述图像采 集单元前 方的预定位 置处。 根据本 公开的一 个或多个 实施例 , 所述显示单元 803还用于 : 若所述 实时场景 图像中 已存在至少一 个虚拟形 象, 且所述已存在 的至少 一个 虚拟形象 所在位置 与所述 目标物体对应 的虚拟形 象之间的距 离超过第 二 预设距 离范围 , 则将所述已存在的 至少一个 虚拟形象移 动至所述 目标物体 对 应的虚 拟形象 的第二预定 范围内并 显示。 根据本 公开的一 个或多个 实施例 , 所述显示单元 803还用于 : 若所述 实时场景 图像中 已存在多个虚 拟形象 , 对各虚拟形象之间进 行碰 撞检 测; 当确 定任意两个 虚拟形 象之间发生碰 撞时, 移动发生碰 撞的两个 虚拟形 象 中的任意一 个虚拟形 象。 根据本 公开的一 个或多个 实施例 , 所述显示单元 803在所述 实时场景 图 像 中的目标位 置处增强显 示所述 目标物体的 虚拟形象 时, 还用于: 在所述 虚拟形 象周围的特 定位置处显 示所述虚 拟形象 的影子。 根据本 公开的一 个或多个 实施例 , 所述显示单元 803还用于 : 基于增 强现实显 示技术, 在所述实 时场景图像 中动态显示 所述目标 物体 的虚 拟形象。 本实施 例提供 的基于增强 现实的显示 设备, 可用于执行 上述方法 实施例 的基 于增强现 实显示的技 术方案 , 其实现原理和技术效 果类似 , 本实施例此 处不 再赘述。 参考 图 9, 其示出了适 于用来实现 本公开实施 例的电子 设备 900的结构 示意 图, 该电子设备 900可以为终端设备或 服务器 , 并可用于执行上述 方法 实施 例的基于增 强现实显 示的方法 。 其中, 终端设备可以包括但 不限于诸 如 移动 电话、 笔记本电脑 、 数字广播接收器 、 个人数字助理 (Personal Digital Assistant, 简称 PDA) 、 平板电脑( Portable Android Device, 简称 PAD) 、 便携 式多媒体 播放器 ( Portable Media Player, 简称 PMP) 、 车载终端(例如 车载 导航终端 ) 、 可穿戴电子设备等等的移 动终端以 及诸如数 字 TV、 台式 计算 机等等的 固定终端 。 图 9示出的电子设备仅 仅是一个 示例, 不应对本公 开实施 例的功 能和使用 范围带来任 何限制 。 如图 9所示, 电子设备 900可以 包括处理装 置 (例如中央处理 器、 图形 处理 器等 ) 901 , 其可以根据存储在只读存储器 ( Read Only Memory , 简称 ROM ) 902 中的程序或者从存储 装置 908加载到 随机访问存 储器 (Random Access Memory , 简称 RAM) 903中的程序 而执行各种 适当的动 作和处理 。 在 RAM 903中, 还存储有电子 设备 900操作所需的各 种程序和数 据。 处理 装置 901、 ROM 902以及 RAM 903通过总线 904彼此相连。输入 /输出( I/O) 接 口 905也连接至 总线 904。 通常 , 以下装置可以连接 至 I/O接口 905: 包括例如触摸 屏、 触摸板、 键盘 、 鼠标、 摄像头、 麦克风、 加速度计、 陀螺仪等的输入装置 906; 包括 例如 液晶显示 器 ( Liquid Crystal Display , 简称 LCD) 、 扬声器、 振动器等 的输 出装置 907; 包括例如磁带、硬盘等的存储 装置 908; 以及通信装置 909 o 通信 装置 909可以允许电子设备 900与其他设备 进行无线 或有线通 信以交换 数据 。 虽然图 9示出 了具有各种装 置的电子 设备 900, 但是应理解的是, 并 不要 求实施或 具备所有 示出的装 置。 可以替代地实施 或具备更 多或更少 的装 置 。 特别地 , 根据本公开的 实施例, 上文参考流程 图描述 的过程可 以被实现 为计 算机软件程 序。 例如, 本公开的实施例 包括一种计 算机程序 产品, 其包 括承 载在计算机 可读介质 上的计算 机程序, 该计算机程序包含用 于执行流 程 图所 示的方法 的程序代 码, 并可用于执行上 述方法 实施例的基 于增强现 实显 示的 方法。 在这样的实施 例中, 该计算机程 序可以通 过通信装 置 909从网络 上被 下载和安 装, 或者从存储装 置 908被安装 , 或者从 ROM 902被安装 。 在该 计算机程序 被处理装 置 901执行时 , 执行本公开实施例 的方法中 限定的 上述 功能。 需要说 明的是 , 本公开上述的计算机 可读介质 可以是计 算机可读 信号介 质或 者计算机 可读存储介 质或者是 上述两者 的任意组合 。 计算机可读存储 介 质例 如可以是 - 但 不限于 - 电 、 磁、 光、 电磁、 红外线、 或半导体的系 统、 装置或器件, 或者任意以上 的组合。 计算机可读 存储介质 的更具体 的例 子可 以包括但 不限于: 具有一个或多个导 线的电连接 、 便携式计算机磁盘 、 硬盘 、 随机访问存储器 (RAM ) 、 只读存储器(ROM ) 、 可擦式可编程只 读存 储器( EPROM 或闪存 )、光纤、便携式紧凑磁盘只读存 储器( CD-ROM )、 光存 储器件、 磁存储器件 、 或者上述的任 意合适的组 合。 在本公开中 , 计算 机可 读存储介质 可以是任 何包含或 存储程序 的有形介 质, 该程序可以被指 令 执行 系统、 装置或者器件 使用或者 与其结合 使用。 而在本公开中, 计算机可 读信 号介质可 以包括在基 带中或者 作为载波 一部分传播 的数据信 号, 其中承 载 了计算机可读 的程序代 码。 这种传播的数据 信号可 以采用多种 形式, 包括 但不 限于电磁信 号、 光信号或上 述的任意合 适的组合 。 计算机可读信号 介质 还可 以是计算机 可读存储 介质以外 的任何计 算机可读介 质, 该计算机可读信 号介 质可以发 送、 传播或者传输用 于由指令 执行系统 、 装置或者器件使用 或 者与 其结合使 用的程序 。 计算机可读介质上 包含的程 序代码可 以用任何 适当 的介 质传输, 包括但不限于: 电线、 光缆、 RF(射频)等等, 或者上述的任 意合 适的组合 。 上述计 算机可读 介质可以 是上述电子 设备中所 包含的; 也可以是单独存 在 , 而未装配入该电子设 备中。 上述计 算机可读 介质承载有 一个或者 多个程序 , 当上述一个或者 多个程 序被 该电子设备 执行时, 使得该电子 设备执行 上述实施例 所示的方 法。 可以 以一种或 多种程序设 计语言或其 组合来编 写用于执行 本公开 的操作 的计 算机程序 代码, 上述程序设计 语言包括 面向对象 的程序设计 语言一诸如 Java、 Smalltalk. C++, 还包括常规的过程式程序设计语 言一诸如 “C” 语言 或类 似的程序设 计语言 。 程序代码可以完全 地在用户计 算机上执 行、 部分地 在用 户计算机 上执行、 作为一个独 立的软件 包执行、 部分在用户 计算机上 部 分在 远程计算机 上执行 、 或者完全在远程计 算机或服 务器上执行 。 在涉及远 程计 算机的 情形中 , 远程计算机可 以通过任 意种类 的网络 — 包括局域 网 ( Local Area Network , 简称 LAN)或广域网 ( Wide Area Network , 简称 WAN )一连接 到用户计算 机, 或者, 可以连接到外部计算 机 (例如利用因特 网服 务提供商 来通过因特 网连接 ) 。 附图 中的流程 图和框图, 图示了按照本公开各 种实施例 的系统、 方法和 计算机 程序产 品的可能 实现的体 系架构、 功能和操作 。 在这点上, 流程图或 框 图中的每个 方框可以 代表一个模 块、 程序段、 或代码的一部 分, 该模块、 程序 段、 或代码的一部 分包含一 个或多个用 于实现规 定的逻辑功 能的可执 行 指令 。 也应当注意, 在有些作为替 换的实现 中, 方框中所标注 的功能也可 以 以不 同于附 图中所标注 的顺序发生 。 例如, 两个接连地表示的 方框实际上 可 以基 本并行地 执行, 它们有时也可 以按相反 的顺序执行 , 这依所涉及的功 能 而定 。 也要注意的是 , 框图和 /或流程图中的每个方 框、 以及框图和 /或流程 图中 的方框的组 合, 可以用执行规 定的功能 或操作的 专用的基 于硬件的 系统 来 实现, 或者可以用专用 硬件与计 算机指令 的组合来 实现。 描述 于本公开 实施例中所 涉及到的 单元可以通 过软件 的方式实现 , 也可 以通 过硬件的 方式来实现 。 其中, 单元的名称在某种 情况下并 不构成对该 单 元本 身的限定 , 例如, 第一获取单元还可以 被描述为 “获取至少 两个网际协 议地 址的单元” 。 本文 中以上描述 的功能可 以至少部 分地由一 个或多个 硬件逻辑 部件来执 行。 例如, 非限制性地, 可以使用的示范 类型的硬件 逻辑部件 包括: 现场可 编程 门阵列 (FPGA) 、 专用集成电路( ASIC) 、 专用标准产品( ASSP) 、 片上 系统 (SOC) 、 复杂可编程逻辑设备 ( CPLD)等等。 在本公 开的上下 文中, 机器可读介 质可以是有 形的介质 , 其可以包含或 存储 以供指令执 行系统 、 装置或设备使用或 与指令执行 系统、 装置或设备 结 合地 使用的程 序。 机器可读介质可 以是机 器可读信号 介质或机 器可读储存 介 质。 机器可读介 质可以 包括但不 限于电子的 、 磁性的、 光学的、 电磁的、 红 夕卜的、 或半导体系统、 装置或设备, 或者上述内容 的任何合 适组合。 机器可 读存储 介质的更 具体示例 会包括基 于一个或 多个线的 电气连接 、 便携式计算 机盘 、 硬盘、 随机存取存储器 (RAM ) 、 只读存储器(ROM ) 、 可擦除可 编程 只读存储 器 (EPROM 或快闪存储 器) 、 光纤、 便捷式紧凑盘只读存储 器 (CD-ROM )、 光学储存设备、 磁储存设备、 或上述内容的任何 合适组合 。 第一 方面, 根据本公开 的一个或多 个实施例 , 提供了一种基于增 强现实 的显 示方法, 包括: 响应于 用户的第 一指令, 获取图像采集单元采 集的实时场 景图像 中的目 标物体 图像; 根据所 述目标物 体图像生 成所述 目标物体对应 的虚拟形 象; 基于增 强现实显 示技术, 在所述实时 场景图像 中显示所述 目标物体 的虚 拟形 象。 根据本 公开的一 个或多个 实施例, 所述获取图像采集单 元采集的 实时场 景图像 中的 目标物体图像 , 包括: 对所述 实时场景 图像中的所 述目标物体 进行物体 分割, 以获取所述目标 物体 图像, 并对所述目标 物体图像 进行标识 。 根据本 公开的一 个或多个 实施例, 所述方法还包括: 响应于 用户的触发 指令, 运行预加载 的物体分 割算法 , 以对所述实时场 景图像 中的所述 目标物体 进行物体 分割; 响应于 所述第一 指令, 停止所述物体 分割算 法的运行 。 根据本 公开的一 个或多个 实施例, 所述根据所述目标物 体图像生 成所述 目标物 体对应的 虚拟形象 , 包括: 将所述 目标物体 图像与动 画素材进行 合成, 生成所述 目标物体对应 的虚 拟形 象, 其中 , 所述动画素材包括 虚拟形象 的肢体动 画素材和 /或表情动画素材 。 根据本 公开的一 个或多个 实施例, 所述将所述目标物体 图像与动 画素材 进行合 成, 包括: 获取所 述肢体动 画素材和/或所 述表情动 画素材; 在所述 目标物体 图像上确 定多个连接 点; 通过所 述多个 连接点将 所述肢 体动画素 材和 /或所述表情动 画素材 与所 述 目标物体图像 进行合成 , 生成所述目标物体 对应的虚 拟形象。 根据本 公开的一 个或多个 实施例, 所述方法还包括: 播放所 述动画素 材, 以对所述虚拟形 象进行动 作和/或表情控 制。 根据本 公开的一 个或多个 实施例, 所述播放所述动画素 材, 以对所述虚 拟形 象进行动作 和/或表情控制 , 包括: 根据所 述动画素 材的预设动 画帧播放 所述动画 素材, 以对所述虚拟 形象 进行动 作和 /或表情控制; 和 /或 根据所 述用户的 肢体动作 和/或表情生成 并播放所 述动画素材 的动画帧 , 以对 所述虚拟形 象进行动 作和/或表情控 制。 根据本 公开的一 个或多个 实施例, 所述方法还包括: 响应于 用户对所 述虚拟形 象的控制指 令, 对所述虚拟形 象进行相应 的控 制, 所述控制指令包括 以下至少 一项: 旋转控 制指令 、 缩小控制指令、 移动控制指令 、 放大控制指令 。 根据本 公开的一 个或多个 实施例, 所述基于增强现实显 示技术, 在所述 实时场 景图像 中显示所述 目标物体 的虚拟形 象, 包括: 在所述 实时场景 图像中创建 虚拟平面 ; 在所述 虚拟平面 处生成 3D空间; 基于所 述增强现 实显示技 术, 在所生成的 3D空间 中显示所述 目标物体 的虚 拟形象。 根据本 公开的一 个或多个 实施例, 所述在所述实时场景 图像中创 建虚拟 平面 , 包括: 若检测 到所述实 时场景图像 中存在 目标平面区域 , 则基于所述 目标平面 区域 创建所述虚 拟平面 , 其中目标平面区域 为与所述 图像采集单 元距离处 于 第一 预设距离 范围内和 /或处于所述实时场 景图像的 中心区域 内的平面 区域; 或者 在所述 实时场景 图像中特定 位置处创 建所述虚 拟平面。 根据本 公开的一 个或多个 实施例, 所述基于所述增强现 实显示技 术, 在 所生 成的 3D空间中显示 所述目标物 体的虚拟 形象, 包括: 在所述 3D空间 中确定 目标位置; 基于所 述增强现 实显示技 术, 在所述 3D 空间的 目标位置处显 示所述 目 标物体 的虚拟形 象。 根据本 公开的一 个或多个 实施例,所述 在所述 3D空间中确 定目标位 置, 包括 : 接收用 户发出的 位置指定 指令,根据用户的位 置指定指 令触发 的位置点 , 在所 述 3D空 间中建立 3D锚点, 将所述 3D锚点作为所 述目标位 置。 根据本 公开的一 个或多个 实施例, 在所述根据所述 目标物体图像 生成所 述 目标物体对应 的虚拟形 象之后, 在基于增强现实显示 技术, 在所述实时场 景 图像中显示 所述目标物 体的虚拟 形象之前 , 还包括: 将所述 虚拟形 象悬浮于所 述图像采 集单元前 方的预定位 置处。 根据本 公开的一 个或多个 实施例 , 所述方法还包括: 若所述 实时场景 图像中 已存在至少一 个虚拟形 象, 且所述已存在 的至少 一个 虚拟形象 所在位置 与所述 目标物体对应 的虚拟形 象之间的距 离超过第 二 预设距 离范围 , 则将所述已存在的 至少一个 虚拟形象移 动至所述 目标物体 对 应的虚 拟形象 的第二预定 范围内并 显示。 根据本 公开的一 个或多个 实施例 , 所述方法还包括: 若所述 实时场景 图像中已存 在多个虚 拟形象 , 对各虚拟形象之间进 行碰 撞检 测; 当确 定任意两个 虚拟形 象之间发生碰 撞时, 移动发生碰 撞的两个 虚拟形 象 中的任意一 个虚拟形 象。 根据本 公开的一 个或多个 实施例 , 在所述基于增强现 实显示技术 , 在所 述 实时场景图像 中显示所 述目标物体 的虚拟形 象时, 还包括: 在所述 虚拟形 象周围的特 定位置处显 示所述虚 拟形象 的影子。 根据本 公开的一 个或多个 实施例 , 所述方法还包括: 基于增 强现实显 示技术, 在所述实 时场景图像 中动态显示 所述目标 物体 的虚 拟形象。 第二 方面, 根据本公开 的一个或多 个实施例 , 提供了一种基于增 强现实 的显 示设备, 包括: 目标物 体确定单 元, 用于响应于用 户的第一指 令, 获取图像采集 单元采 集的 实时场景 图像中的 目标物体图像 ; 生成单 元, 用于根据所述 目标物体 图像生成 所述目标物 体对应的 虚拟形 象; 显示单 元, 用于基于增强 现实显示技 术, 在所述实时场景 图像中显 示所 述 目标物体的虚 拟形象 。 根据本 公开的一 个或多个 实施例 , 所述目标物体确定单 元在获取 图像采 集单 元采集的 实时场景 图像中的 目标物体图像 时, 用于: 对所述 实时场景 图像中的所 述目标物 体进行物体 分割, 以获取所述目标 物体 图像, 并对所述 目标物体图像 进行标识 。 根据本 公开的一 个或多个 实施例, 所述目标物体确定单 元还用于 : 响应于 用户的触发 指令, 运行预加载 的物体分 割算法 , 以对所述实时场 景图像 中的所述 目标物体 进行物体 分割; 响应于 所述第一 指令, 停止所述物体 分割算 法的运行 。 根据本 公开的一 个或多个 实施例, 所述生成单元根据所 述目标物 体图像 生成 所述目标物 体对应的 虚拟形象 时, 用于: 将所述 目标物体 图像与动 画素材进行 合成, 生成所述 目标物体对应 的虚 拟形 象, 其中 , 所述动画素材包括 虚拟形象 的肢体动 画素材和 /或表情动画素材 。 根据本 公开的一 个或多个 实施例, 所述生成单元在将所 述目标物 体图像 与动 画素材进行 合成时 , 用于: 获取所 述肢体动 画素材和/或所 述表情动 画素材; 在所述 目标物体 图像上确 定多个连接 点; 通过所 述多个 连接点将 所述肢 体动画素 材和 /或所述表情动 画素材 与所 述 目标物体图像 进行合成 , 生成所述目标物体 对应的虚 拟形象。 根据本 公开的一 个或多个 实施例, 所述显示单元还用于 : 播放所 述动画素 材, 以对所述虚拟形 象进行动 作和/或表情控 制。 根据本 公开的一 个或多个 实施例, 所述显示单元在播放 所述动画 素材, 以对 所述虚拟形 象进行动作 和/或表情控 制时, 用于: 根据所 述动画素 材的预设动 画帧播放 所述动画 素材, 以对所述虚拟 形象 进行动 作和 /或表情控制; 和 /或 根据所 述用户的 肢体动作 和/或表情生成 并播放所 述动画素材 的动画帧 , 以对 所述虚拟形 象进行动作 和/或表情控 制。 根据本 公开的一 个或多个 实施例, 所述显示单元还用于 : 响应于 用户对所述 虚拟形 象的控制指 令, 对所述虚拟形 象进行相应 的控 制, 所述控制指令包括 以下至少一 项: 旋转控 制指令 、 缩小控制指令、 移动控制指令 、 放大控制指令 。 根据本 公开的一 个或多个 实施例, 所述显示单元在基于 增强现实显 示技 术, 在所述实 时场景图像 中显示所述 目标物体 的虚拟形 象时, 用于: 在所述 实时场景 图像中创建 虚拟平面 ; 在所述 虚拟平 面处生成 3D空间; 基于 所述增强现 实显示技 术, 在所生成的 3D空间 中显示所述 目标物体 的虚 拟形象。 根据本 公开的一 个或多个 实施例 , 所述显示单元在所述 实时场景 图像中 创建虚 拟平面 时, 用于: 若检测 到所述 实时场景图像 中存在 目标平面 区域, 则基于所述 目标平面 区域 创建所述虚 拟平面 , 其中目标平面区域 为与所述 图像采集单 元距离处 于 第一 预设距离 范围内和 /或处于所述实时 场景图像 的中心区域 内的平面 区域; 或者 在所述 实时场景 图像中特 定位置处创 建所述虚 拟平面。 根据本 公开的一 个或多个 实施例 , 所述显示单元在基 于所述增强 现实显 示技 术, 在所生成的 3D空间中显 示所述 目标物体的虚 拟形象时 , 用于: 在所述 3D空间 中确定 目标位置; 基于 所述增强现 实显示技 术, 在所述 3D空间的 目标位置处显 示所述 目 标物体 的虚拟形 象。 根据本 公开的一 个或多个 实施例 , 所述显示单元在所述 3D 空间中确 定 目标位 置时, 用于: 接收用 户发出的 位置指定 指令,根据用户的位 置指定指 令触发 的位置点 , 在所 述 3D空 间中建立 3D锚点, 将所述 3D锚点作为所 述目标位 置。 根据本 公开的一 个或多个 实施例 , 所述显示单元在所述 根据所述 目标物 体 图像生成所 述目标物体 对应的虚 拟形象之后 , 在基于增强现 实显示技术 , 在所 述实时场景 图像中显 示所述 目标物体的虚 拟形象之 前, 还用于: 将所述 虚拟形 象悬浮于所 述图像采 集单元前 方的预定位 置处。 根据本 公开的一 个或多个 实施例 , 所述显示单元还用于 : 若所述 实时场景 图像中 已存在至少一 个虚拟形 象, 且所述已存在 的至少 一个 虚拟形象 所在位置 与所述 目标物体对应 的虚拟形 象之间的距 离超过第 二 预设距 离范围 , 则将所述已存在的 至少一个 虚拟形象移 动至所述 目标物体 对 应的虚 拟形象 的第二预定 范围内并 显示。 根据本 公开的一 个或多个 实施例 , 所述显示单元还用于 : 若所述 实时场景 图像中 已存在多个虚 拟形象 , 对各虚拟形象之间进 行碰 撞检 测; 当确 定任意两个 虚拟形 象之间发生碰 撞时, 移动发生碰 撞的两个 虚拟形 象 中的任意一 个虚拟形 象。 根据本 公开的一 个或多个 实施例 , 所述显示单元在所述 实时场景 图像中 的 目标位置处增 强显示所 述目标物 体的虚拟 形象时, 还用于: 在所述 虚拟形 象周围的特 定位置处显 示所述虚 拟形象 的影子。 根据本 公开的一 个或多个 实施例 , 所述显示单元还用于 : 基于增 强现实显 示技术, 在所述实 时场景图像 中动态显示 所述目标 物体 的虚 拟形象。 第三 方面, 根据本公开 的一个或多 个实施例 , 提供了一种电子设 备, 包 括: 至少一个处理器和存 储器; 所述存 储器存储 计算机执行 指令; 所述 至少一个处 理器执行 所述存储 器存储的计 算机执行 指令, 使得所述 至少 一个处理 器执行如上 第一方 面以及第一 方面各种 可能的设 计所述的信 息 显示 方法。 第四 方面, 根据本公开 的一个或多 个实施例 , 提供了一种计算机 可读存 储介质 , 所述计算机可读 存储介质 中存储有计 算机执行 指令, 当处理器执行 所述 计算机执行 指令时 , 实现如上第一方面 以及第一 方面各种可 能的设计 所 述的 信息显示 方法。 以上描 述仅为本 公开的可 选实施例 以及对所运 用技术原 理的说明 。 本领 域技 术人员应 当理解, 本公开中所 涉及的公 开范围, 并不限于上述技术特 征 的特 定组合而 成的技术 方案,同时也应涵盖 在不脱 离上述公开 构思的情 况下, 由上 述技术特征 或其等 同特征进行 任意组合 而形成的 其它技术 方案。 例如上 述特 征与本公 开中公开 的 (但不限于)具有类似功能 的技术特征 进行互相 替 换而 形成的技 术方案。 此外 , 虽然采用特定次序 描绘了各 操作, 但是这不应 当理解为要 求这些 操作 以所示 出的特定次 序或以顺序 次序执行 来执行 。 在一定环境下, 多任务 和并 行处理可 能是有利 的。 同样地, 虽然在上面论述 中包含 了若干具体 实现 细节 , 但是这些不应当被 解释为对本 公开的范 围的限制 。 在单独的实施例 的 上下 文中描述 的某些特 征还可以组 合地实现 在单个实施 例中。 相反地, 在单 个 实施例的上 下文中描 述的各种特 征也可 以单独地或 以任何合 适的子组合 的 方式 实现在多个 实施例 中。 尽管 已经采用特 定于结构 特征和 /或方法逻辑动作 的语言描述 了本主题 , 但是 应当理解 所附权利要 求书中所 限定的主 题未必局 限于上面描 述的特 定特 征或 动作。 相反, 上面所描述的特 定特征和 动作仅仅 是实现权利 要求书的 示 例形 式。