Google正在为其 iOS 和 Android 版 Gemini 应用引入一项全新的实时视图功能,让用户可以将周围环境实时传输到 Gemini,并获得对所见事物的反馈。该集成功能将于今日正式推出。
在演示中,Gemini 识别了用户正在查看的物体,纠正了用户对物体的错误假设,并通过回答问题提供背景信息。Gemini 的实时视图可以实时识别物体,为 DIY 或家居装修项目提供帮助,帮助整理空间,协助购物等等。
您还可以与 Gemini 共享您的iPhone或iPad屏幕,以获取您在线看到的内容的反馈。
Gemini 的 Live 功能可能对盲人或视力低下的用户有所帮助,因为它可以提供周围环境的实时语音反馈。Live 功能基于 Project Astra 构建,Google在去年的 I/O 开发者大会上曾预览过该项目,并且此前已在 Pixel 设备上推出。
今年夏天,Google还计划为 Gemini 添加个人背景信息,以实现 Gmail 的智能回复等功能。Gemini 将能够利用Google各应用的相关信息,提供更加个性化的体验。例如,Gmail 中的 AI 回复功能可以发出类似于您本人的声音,而不是千篇一律的普通声音。它能够扫描过往邮件,匹配语气、风格和措辞,还能查找笔记、Google Drive 中的文档等,为邮件添加背景信息。