麦塔的雷朋眼镜增添了人工智能,可以看到你所看到的事物

麦塔的雷朋眼镜融入人工智能,能实时呈现你眼中的一切

“嘿,Meta。看看这个,告诉我这些茶包中哪个是无咖啡因的。”

我带着一副Meta Ray-Ban眼镜,在这家科技巨头的纽约总部说出这句话,同时盯着一张桌子上用魔术笔涂黑咖啡因标签的四个茶叶包。我耳朵里传来一声小响,接着Meta的人工智能声音告诉我洋甘菊茶很可能是无咖啡因的。它正在阅读标签并使用生成式人工智能进行判断。

我正在演示一项功能,这个功能从今天开始在Meta的第二代Ray-Ban眼镜上推出,这个功能在新眼镜发布时,Meta首席执行官马克·扎克伯格已经在九月承诺会有。这些人工智能功能可以通过Meta眼镜上的摄像头查看并使用生成式人工智能解读图像。原计划是2024年推出这些功能,但Meta迈出的步伐比我预期的快得多,尽管早期体验模式仍然非常测试版。除了在新的升级中增加由Bing提供支持的搜索功能,提升了眼镜已有语音启用功能的能力,Meta的眼镜正在迅速获得许多新功能。

这个演示令我非常惊叹,因为我从未见过类似的东西。在某些方面我见过:谷歌镜头和其他手机工具已经将摄像头和人工智能结合在一起,过去十年里,谷歌眼镜也有一些翻译工具。然而,Meta眼镜通过调用人工智能来识别我周围环境中的物体的简易方式感觉相当先进。我很兴奋可以更多地尝试。

这副眼镜没有显示屏,只能将回复以语音形式播放。但Meta View手机应用程序会保存照片和人工智能回复,以供稍后查看。

Meta

多模态人工智能:目前如何工作

目前这个功能还有一些限制。它只能通过拍照识别您所看到的内容,然后进行人工智能分析。在发出语音请求后,您会听到快门声,并在几秒钟后收到回复。语音提示也比较啰嗦:Meta眼镜上的每个语音请求都需要以“嘿,Meta”开头,然后需要紧随其后的“看看这个”触发拍照,并立即跟上您希望请求人工智能执行的内容。“嘿,Meta,看看这个,告诉我一个用这些材料的食谱。”、“嘿,Meta,看看这个,做一个有趣的标题。”、“嘿,Meta,看看这个。这是什么植物?”

Meta View手机应用程序与眼镜配对,每个人工智能回复和其查看的照片都会被存储起来。我喜欢这一点,因为它是以后的可视/书面记录,就像记忆提示笔记。可能当我逛街或者做其他事情时,我会使用它来作为一种佩戴在头上的谷歌搜索,向我的眼睛提供帮助或者无所不知。

我还没有在做饭时尝试过Meta的眼镜。

Meta

它也可能在辅助用途中发挥作用。我戴了一副没有我的验光处方的测试用Meta眼镜,然后问它我正在看什么。答案的详细程度和准确性可能有所不同,但它可以提供一些提示。它知道我正在向它展示我的眼镜,它说我的眼镜有蓝色调的镜片(蓝黑框架,非常接近)。

有时它会产生错觉。我问眼镜前面的碗里有什么水果,它说有橙子、香蕉、火龙果、苹果和石榴。答案基本正确,只是没有石榴(那里并没有石榴)。我让它为窗前的一个大毛绒熊拍摄标题,它做了一些可爱的标题,但其中一条与一个人孤独地看着手机不符。

我查看了一个西班牙语菜单,然后让眼镜给我展示辣菜肴。它为我朗读了一些菜肴,并为我翻译了一些关键配料,但当我再次询问有肉的菜肴时,它用西班牙语将所有内容都读出来。

这里的可能性是令人兴奋的,也可能非常有用。Meta承认,这次早期推出将是发现错误并帮助改进眼镜上的人工智能工作方式的过程。我发现有太多的“嘿,Meta,看看这个”的时刻。但这个过程可能会改变,谁知道呢。在进行即时图像分析时,不需要再次说“看看这个”,直接提出后续问题也可以工作,但我相信我的成功率会有所不同。

什么时候字幕会有帮助,什么时候会产生幻觉呢?

Meta

可穿戴AI的未来变得越来越有趣

Meta称之为“多模态AI”的这种人工智能,因为它同时使用了摄像头和语音聊天,是该公司计划将许多形式的输入相结合的未来人工智能的先驱,其中包括更多的感官数据。 高通公司在Meta的新款 Ray-Ban 上的“AI专注芯片组”已经准备好应付更多挑战。这也是Meta计划随着时间的推移使其更加无缝化的一个过程。

Meta的首席技术官Andrew Bosworth在九月份告诉我,虽然现在的眼镜需要语音提示才能激活和“看见”,以防止电池寿命耗尽,但最终它们将“具备低功耗的传感器,能够检测到触发意识的事件。那才是我们一直追求的梦想。”此外,Meta已经开始研究将多种感官数据融合在一起的AI工具,以应对更先进的未来可穿戴设备。

现在,我们要明确的是,这是一个早期测试版。Meta在早期接入阶段使用匿名化查询数据来帮助改进其AI服务,这可能会引起一些关心更多隐私的人。我还不知道具体的选择进入细节,但一旦最终的AI功能推出,可能会采用更为离散的数据共享控制方式,预计在明年推出。

这让我想起了Humane与其AI可穿戴别针计划的目标非常相似,尽管我还没有亲自见过这款产品。虽然Humane的产品价格高昂,需要佩戴在衣物上,而Meta的眼镜则售价为300美元,已经上架销售。随着手表、VR头盔和智能眼镜等可穿戴设备的人工智能能力不断发展,可穿戴技术及其辅助意识的未来可能会发生很大变化。

很明显,一个新的可穿戴AI产品的前沿已经开始了,而Meta的眼镜是第一个到达这里的。

编辑注:ENBLE正在使用人工智能引擎帮助创作一些故事。详情请见本文