Meta开源多感官人工智能模型,整合文本、音频、视觉等六类数据
,Meta 公司发布了一个新的开源人工智能模型 ImageBind,该模型能够将多种数据流,包括文本、音频、视觉数据、温度和运动读数等整合在一起。该模型目前只是一个研究项目,还没有直接的消费者或实际应用,但它展示了未来生成式人工智能系统的可能性,这些系统能够创造出沉浸式、多感官的体验。同时,该模型也表明了 Meta 公司在人工智能研究领域的开放态度,而其竞争对手如 OpenAI 和谷歌则变得越来越封闭。
Meta 公司称,其模型 ImageBind 是第一个将六种类型的数据整合到一个嵌入空间中的模型。这六种类型的数据包括:视觉;热力(红外图像);文本;音频;深度信息;以及最有趣的一种 —— 由惯性测量单元(IMU)产生的运动读数。(IMU 存在于手机和智能手表中,用于执行各种任务,从手机从横屏切换到竖屏,到区分不同类型的运动。)
未来的人工智能系统将能够像当前针对文本输入的系统一样,交叉引用这些数据。例如,想象一下一个未来的虚拟现实设备,它不仅能够生成音频和视觉输入,还能够生成你所处的环境和物理站台的运动。你可以要求它模拟一次漫长的海上旅行,它不仅会让你置身于一艘船上,并且有海浪的声音作为背景,还会让你感受到甲板在脚下摇晃和海风吹拂。
Meta 公司在博客文章中指出,未来的模型还可以添加其他感官输入流,包括“触觉、语音、气味和大脑功能磁共振成像信号”。该公司还声称,这项研究“让机器更接近于人类同时、全面、直接地从多种不同的信息形式中学习的能力。”
当然,这很多都是基于预测的,而且很可能这项研究的直接应用会非常有限。例如,去年,Meta 公司展示了一个人工智能模型,能够根据文本描述生成短而模糊的视频。像 ImageBind 这样的研究显示了未来版本的系统如何能够整合其他数据流,例如生成与视频输出匹配的音频。
对于行业观察者来说,这项研究也很有趣,因为IT之家注意到 Meta 公司是开源了底层模型的,这在人工智能领域是一个越来越受到关注的做法。
郑重声明:此文内容为本网站转载企业宣传资讯,目的在于传播更多信息,与本站立场无关。仅供读者参考,并请自行核实相关内容。
最新资讯
- Fedora39新提案:使用mkosi-initrd替代Dracut,加 ,Fedora39发行版目前正处于开发阶段,最新提案建议使用systemd的mkosi-initrd来替代Dracut,
- 阅文集团宣布管理层调整,侯晓楠出任CEO,内部信称作家和内容生态永远为本 ,今日,阅文集团宣布管理层调整,现任阅文集团首席执行官程武先生因个人生活规划调整辞任目前管理职务。董事会委任阅文集团总裁
- 价值4.44亿元!京山轻机与晶科能源签署光伏设备销售合同 5月9日,京山轻机发布公告,公司全资子公司苏州晟成光伏设备有限公司于近日与晶科能源(SH:688223)控股子公司晶科能
- 德赛西威“一路向西” 21世纪经济报道赵云帆报道 进入2023年后,“产销订”三旺的智能汽车产业链似乎并不受投资者待见,但在招商引资上,头部
- 微软宣布Win1020H2正式结束服务,最新版本号升至1904x.296 感谢IT之家网友吉茵珂絲、软媒新友2010825的线索投递! ,微软今天宣布所有版本的Windows1020H2系统均
- 汪小菲持有的麻六记关联公司20万元股权被冻结 日前,北京小汪麻六记文化科技发展有限公司新增一则司法协助信息,公司股东汪小菲持有的20万元股权被北京市第三中级人民法院冻
- 山东安然纳米公司与浙江理工大学进行产学研交流 打造产学研融合创新联合体 4月23日,山东安然纳米公司技术中心总监高帅先生前往浙江理工大学进行产学研交流,浙江理工大学张琳教授、付红伟教授、杨丙贤
- 农银人寿首季净利同比增7.1%2022年净利降65% 农银人寿保险股份有限公司近日公布的2022年年度信息披露报告显示,报告期内,该公司实现营业收入388.13亿元,同比增长