关于人工智能:AI-收藏夹-Vol003AI-能听懂阴阳怪气吗

17次阅读

共计 2554 个字符,预计需要花费 7 分钟才能阅读完成。

人工智能是一门交融了计算机科学、图形学、生物学、语言学等学科的前沿科学。随着产学研深度交融翻新,人工智能从实践钻研逐步落地,各种利用与构想层出不穷。「AI 收藏夹」将会与大家分享一些 AI 畛域实用乏味的文章和工具,与大家一起见证技术的翻新与改革。

文章

0 1 AI 能听懂阴阳怪气吗?

阴阳怪气的实质是什么?在上图的案例中,文字和图片有些矛盾。「咱们居然幸运地失去了一个座位」,然而照片上的观众席却有很多空位;「看上去真好吃」,然而图像上的披萨看起来……🤔

在社交媒体上,用户创立了大量多模式的信息,文字、图片、视频别离代表了三种模式。北京信息工程研究所和中科院单干研发了多模式检测(MultiModal Detection)模型[1],该模型能够检测文字模式外部和多个模式之间的不协调性,从而了解「讥刺」语义。通过 Twitter 数据集检测,准确率可达到 86%。

0 2 AI 预测森林大火

许多森林大火都是因为电网产生火花引起的。Xcel Energy 等多家电力公司正在进行钻研,应用无人机检测森林中的电线设施,并应用 AI 算法帮忙预测火情高风险地区[2]。无人机上增加了热传感器和激光雷达,激光雷达能够检测出被植被笼罩的电线,扫描线路四周的区域并收集数据,而基于人工智能的算法能够辨认波及绝缘体、连接器、阻尼器、电杆等不同构造的故障,并突出显示须要人工保护的区域。

如上图,该算法可在不同照明条件下,从各个角度检测出损坏的组件,并标记设施的问题。

0 3 深度学习主动加强狗狗的动画成果

动物的静止形式很简单,有独特的步态、特定的脚步模式。近期,都柏林三一学院和巴斯大学开发了一款基于深度神经网络的模型,主动加强四足动物(比方狗)的动画品质,进步制作动画视频和电子游戏的效率[3]。上图蓝色局部是初始动画的帧,蕴含一些小谬误,不足以反映真实情况下狗狗静止的奥妙之处;绿色局部是实在捕获的数据;红色局部是在蓝绿模型的根底上,进行动画加强后的输入。

0 4 为细胞生物学家提供的图像分类器

动物的染色体大小和数量有很大差别,染色体的图像分类门槛较高,个别由专家人工实现。日本学者 Kiyotaka Nagaki 创立了一个 AI 图像分类器[4],应用染色体图像来训练模型,能正确区分图像中的有丝分裂细胞,对组织切片中的细胞和不同的细胞分裂过程也能无效判断。用人工智能实现图像分类的自动化,不仅能够打消个体差异造成的稳定,还能够节俭许多贵重的钻研工夫。

0 5 呃……我的 AI 怎么有点傻?

AI 在某些方面比人类更快、更准、更可信,不过,AI 也有很多局限性。比方,深度神经网络能够辨认图像,但也可能十分「不强壮」,把一张校车照片翻转后,深度神经网络就会自信地说这是一辆扫雪车😓;又比方,2019 年,美国的一个医保算法被指带有种族偏见[5.1],人工智能的嵌入本是为了更公正地判断受保群体,后果它将很多更衰弱的白人患者纳入医保,而不是将病情更重大的黑人患者。

这篇文章 [5.2] 总结了 AI 可能的七大弱点,包含:不够强壮、嵌入偏差、忘记过来的训练常识、可解释性太弱、不确定性量化艰难、不足常识、数学不好等等,值得一读。

工具

0 1 Neural Dubber 神经网络配音器

🌟 性能:

让 AI 依据配音脚本,主动生成与画面节奏同步的高质量配音

👀 亮点:

  • 依据视频中的嘴唇静止来管制生成语音的语调
  • 能够分辨多个谈话人,依据谈话人的面部辨认产生不同音色的语音。在上方的主动视频配音(AVD)工作示意图中,输出的视频内容是两个人相互交谈,灰色的面部图片示意这个人过后没有谈话。

👉 地址:

  • 论文地址:https://arxiv.org/abs/2110.08243
  • 我的项目主页:https://tsinghua-mars-lab.git…

0 2 画图工具 NN-SVG

🌟 性能:

绘制神经网络架构图往往十分耗时,这个在线工具能够帮你节约大量工夫。该工具能够绘制三种类型的图:经典的全连贯神经网络图形(FCNN style)、以平铺网络结构展现的 LeNet style、以三维块模式展示的 AlexNet style。

👀 亮点:

  • 提供多种尺寸、色彩和布局参数,可依照用户的爱好来设计图形
  • 可导出 SVG 格局的图像,可间接用于学术论文或网页

👉 地址:

  • GitHub 地址:https://github.com/alexlenail…
  • 我的项目主页:http://alexlenail.me/NN-SVG/i…

0 3 科研辅助工具 ExplainaBoard

🌟 性能:

该怎么想出一个好点子?如何设计更好的模型?这个平台将模型剖析和模型评估排行榜联合起来,可能实现单系统诊断、系统对剖析、数据集剖析、细粒度谬误剖析、共有谬误剖析、可靠性剖析、零碎组合等工作,无效晋升科研人员的学术体验。

👀 亮点:

  • 该平台能够帮忙老手疾速了解某个数据集的个性,定位模型的优缺点
  • 平台公布了 API,用户能够提交本人的模型,并将它们部署到在线的 ExplainaBoard 中进行剖析

👉 地址:

  • GitHub 地址:https://github.com/neulab/Exp…
  • 我的项目主页:http://explainaboard.nlpedia.ai/

参考资料:

[1] AI 辨认讥刺: https://aclanthology.org/2020…

[2] AI 预测森林大火: https://spectrum.ieee.org/smo…

[3] 主动加强狗狗动画成果 : https://techxplore.com/news/2…

[4] 细胞生物学的图像分类器: https://phys.org/news/2021-11…

[5.1] 美国某医保算法被指带有种族偏见: https://spectrum.ieee.org/rac…

[5.2] AI 可能的七大弱点: https://spectrum.ieee.org/ai-…


Zilliz 以从新定义数据迷信为愿景,致力于打造一家寰球当先的开源技术创新公司,并通过开源和云原生解决方案为企业解锁非结构化数据的暗藏价值。

Zilliz 构建了 Milvus 向量数据库,以放慢下一代数据平台的倒退。Milvus 数据库是 LF AI & Data 基金会的毕业我的项目,可能治理大量非结构化数据集,在新药发现、举荐零碎、聊天机器人等方面具备宽泛的应 用。

正文完
 0