亚搏亚搏

欢迎光临
我们一直在努力

机器视觉领军学者沈春华,获澳大利亚科研终身成就奖!

凭一己之力将澳大利亚机器学习研讨院拉至全球排名第四;GitHub 1400 多颗 Star、并用于 Top 级手机厂商的视觉处理;这便是程序员口中的 “CV 大牛” 沈春华团队的“战绩”。

现在,沈春华在澳大利亚阿德莱德大学担任核算机科学教授。这位本科结业于南京大学、后在阿德莱德大学取得博士学位的世界科学家,其首要研讨机器学习和核算机视觉,而核算机视觉的终极方针是树立一个具有人类体现的视觉体系。

图 | 2019 年沈春华回国参会

2012 年,沈春华取得澳大利亚研讨委员会的未来学者称谓。除教职之外,他仍是澳大利亚研讨委员会机器人视觉杰出中心的科研负责人。从阿德莱德大学网站得悉,沈春华上月被列为澳大利亚科研终身成就奖,是工程与核算机类奖项的 5 名获选人之一。

核算机排名网站 CSRanking 显现,沈春华是曩昔 10 年间在核算机视觉方向 3 大顶级会议宣告论文最多的在澳学者。他的科研成果和产出是阿德莱德大学部属的澳大利亚机器学习研讨院 (Australian Institute for Machine Learning,AIML) 能在 CSRanking 上排名世界第 4 的首要原因之一。

鉴于澳大利亚机器学习研讨院的世界名誉,澳大利亚联邦政府最近宣告拨款 2000 万澳元赞助该研讨院的科研,一起他还兼任研讨院机器学习理论课题的主任。据 Google Scholar 显现,他的论文已堆集 22000 多引证,个人 H-index 为 71。

从教至今,他教出过多位优异世界留学生,他的学生中现在有 3 位取得 Google 博士奖学金。自 Google 初次颁布该奖项至今 12 年间,澳大利亚一切高校总共只要 7 人次在 “机器感知、语音技能和核算机视觉” 这个方向上取得该奖项,而其间 3 人出自沈春华团队。

除此之外,还有多位结业生入职名企、或在闻名大学担任教职, 如悉尼大学、墨尔本莫纳什大学、新加坡理工大学等等。

图 | 沈春华辅导的部分博士结业生

尽管他不在国内,但却时不时有世界程序员,在网上撰文逐句逐段剖析他的论文,乃至主动翻译他的论文。一起,他的论文研讨已有不少投入运用。

其团队开发的开源工具箱 AdelaiDet,曾和全球数一数二的手机厂商协作,部分算法从前用于该公司的旗舰手机上。该算法可协助手机优化铠甲功用,拍出来的相片更艳丽,还可协助相机更好地完成特效功用和布景虚幻等功用。

截止现在,AdelaiDet 首要包括以下算法:FCOS、BlendMask、ABCNet、CondInst、SOLO,本文首要介绍前四个算法。

FCOS:根据 FCN 的逐像素方针检测算法

FCOS的中文翻译是方针检测器,是沈春华团队于 2019 年推出的核算机视觉方针检测算法,并以《FCOS:彻底卷积一阶段方针检测》为题宣告在世界核算机视觉大会 2019 上。

在国内某问答社区上,一位现在在字节跳动担任高管、博士结业于清华大学电气工程系的认证用户标明,这篇论文是“入门检测最合适的文章”。

具体来说,FCOS 是一种根据全卷积神经网络的逐像素方针检测算法,最大亮点是提出了一个不需要锚框的全新的方针检测算法。FCOS 在功用上挨近乃至逾越现在许多根据锚框的干流方针检测算法。

现在大多数方针检测模型如 Faster R-CNN、YOLOv3 等都依靠于预先界说的锚框。比较之下,FCOS 不依靠预先界说的锚框或提议区域。通曩昔除预先界说的锚框,FCOS 可彻底防止锚框的杂乱运算,并能节约练习过程中的内存占用。

更重要的是,FCOS 可防止和锚框有关、且对终究检测成果灵敏的一切超参数。因而 FCOS 比以往根据锚框的一阶段或许二阶段方针检测器要大大简化。

图 | FCOS 网络结构

从论文中的比照测验来看,FCOS 的精度已逾越老牌经典算法 Faster R-CNN。

图 | FCOS 的精度比照

如下图事例所示,FCOS 在对方针物体框中、一切的点进行方针框回归时,会用各个边的间隔长度来核算丢失,这样可认为后续运用 Center-ness 预备。

图 | FCOS 用各个边的间隔长度来核算丢失

现在,在开发者集体中,FCOS 的论文已经成为他们眼中的 “沈春华团队的代表作”。而 BlendMask、CondInst、SOLO 的相关论文则被媒体称为 “沈春华团队的又一力作”。

BlendMask:可提取更准确的实例切割特征

BlendMask 的中文意思为实例切割算法,它来自沈春华团队的另一篇宣告于 CVPR2020 的论文《BlendMask:自上而下与自下而上相结合的实例切割》。

BlendMask 提出了一种结合自上向下和自下向上两种规划战略的实例切割算法,在精度上逾越了另一方针检测项目 Mask RCNN,速度上快 20%。

经测验发现,在 COCO 数据集上运用 ResNet-50,BlendMask 功用可达 37.0%的 mAP,运用 ResNet-101 其功用可到达 38.4%的 mAP。

BlendMask 可经过更合理的 Blender 模块,来交融 top-level 和 low-level 的语义信息,然后提取更准确的实例切割特征。据悉,BlendMask 是罕见的在 mAP 和推理功率方面均能胜过 Mask R-CNN 的算法之一。

ABCNet:比其他办法最高快 10 倍以上

ABCNet 的全称为 Adaptive Bezier-Curve Network,中文意思为自适应贝塞尔曲线网络。近年来,场景文本的检测与辨认越来越受注重。

现有办法大致分为两类:根据字符的办法和根据分段的办法。这些办法的标示价值昂扬、结构十分杂乱,因而并不适用于实时运用程序。

为此,沈春华团队提出 ABCNet 来处理上述问题。其奉献首要有三方面:

1、初次提出经过参数化的贝塞尔曲线,并自适应地拟合恣意形状的文本。

2、规划了一种新颖的贝塞尔曲线层,可用于提取恣意形状的文本实例的准确卷积特征,精度上远超此前办法。

3、与鸿沟框方针检测办法比较,贝塞尔曲线检测引进的核算开支能够忽略不计,兼具高功率和高准确度两大优势。在基准数据集 Total-Text 和 CTW1500 上进行的试验标明,ABCNet 能到达较高的精度,速度也有明显进步。其间在 Total-text 上,ABCNet 的实时版别比其他办法最高快 10 倍以上。

CondInst:可明显加速推理速度

CondInst 是一个用于实例切割的条件卷积,相关论文《根据条件卷积的实例切割》“Conditional Convolutions for Instance Segmentation” 宣告在 ECCV 2020 上。

CondInst 能够彻底不依靠 ROI操作。而是采用以实例为条件的动态卷积到达切割实例的作用。

具体来说,它有两个长处:1、经过全卷积网络处理了实例切割,无需进行 ROI 裁剪和特征对齐等操作。2、因为动态生成的条件卷积的功用大大进步,因而能够明显加速推理速度。

以上几个算法,是沈春华团队 AdelaiDet 开源工具箱中的首要组成部分。该工具箱受到了学术界和工业界的适当的重视。亚马逊 AWS 已有意向在其产品中运用工具箱中的方针检测、实力切割、文字检测辨认等才能。

利好小公司开发者,不明白算法也能用

一言以蔽之,沈春华团队的研讨作业的首要意图之一,是为了进步开发者作业质量和功率,反映到终端用户则能用到更好的产品。

以布景主动虚化为例,现在简直一切手机都有该功用,背面正是人工智能算法在运转。以前文说到的手机厂商来说,手机算法对功耗、速度都有极高要求,因而需要给厂商做个性化计划。如果说开源算法是一个根底款汉堡,个性化计划便是在此根底上,加了许多其他菜。

可是该算法并非完美无瑕,它仍能够寻求更高效、更少的核算量和更高的精度。据了解,沈春华团队在深度学习模型定点化方面也做了不少作业,这些算法可让深度学习对嵌入式低功耗设备更友爱。

举例来说,规范浮点运算一般是 16 位或 32 位,它的核算量比较大,产业界期望未来能做到一到两比特,一个比特只要 0 和 1,两个比特能够有四种组合,那么这种核算就能大大削减运算量和功耗,然后适配移动端低功耗设备。

该团队做的适当一部分作业,是期望能处理业界难题。一些小微公司的开发者或许并不明白人工智能,那么开发人工智能算法就会比较困难。运用相似沈春华团队开发的工具箱, 则可大大下降运用门槛。

现在依靠该团队的工具箱,已经有越来越多的程序员受惠其间。在该团队的 GitHub 开源网址 https://git.io/AdelaiDet 上,已经有 1400 颗 Star。

他尽管身在海外,但经过没有国界的互联网,正在以技能范的办法,协助不断增加的世界程序员集体更好地敲代码。

赞( 162 )
未经允许不得转载: 亚搏 » 机器视觉领军学者沈春华,获澳大利亚科研终身成就奖!