【Descriptor】

Descriptor:

Marr画的那辆著名的坦克,可以代表了一个时代的方法。一个坦克由以下部件构成:长方体—机身和履带,圆柱体—炮塔,更细的圆柱体—炮口。 但是近年来,大家发现这种纯概念化+语义(比如,基于杯子一定有柄,马一定有四条腿之类的assumption来做物体识别)的方法,效果并不是太好。于是,又有了比较新的潮流,从descriptor做起。

Lifeifei的Bag of Features,其高明之处就在于,不考虑spatial organization of patterns,而是看到底是否存在我想找的pattern。比如我要找一张脸。是不用找五官的,只需要把耳朵鼻子眼睛分别找出来即可。

站在descriptor技术本身的成果之上,我们其实已经积蓄了一些力量向structure开战了。比如SIFT阿,LBP阿,以及各种奇怪的直方图算法等等……

》》》人类的分析还是基于spatial organization of local features的

近几年基于descriptor来讨论其空间构成的文章不多,推荐三篇Capturing Descriptor Structures文章:

  1. Detecting Irregularities in Images and in Video — 05 ICCV
  2. Similarity by Composition — 06 NIPS
  3. Matching Local Self-Similarities across Images and Videos — 07 CVPR

pixel based local descriptors的方法流行起来大概是2000年前后,我脑子里最先想到的几个作者有Lowe, Malik, isserman, Li Feifei, Fergus。

自从descriptors兴起,特征提取由以前常用的矩,主动轮廓etc转变为在小波分析local descriptor上做特征。

好的特征提取大大减少了Learning Framework的工作量,因此很多descriptors评测都统一用SVM就可以了,而很多国外实际项目用优化过的KNN在detection上就取得了不错的效果。

  • SChmid CVPR2007的论文也像li feifei那样在特征提取后引入复杂的贝叶斯理论进行学习(贝叶斯分类算法的核心思想:P(hD) = P(Dh)P(h)/p(D),从贝叶斯公式可以看出,后验概率p(h/D)取决于P(Dh)P(h)这个乘积。我们要做的是考虑候选假设集合H,并在其中寻找当给定训练数据D可能性最大的假设h,h属于H)Simple Put,就是给定了一个训练样本数据(样本数据已经人工分类好了),我们应该如何从这个样本数据集去学习,从而当我们碰到新的数据时,可以将新数据分类到某一个类别中去。
  • 像Lowe的eccv2006论文(对比了包括feifei模型在内的几种结构的图模式)一样,用何种结构去组织特征进行学习被exploited
  • Bag-of-Feature确实只是在descriptors上迈出了一小步(同样依赖于特征的预聚类数据集),借鉴于文本分析的idea很好,效果尚可但不足够好和稳定,还有更多工作需要做
  • 但在文本分析和信息检索等领域,近两年的gastby和sigir都有人在吼beyond bag-of-feature
  • Lazebnik那篇CVPR2006,beyond bag-of-feature,应用领域主要是针对目标识别场景分类
  • Pyramid Match Kernel(PMK)是近年来核方法中不错的方法,在NIPS06中的论文里,提出在构建直方图金字塔以计算核矩阵前,需要先聚类,这样直方图的横轴就不是直接在特征值的定义域上等分得到了,而是在定义域上按照聚类结果分,这也可以说是按照特征的语义进行了预分类
  • Poggio的生物认知特征SMF,这是一种介于直方图统计descriptor和传统的模板匹配之间的特征,其关键而独特的步骤就是C1,即在邻域内寻找最大响应(滤波函数是Gabor),把寻找saliency的过程融入到特征提取的过程中
  • Itti等神经计算学
  • CVPR07开始研究局部特征间的关联,提出了提取中层特征(连续,对称,重复,封闭)的方法

我觉得寻找saliency显著特征应该是descriptors发展的重要方向,传统的SIFT也是要通过角点等规则筛选出关键点的,但是现在提取saliency的descriptor效果还不甚理想。

要避免老方法:只利用个别概念识别物体!

Saliency应该是对识别有效的saliency,能够以小见大,但是又不能一叶障目,这就要求saliency的门槛不能过高,我们需要把图中潜在的saliency都找出来,根据他们的联系再分类

空间联系确实很重要!

现在的descriptors缺乏一种统一的数学框架。

?能否通过优美的数学理论,筛选出合适的有效的信息,这是一个值得研究的课题

?目前比较nb的descriptor普遍复杂度偏高(相对于实时应用),所以如何快速地寻找显著点,在显著点上应用descriptor

 

 

Advertisements

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s

生活在西班牙

自己动手丰衣足食

BlueAsteroid

Just another WordPress.com site

Jing's Blog

Just another WordPress.com site

Start from here......

我的心情魔方

天才遠私廚

希望能做一個分享各種資訊的好地方

语义噪声

西瓜大丸子汤的博客

笑对人生,傲立寰宇

Just another WordPress.com site

Where On Earth Is Waldo?

A Project By Melanie Coles

the Serious Computer Vision Blog

A blog about computer vision and serious stuff

Cauthy's Blog

paper review...

Cornell Computer Vision Seminar Blog

Blog for CS 7670 - Special Topics in Computer Vision

datarazzi

Life through nerd-colored glasses

Luciana Haill

Brainwaves Augmenting Consciousness

槑烎

1,2,∞

Dr Paul Tennent

and the university of nottingham

turn off the lights, please

A bunch of random, thinned and stateless thoughts around the Web

%d bloggers like this: