Histograma de palavras visuais para caracterização de texturas e cenas dinâmicas

Abstract

A caracterização de vídeos vem sendo pesquisada cada vez mais na área de visão com- putacional por ser um tema desafiador. Caracterizar vídeos não é uma tarefa trivial, pois é

preciso levar em consideração tanto a informação espacial (aparência), quanto a informação

temporal (movimento). As texturas dinâmicas são um caso particular de vídeos, que podem

ser definidas como movimentos de padrões que apresentam propriedades estacionárias ao

longo do espaço e tempo. Exemplos de textura dinâmica podem ser encontrados em situa-

ções do dia-a-dia como por exemplo, em sequências de imagens de ondas do mar, fumaça,

fogo, escada rolante, entre outras. Outro caso particular de vídeos são as cenas dinâmicas,

que são composições de uma ou mais texturas dinâmicas, mas com um local ou cenário

caracterizando-as. Este trabalho tem por objetivo estender o Histograma de Palavras Visu- ais (BoVW) para caracterização de texturas e cenas dinâmicas. O BoVW é aplicado em três

planos ortogonais do vídeo para que sejam obtidas informações espaciais e de movimento,

melhorando assim, a caracterização de vídeos. Para avaliar a proposta deste trabalho, expe- rimentos foram realizados em duas bases de vídeos: tráfego de carros e cenas dinâmicas. Os

resultados foram comparados com os obtidos por métodos da literatura e em ambas as bases

de vídeos, o método proposto apresentou resultados promissores. Na base de cenas dinâmi- cas, pode-se concluir que a inclusão da informação de movimento para caracterização dos

vídeos aumentou consideravelmente a taxa de classificação correta. Enquanto que na base

de tráfego de carros, a informação temporal não influenciou de forma tão considerável a taxa

de classificação correta, apesar de contribuir de certa forma na caracterização dos vídeos.

ABSTRACT - The video characterization has been widely studied in computer vision because it is a fun- damental challenge. Video characterization is not a basic task, because it is necessary to

take both the spatial (appearence), and temporal information (movement). Dynamic textures

are a particular video case, that can be defined as movement patterns which have stationary

properties in spacetime. Examples of dynamic texture can be found in real situation such

as, sequence of images of sea waves, smoke, fire, escalator, among others. Another particular

video case are dynamic scenes that are compositions of one or more dynamic textures, with

a location or scene characterizing them. This work aims to extend the Bag of Visual Words

(BoVW) to characterize dynamic textures and dynamic scenes. The BoVW is applied on three

orthogonal planes to obtain spatial and motion information, for improving the video charac- terization. To evaluate the proposal of this work, experiments were conducted on two video

databases: car traffic and dynamic scenes. The results were compared with those obtained

by literature methods and, in both video databases, the proposed method showed promising

results. On the dynamic scenes database, it can be concluded that the inclusion of motion

information to video characterization greatly increased the correct classification rate. Ne- vertheless, on the car traffic database, the motion information did not significantly influence

the correct classification rate, despite contributing to the video characterization.