FUTUR. Website for the scientific production of UPC researchers

Foreground segmentation in video sequences is an important area of the image processing that attracts great interest among the scientist community, since it makes possible the detection of the objects that appear in the sequences under analysis, and allows us to achieve a correct performance of high level applications which use foreground segmentation as an initial step. The current Ph.D. thesis entitled Parametric Region-Based Foreground Segmentation in Planar and Multi-View Sequences details, in the following pages, the research work carried out within this eld. In this investigation, we propose to use parametric probabilistic models at pixel-wise and region level in order to model the di erent classes that are involved in the classi cation process of the di erent regions of the image: foreground, background and, in some sequences, shadow. The development is presented in the following chapters as a generalization of the techniques proposed for objects segmentation in 2D planar sequences to 3D multi-view environment, where we establish a cooperative relationship between all the sensors that are recording the scene. Hence, di erent scenarios have been analyzed in this thesis in order to improve the foreground segmentation techniques: In the first part of this research, we present segmentation methods appropriate for 2D planar scenarios. We start dealing with foreground segmentation in static camera sequences, where a system that combines pixel-wise background model with region-based foreground and shadow models is proposed in a Bayesian classi cation framework. The research continues with the application of this method to moving camera scenarios, where the Bayesian framework is developed between foreground and background classes, both characterized with region-based models, in order to obtain a robust foreground segmentation for this kind of sequences. The second stage of the research is devoted to apply these 2D techniques to multi-view acquisition setups, where several cameras are recording the scene at the same time. At the beginning of this section, we propose a foreground segmentation system for sequences recorded by means of color and depth sensors, which combines di erent probabilistic models created for the background and foreground classes in each one of the views, by taking into account the reliability that each sensor presents. The investigation goes ahead by proposing foreground segregation methods for multi-view smart room scenarios. In these sections, we design two systems where foreground segmentation and 3D reconstruction are combined in order to improve the results of each process. The proposals end with the presentation of a multi-view segmentation system where a foreground probabilistic model is proposed in the 3D space to gather all the object information that appears in the views. The results presented in each one of the proposals show that the foreground segmentation and also the 3D reconstruction can be improved, in these scenarios, by using parametric probabilistic models for modeling the objects to segment, thus introducing the information of the object in a Bayesian classi cation framework. La segmentaci on de objetos de primer plano en secuencias de v deo es una importante area del procesado de imagen que despierta gran inter es por parte de la comunidad cient ca, ya que posibilita la detecci on de objetos que aparecen en las diferentes secuencias en an alisis, y permite el buen funcionamiento de aplicaciones de alto nivel que utilizan esta segmentaci on obtenida como par ametro de entrada. La presente tesis doctoral titulada Parametric Region-Based Foreground Segmentation in Planar and Multi-View Sequences detalla, en las p aginas que siguen, el trabajo de investigaci on desarrollado en este campo. En esta investigaci on se propone utilizar modelos probabil sticos param etricos a nivel de p xel y a nivel de regi on para modelar las diferentes clases que participan en la clasi caci on de las regiones de la imagen: primer plano, fondo y en seg un que secuencias, las regiones de sombra. El desarrollo se presenta en los cap tulos que siguen como una generalizaci on de t ecnicas propuestas para la segmentaci on de objetos en secuencias 2D mono-c amara, al entorno 3D multi-c amara, donde se establece la cooperaci on de los diferentes sensores que participan en la grabaci on de la escena. De esta manera, diferentes escenarios han sido estudiados con el objetivo de mejorar las t ecnicas de segmentaci on para cada uno de ellos: En la primera parte de la investigaci on, se presentan m etodos de segmentaci on para escenarios monoc amara. Concretamente, se comienza tratando la segmentaci on de primer plano para c amara est atica, donde se propone un sistema completo basado en la clasi caci on Bayesiana entre el modelo a nivel de p xel de nido para modelar el fondo, y los modelos a nivel de regi on creados para modelar los objetos de primer plano y la sombra que cada uno de ellos proyecta. La investigaci on prosigue con la aplicaci on de este m etodo a secuencias grabadas mediante c amara en movimiento, donde la clasi caci on Bayesiana se plantea entre las clases de fondo y primer plano, ambas caracterizadas con modelos a nivel de regi on, con el objetivo de obtener una segmentaci on robusta para este tipo de secuencias. La segunda parte de la investigaci on, se centra en la aplicaci on de estas t ecnicas mono-c amara a entornos multi-vista, donde varias c amaras graban conjuntamente la misma escena. Al inicio de dicho apartado, se propone una segmentaci on de primer plano en secuencias donde se combina una c amara de color con una c amara de profundidad en una clasi caci on que combina los diferentes modelos probabil sticos creados para el fondo y el primer plano en cada c amara, a partir de la fi abilidad que presenta cada sensor. La investigaci on prosigue proponiendo m etodos de segmentaci on de primer plano para entornos multi-vista en salas inteligentes. En estos apartados se diseñan dos sistemas donde la segmentaci on de primer plano y la reconstrucci on 3D se combinan para mejorar los resultados de cada uno de estos procesos. Las propuestas fi nalizan con la presentaci on de un sistema de segmentaci on multi-c amara donde se centraliza la informaci on del objeto a segmentar mediante el diseño de un modelo probabil stico 3D. Los resultados presentados en cada uno de los sistemas, demuestran que la segmentacion de primer plano y la reconstrucci on 3D pueden verse mejorados en estos escenarios mediante el uso de modelos probabilisticos param etricos para modelar los objetos a segmentar, introduciendo as la informaci on disponible del objeto en un marco de clasi caci on Bayesiano. La segmentació d'objectes de primer pla en seqüències de vídeo és una important àrea del processat d'imatge que acull gran interès per part de la comunitat científica, ja que possibilita la detecció d'objectes que apareixen en les diferents seqüències en anàlisi, i permet el bon funcionament d'aplicacions d'alt nivell que utilitzen aquesta segmentació obtinguda com a paràmetre d'entrada.Aquesta tesi doctoral titulada Parametric Region-Based Foreground Segmentation in Planar and Multi-View Sequences detalla, en les pàgines que segueixen, el treball de recerca desenvolupat en aquest camp. % Aquesta àrea del processament d'imatge dedicada a la segmentation d'objectes de primer pla en seqüències vídeo.En aquesta investigació es proposa utilitzar models probabilístics paramètrics a nivell de píxel i a nivell de regió per modelar les diferents classes que participen en la classificació de les regions de la imatge: primer pla, fons i depenent de les seqüències, les regions d'ombra. El desenvolupament es presenta als capítols que segueixen com una generalització de tècniques proposades per a la segmentació d'objectes en seqüències 2D mono-càmera, a l'entorn 3D multicàmera, on s'estableix la cooperació dels diferents sensors que participen en l'enregistrament de l'escena .D'aquesta manera, s'han estudiat diferents escenaris amb l'objectiu de millorar les tècniques de segmentació per a cadascun d'ells:A la primera part de la investigació, es presenten mètodes de segmentació per escenaris mono-càmera. Concretament, es comença tractant la segmentació de primer pla per a càmera estàtica, on es proposa un sistema basat en la classificació Bayesiana entre el model a nivell de píxel per modelar el fons, i els models a nivell de regió creats per modelar els objectes de primer pla i l'ombra que cada un d'ells projecta. La investigació continua amb l'aplicació d'aquest mètode a seqüències gravades mitjançant càmera en moviment, on la classificació Bayesiana es planteja entre les classes de fons i primer pla, ambdues caracteritzades amb models a nivell de regió, amb l'objectiu d'obtenir una segmentació robusta per aquest tipus de seqüències.La segona part de la investigació, es focalitza en l'aplicació d'aquestes tècniques mono-càmera a entorns multi-vista, on diverses càmeres graven conjuntament la mateixa escena. A l'inici d'aquest apartat, es proposa una segmentació de primer pla en seqüències on es combina una càmera de color amb una càmera de profunditat en una classificació que combina els diferents models probabilístics creats per al fons i el primer pla a cada càmera, a partir de la fiabilitat que presenta cada sensor. La investigació continua proposant mètodes de segmentació de primer pla per a entorns multi-vista en sales intel·ligents. En aquests apartats es dissenyen dos sistemes on la segmentació de primer pla i la reconstrucció 3D es combinen per millorar els resultats de cada un d'aquests processos. Les propostes finalitzen amb la presentació d'un sistema de segmentació multicàmera on es centralitza la informació de l'objecte a segmentar mitjançant el disseny d'un model probabilístic 3D.Els resultats presentats en cada un dels sistemes, demostren que la segmentació de primer pla i la reconstrucció 3D es poden veure millorats en aquests escenaris mitjançant l'ús de models probabilístics paramètrics per modelar els objectes a segmentar, introduint així la informació disponible de l'objecte en un marc de classificació Bayesià.
-