Combinaison d'information visuelle et textuelle pour la recherche d'information multimédia

Cédric Lemaitre (1) , Christophe Moulin (1) , Cécile Barat (1) , Christophe Ducottet (1)

1 LHC - Laboratoire Hubert Curien

Nous présentons dans cet article un modèle de représentation de documents multimédia combinant des informations textuelles et des descripteurs visuels. Le texte et l'image composant un document sont chacun décrits par un vecteur de poids $tf.idf$ en suivant une approche "sac-de-mots". Le modèle utilisé permet d'effectuer des requêtes multimédia pour la recherche d'information. Notre méthode est évaluée sur la base imageCLEF'08 pour laquelle nous possédons la vérité de terrain. Plusieurs expérimentations ont ét\é menées avec différents descripteurs et plusieurs combinaisons de modalités. L'analyse des résultats montre qu'un modèle de document multimédia permet d'augmenter les performances d'un système de recherche basé uniquement sur une seule modalité, qu'elle soit textuelle ou visuelle.

Domaines: Traitement des images [eess.IV]; Traitement du signal et de l'image [eess.SP]; Traitement du signal et de l'image [eess.SP]

Cédric Lemaitre, Christophe Moulin, Cécile Barat, Christophe Ducottet. Combinaison d'information visuelle et textuelle pour la recherche d'information multimédia. GRETSI2009, Sep 2009, Dijon, France. pp.ID 623. ⟨ujm-00482036⟩