La interacción multimodal de la conversación se ha trabajado generalmente desde estudios etnometodológicos multimodales (Goodwin 1981, Mondada 2006, 2007, 2013a, 2013b, Deppermann 2013), pero también desde un enfoque lingüístico, que considera la integración de los gestos en el enunciado, se han abordado las funciones pragmáticas de los gestos en la interacción (Kendon 2004, Müller 2013, en prep., Payrató y Teßendorf 2014). Puesto que los modelos de segmentación del discurso —Análisis del Discurso (Sinclair y Coulthard 1975, 1992), Escuela de Ginebra (Roulet et al. 1985, 2001), Coenunciación (Morel y Danon-Boileau 1998) y Grupo Val.Es.Co. (Briz et al. 2003, Pons Bordería 2022)— han servido para sistematizar el funcionamiento de los fenómenos lingüísticos, pragmáticos y sociales que ocurren en la conversación; en este estudio buscamos la incorporación de los elementos multimodales en esa estructura y que estos elementos contribuyan en la descripción de las unidades conversacionales y las relaciones que se establecen entre ellas. Para aplicar este enfoque pragmático estructural a la interacción multimodal, utilizamos el modelo jerárquico de Val.Es.Co. (Briz y Grupo Val.Es.Co. 2003, Pons Bordería 2022) y nos centramos en el nivel dialógico de la estructura conversacional, que comprende la intervención como unidad estructural y el turno como unidad social vinculada al intercambio de roles de hablante y oyente. El objetivo del estudio es examinar los elementos multimodales que afectan a la segmentación de la conversación coloquial en español en el nivel dialógico y de qué manera le afecta. Para ello, se ha grabado un corpus de conversaciones coloquiales y se han comparado las segmentaciones realizadas a partir del audio y el video. Respecto a la preparación de los datos, se ha desarrollado una metodología para la grabación de conversaciones coloquiales que mantengan la naturalidad propia de este género, así como una metodología de anotación de los gestos en la transcripción de la conversación mediante programas informáticos y en papel. A partir de este material, se realizan dos análisis: el primero valora la cantidad y los tipos de cambios que se producen en la segmentación de intervenciones y turnos entre la grabación oral y la visual, así como las causas de estos cambios; en el segundo análisis, se observan las características de los gestos que forman parte de esta segmentación multimodal, teniendo en cuenta su posición en la estructura de la intervención y del intercambio, su forma y su función.

The multimodal interaction of conversation has been studied primarily from multimodal ethnomethodological approaches (Goodwin 1981, Mondada 2006, 2007, 2013a, Deppermann 2013), but also from a linguistic perspective, which considers the integration of gestures in utterances and explores the pragmatic functions of gestures in interaction (Kendon 2004, Müller 2013, in prep., Payrató and Teßendorf 2014). Discourse segmentation models —such as Discourse Analysis (Sinclair and Coulthard 1975, 1992), the Geneva School (Roulet et al. 1985, 2001), Co-enunciation (Morel and Danon-Boileau 1998), and the Val.Es.Co. Group (Briz et al. 2003, Pons Bordería 2022)— have been used to systematize the functioning of linguistic, pragmatic, and social phenomena occurring in conversation. Likewise, this study aims to incorporate multimodal elements into the conversation structure and explore how these elements contribute to the description of conversational units and the relationships established between the units. To apply this pragmatic-structural approach to multimodal interaction, we utilize the hierarchical model of Val.Es.Co. (Briz and Val.Es.Co. Group 2003, Pons Bordería 2022) and focus on the dialogical level of conversational structure. This level encompasses the intervention as a structural unit and the turn as a social unit related to the exchange of speaker and listener roles. The objective of the study is to examine the multimodal elements that influence the segmentation of colloquial conversation in Spanish at the dialogical level and how the segmentation is affected. For this purpose, a corpus of colloquial conversations has been recorded, and segmentations based on audio and video have been compared. Regarding data preparation, a methodology has been developed for recording colloquial conversations that maintains the naturalness of this genre, as well as an annotation methodology for gestures in conversation transcriptions using both software and paper-based methods. Two analyses have been conducted using this material. The first one assesses the quantity and types of changes that occur in the segmentation of interventions and turns between oral and visual recordings, as well as the causes of these changes. The second analysis examines the characteristics of gestures that are part of this multimodal segmentation, considering their position in the structure of the intervention and the exchange, their form, and their function.