|
This dissertation consists of the construction and validation of two types of items: process and product that represent the area of University formation and the area of Impact. These two areas are part of a set of components designed for the creation of an institutional assessment plan for quality assurance in the Costa Rica Institute of Technology called EMEI. The area of University formation is made of a set of items process in charge of promoting the achievement of enhancement products. The area of Impact operates with output indicators focused in providing the level of success achieved by the processes indicated. EMEI, as an integrated proposal, has two key elements: an evaluative theory that establishes and supports their actions, and a contextualization process that pretends to build up a continuous and systematic evaluative process. The design research is characterized as an evaluation research based on expert judgment. Applies a quantitative approach and due to the techniques of data collection used, it is a descriptive and exploratory research. The evaluative criteria used by the judges to the respective valuations of theoretical and organizational structure are: degree of judge’s agreement, clarity, relevance and adequacy. For the validation of output and process items, the criteria of relevance and susceptibility of improvement were used. The instrument used for the collection of information proved to have technical quality, both in the instrument designed as well as in each of the items built. The empirical study is based on the following analysis: descriptive and central tendency, reliability, coefficient W. Kendall, importance profile content analysis of each indicator, homogeneity or heterogeneity of data, factor analysis, hierarchical clustering, parametric and non-parametric tests, and correlational analysis. Main results: about the theoretical components, the concepts of quality, institutional evaluation, quality assessment, and improvement were rated by judges as relevant in its meaning and in the elements they encompasses. The concepts are clear and suitable for the role and the context they determine. Regarding the assessment of organizational structure of dimensions, sub-dimensions and indicators, the results conclude that the agreement of judges is homogeneous about the treatment of areas as macro-type domains that use sub-dimensions to give uniqueness to the dimension they represent inside the global proposal, and for providing the items specific roles of evidence to analyze and provide information about the specific role the must cover. The two types of indicators analyzed were empirically valid and reliable. They represent inside the global proposal means to improve the academic process of formation in the university.Este estudio consiste en la construcción y validación de los indicadores de proceso y de producto de las áreas de Formación universitaria y de Impacto. Dichas áreas son parte del conjunto de elementos diseñados para la conformación del Enfoque Modélico de Evaluación Institucional por sus siglas EMEI, el cual es un plan de evaluación institucional para el mejoramiento de la calidad en el Tecnológico de Costa Rica. El área de formación universitaria está constituida por los indicadores de proceso que funcionan como los motores impulsores para lograr los productos de mejora esperados. El área de impacto conformada por los indicadores de producto, son los encargados de brindar los niveles de logro alcanzado en cada uno de los procesos formativos indicados. EMEI, como plan global de evaluación, posee dos elementos fundamentales: una teoría evaluativa que le da fundamento y respaldo a su accionar, y una contextualización de la evaluación y de sus componentes que aportan solidez al proceso evaluativo. El diseño investigativo de este estudio es caracterizada como una investigación evaluativa basada en el juicio de expertos, utiliza un enfoque cuantitativo; según los análisis realizados y las técnicas de recopilación de la información utilizadas, es una investigación descriptiva y exploratoria. Los criterios utilizados por los jueces para las respectivas valoraciones de la estructura teórica y organizativa son: grado de acuerdo, claridad, pertinencia y adecuación. Asimismo, para la validación de los respectivos indicadores de proceso y de producto se utilizaron los criterios de relevancia y de susceptibilidad de mejora. La herramienta utilizada para la recopilación de la información probó tener calidad técnica, tanto en el instrumento diseñado como en cada uno de los ítems que lo conforman. En el estudio empírico se utilizaron los siguientes análisis: Descriptivos y de tendencia central; fiabilidad; coeficiente de concordancia W de Kendall; análisis de perfil de importancia respecto al contenido de los indicadores; análisis de homogeneidad o de heterogeneidad de los datos; análisis de validez de constructo: análisis factorial; de conglomerados jerárquicos, pruebas paramétricas y no paramétricas para la comprobación de supuestos y análisis correlacionales. Principales resultados: los componentes teóricos referentes a la conceptualización de calidad, evaluación institucional, evaluación de la calidad y mejora, fueron valorados por los jueces como elementos pertinentes por ser unívocos en su planteamiento y en los elementos que engloba. Resultaron ser claros por no poseer ni transmitir confusión en el significado que expresan; asimismo son adecuados para la función y el contexto que los determina. En relación con la evaluación de la estructura organizativa de dimensiones, subdimensiones e indicadores: el acuerdo de los jueces en torno a las dimensiones es homogéneo es decir, concuerdan en que éstas son áreas conceptuales tipo macro que utilizan las subdimensiones para concretar el marco de acción que las determina. Asimismo, manifiestan su acuerdo en que las subdimensiones dan unicidad a la dimensión que representan. Las evidencias de validación demuestran que los indicadores de proceso y los ítems de productos son empíricamente válidos y confiables, son además relevantes en sus respectivas representaciones y susceptibles de mejora en la condición que expresan.
|