Investigacion Evaluativa
Descargar como PPT, PDF28 recomendaciones151,447 vistas
Este documento describe la investigación evaluativa, que evalúa los resultados de programas, intervenciones o políticas públicas para medir sus efectos y mejorar su implementación futura. Explica que la investigación evaluativa se aplica a programas, intervenciones, políticas públicas, servicios de salud, productos y más, con el fin de juzgar su eficacia, efectividad, costo-beneficio e impacto. También provee información sobre sus diferentes tipos, diseños, criterios y aspectos que pueden evaluarse.
Investigacion Evaluativa
- 1. Investigación Evaluativa. Aplicaciones en intervenciones sociales y de salud pública Jesús Armando Haro
- 2. Contenido El concepto de evaluación ¿Qué es investigación evaluativa? ¿Para que sirve? ¿En qué se aplica? ¿Cómo se realiza? ¿Tipos de investigación? ¿Generaciones? ¿Cuáles son sus etapas clave? ¿Qué es metaevaluación? Addendum: ¿Cómo anticipar y evaluar el impacto de las investigaciones que hacemos en salud pública?
- 3. DEFINIENDO EL CONCEPTO DE EVALUACIÓN “ ..evaluar es determinar el significado, la importancia, o condición de algo, usualmente mediante un cuidadoso estudio y minucioso enfoque” Merriam Webster Dictionary Evaluar es una actividad básica y humana en la vida cotidiana. Es emitir juicios de valor acerca del mérito de las cosas y de las acciones
- 4. No obstante, hay un tipo de evaluación, la investigación evaluativa, que se caracteriza por su rigurosidad y sistematicidad “ La recoleccion sistemática de información acerca de actividades, características y resultados de programas, para realizar juicios acerca del programa, mejorar su efectividad, o informar la toma futura de decisiones”. M. Q. Patton. 1996. Utilization-focused evaluation (3rd ed.). Thousand Oaks: Sage. p. 23.
- 5. “ La evaluación es el proceso de identificar, obtener y proporcionar información útil y descriptiva acerca del valor y el mérito de las metas, la planificación, la realización y el impacto de un objeto determinado con el fin de servir de guía para la toma de decisiones, solucionar los problemas de responsabilidad y promover la comprensión de los fenómenos implicados.” D.L. Stufflebeam y A. Schiklield. 1987. Evaluación sistemática. Guía teórica y práctica. Madrid: Paidós/MEC. p. 183.
- 6. INVESTIGACIÓN EVALUATIVA Es la investigación que tiene como objetivo evaluar los resultados de uno o más programas que hayan sido o estén aplicados dentro de un contexto determinado. La intención de la investigación evaluativa es medir los efectos de un programa por comparación con las metas que se propuso lograr, a fin de tomar decisiones subsiguientes para mejorar la ejecución futura.
- 7. “ Impact evaluation aims to measure the difference between what happened with the program and what would have happened without it.” (Center for Global Development, 2006)
- 8. ¿Qué permite la investigación evaluativa? Obtener información sobre problemas, expectativas y necesidades de la sociedad para contribuir de una manera eficaz a las decisiones de política social. Producir información para disminuir la incertidumbre sobre las consecuencias de las decisiones tomadas, y sobre las alternativas menos costosas de decisión futura. Dar respuesta en forma rápida y precisa a cuestiones prácticas y preguntas de relevancia social, sin soslayar que en estas situaciones, los problemas teóricos, metodológicos y técnicos están presentes .
- 9. Evaluación en salud “ Un conjunto de procedimientos sistemáticos que buscan hacer visible lo que se hace, con referencia a lo que se pretende hacer; respecto a intereses, efectividad, operacionalidad y calidad de las acciones, tecnologías, servicios o programas de salud” (Ayres, J.R.: 2004. Norma e formacao: horizontes filosoficos para as praticas de avaliacao no contexto da promocao de saúde Ciencia & Saude Coletiva 9 (3): 585)
- 10. Intervenciones evaluables en salud Clinicas Nutricionales Conductuales Educativas Ambientales En sistemas de salud (cobertura, abasto, personal, procesos, calidad, etcétera) En salud pública Otras
- 11. La Evaluación es una nueva disciplina pero una antigua práctica. La defensa de la Evaluación como disciplina descansa en sus características científicas en contraste con las evaluaciones subjetivas o no sistemáticas. La evaluación es considerada como ciencia por estar comprometida con la pro- ducción de conocimiento, y no sólo conocimiento práctico; la evaluación, desde el punto de vista de la práctica, se interesa por conocer el mérito rela- tivo de diferentes métodos de enseñanza, o de diferentes teorías de aprendi- zaje, o por los cambios en la salud como consecuencia de nuevas concepcio- nes en la práctica sanitaria. Pero también la evaluación es esencial para distinguir la ciencia de la pseudociencia al evaluar la calidad de la evidencia científica, la calidad de los diseños de investigación, de los instrumentos de Tiedida, de sus conclusiones, la calidad de los procedimientos en ingeniería, en las matemáticas, en los procesos judiciales. En el sentido de proceso inte- lectual, la evaluación forma parte de todas las disciplinas, tecnologías, nianualidades y de pensamiento racional en general (Scriven, 1991:4). La Evaluación es una nueva disciplina pero una antigua práctica. La defensa de la Evaluación como disciplina descansa en sus características científicas , en contraste con las evaluaciones subjetivas o no sistemáticas. La evaluación es considerada como ciencia por estar comprometida con la producción de conocimiento . No sólo es conocimiento práctico. Se interesa por conocer el mérito relativo de diferentes métodos de enseñanza, o de diferentes teorías de aprendizaje, o por los cambios en la salud como consecuencia de nuevas concepciones en la práctica sanitaria. También es esencial para distinguir la ciencia de la pseudociencia al evaluar la calidad de la evidencia científica, la calidad de los diseños de investigación, de los instrumentos de medida o de sus conclusiones. La evaluación forma parte de todas las disciplinas, tecnologías y formas de pensamiento racional en general (Scriven, 1991:4). Por esto, hoy se considera que la investigación evaluativa es una transdisciplina.
- 12. ¿Hay realmente diferencias entre investigación e investigación evaluativa? Para varias visiones existen al menos 3 tipos básicos de investigación: Básica o pura: investigación científica que tiene como referente un problema del conocimiento, de la disciplina. Desarrollo, refutación y consolidación de teorías Aplicada. Investigación para probar teorías para evaluar su utilidad de resolver problemas Evaluativa. Investigación para determinar si una intervención garantiza mejoría de condiciones, tiene consecuencias de impacto o ha contribuido al conocimiento.
- 13. La IE difiere en que: Las preguntas centrales se derivan de objetivos sociales, para resolver problemas en forma práctica, y menos como un problema del conocimiento o de las disciplinas académicas. Los resultados se utilizan para mejorar programas, procesos, intervenciones. Tiende a realizarse en escenarios de intenso cambio social (turbulentos). Los resultados son principalmente reportados en formatos no necesariamente académicos. Por ello,erróneamente, se piensa que en la IE la teoría y la teorización juegan un papel menor. No debe ser así.
- 14. ¿Para qué se realiza la investigación evaluativa? (en lo general) Para juzgar la eficacia, el mérito de un programa, intervención o política pública Para describir lo que sucede como resultado de una intervención (efectos colaterales también no solo logros) Proveer evidencias acerca de los efectos a corto y largo plazo D eterminar el costo-efectividad Para mejorar lo que se evalúa Identificar además que aspectos del proceso son los que son exitosos, sus resultados (positivos, negativos o neutros) parelelos, que no responden a los objetivos de la “intervención”. Identificar sus fuerzas y debilidades, asegurar la calidad, evaluar el progreso de los objetivos planteados. También: para generar conocimiento científico social y de salud pública. Hacer posibles generalizaciones sobre efectividad, construir teoría, diseñar nuevas políticas o procesos de la misma intervención, extrapolar principios y hallazgos para ser aplicados en otros escenarios sociales.
- 15. Documentar éxitos y fracasos, errores de proceso Predecir cómo las variables impactan situaciones específicas Explicar o identificar teorías prometedoras asociadas con fenómenos específicos. Puede realizarse según diversos criterios: rendición de cuentas, costo-beneficio, acreditación/certificación de procesos, etcétera.
- 16. Tipos de evaluación (criterios) Evaluación de etapas o ciclos de un programa o proyecto: diseño, implementación, resultados Evaluación de componentes: a. insumos b. procesos y productos c. estructura, procesos y resultados d. procesos e impactos Evaluación de atributos: pertinencia, idoneidad, suficiencia, eficacia, efectividad, rendimiento, etcétera Nirenberg, Olga; Josette Brawerman y Violeta Ruiz: “Los tipos de evaluación” en Ibídem: Evaluar para la transformación. Innovaciones en la evaluación de programas y proyectos sociales Paidós (Tramas Sociales), Buenos Aires, México, 2000, pp. 51-78.
- 17. Tipos de diseños de investigación evaluativa (1) Evaluaciones cuantitativas Evaluaciones cualitativas Evaluaciones cuali-cuantitativas Diseños experimentales (el ideal, pero raramente aplicable por razones éticas y prácticas) Diseños quasi-experimentales En series temporales (antes y después) Comparación entre grupos por pareamiento (con y sin intervención, “casos y controles”)
- 18. Modelo CIPP (contexto, input, proceso y producto (Stufflebeam et al 1971) Evaluación de meta libre (Scriven 1973) Evaluación responsiva (Stake 1975) Evaluación focalizada (Patton 1978) Evaluación sobre la base del adversario (Wolf, 1979) Modelo de reforma (Cronbach et al 1980) Evaluación naturalista (Guba y Lincoln 1981) Cronbach, L. J., Hambron, S. R., Dornbusch, S. M., Hess, R. D., Hornick, R. C., Phillips, D. C., Walker, D. F. y Weiner, S. S. (1980). Towards reform in program evaluation: Aims, methods and institutional arrangements. San Francisco: Jossey-Bass. Guba, E. G. & Lincoln, Y. S. (1981). Effective evaluation: Improving the usefulness of evaluation. Results through responsive and naturalistic approaches. San Francisco: Jossey- Bass. Stake, R. E. (1975). Program evaluation: particularly responsive evaluation. Occasional Paper, 5. University of Western Michigan. Stufflebeam, D. L. & otros (1971). Educational Evaluation and Decision Making. Itasca, Illions: Peacock. ALGUNAS APLICACIONES METODOLÓGICAS EVALUATIVAS en EDUCACIÓN
- 19. Algunos enfoques o modelos emergentes en el campo de la salud Evaluación participativa Evaluación cualitativa Evaluación de sistemas de salud Evaluación de síntesis realista Evaluación respondente (Stake) Evaluación democrática Evaluación por triangulación de métodos Evaluación crítica Evaluación formativa “ No existe un modelo o enfoque único de evaluación emergente o alternativo en el área de salud” F.J. Mercado et al: “Avaliação de políticas e progra mas de saúde: enfoques emergentes na Ibero-América no inicio do século XXI” en Magalhães Bosi, M.L. y F.J. Mercado (org.): Avaliação qualitativa de programas de saúde. Enfoques emergentes Vozes, Petrópolis, 2006, p. 22-64.
- 20. Según Boruch y Wortman (1979) no existe un modelo generalizado de investigación evaluativa. La clasificación de los enfoques en la evaluación de programas ha originado una abundante literatura, distinguiéndose desde 1975 hasta hoy ocho tipologías de evaluación que arrojan cerca de cincuenta categorías (de la Orden, 1985). Hay 3 criterios fundamentales: (a) la metodología empleada para establecer la verdad o basar las afirmaciones confirmatorias, (b) el papel asignado en el proceso de evaluación al orientador-evaluador en relación como los orientadores y con el sistema , y (c) los objetivos que persiguen o su orientación básica. Borouch, R. F. & Wortman, P. M. (1979). Implications of educational evaluation for evaluation policy. En D. C. Berliner (pp. 309-361). Review of Research in Education, 7.
- 21. El concepto de evaluación, no es monolítico (Anguera 1989). Las diversas posturas adoptadas oscilan entre la construcción de un corpus de conocimientos que pudiera garantizarle el carácter de disciplina básica, y la mera recogida de información que trata de dar cuenta de la ejecución de ciertas actividades realizadas previamente (Cordaray, Bloom y Light, 1987). Pasando por el análisis de los efectos netos de los programas o por la primacía de razones políticas —y no técnicas— respecto a la oportunidad de algunos programas.
- 22. Según Ricardo Ayres (2001) la IE en el campo salud puede clasificarse en dos tipos: La evaluación normativa, destinada a verificar el éxito técnico de acciones en salud. Se limita e medir cosas objetivas, y es generalmente cuantitativa. Es análoga a la evaluación formal de la calidad (“ideología de la calidad” Uchimura & Bosi 2004). La evaluación formativa, que va mas allá de la dimensión objetiva de calidad, para juzgar el éxito práctico. Implica reconocer los “proyectos de felicidad” que justifican una intervención en salud a través de la integralidad . Reconoce que la IE es una herramienta para la formación ciudadana y un mecanismo de validación del sistema social, político e ideológico.
- 23. La integralidad como principio norteador de la evaluación Según Mattos (2001) la integralidad debe ser el principio que oriente las prácticas evaluativas, pero también del trabajo en salud y de las políticas públicas. * Capacidad de responder al sufrimiento manifiesto *Postura no reduccionista *Capacidad ampliada de aprehensión de las necesidades en salud *Defensa de la intersubjetividad
- 24. ¿En que se aplica la investigación evaluativa? Programas Intervenciones Políticas públicas Evaluación de calidad de servicios existentes Productos Personas en puestos clave Procedimientos específicos en la implementación de ciertos componentes en los anteriores Proyectos de investigación e intervención
- 25. ¿Qué aspectos se pueden evaluar? Eficacia (relación entre objetivos y logros) Efectividad (relación entre las estrategias, los métodos, los procedimientos, y los logros) Costo-beneficio Implementación (operatividad, procesos) Aceptación en la población objetivo Calidad de servicios Efectos contextuales Procesos (desempeño, operatividad) Efectos colaterales Rendición de cuentas ( accountability ) Satisfacción de los usuarios o implicados
- 26. CRITERIOS DE EVALUACIÓN DE PROYECTOS Clara formulación del problema (tanto práctico como del problema de investigación) y de las dimensiones del mismo que se abordarán. Relevancia del problema. Descripción, justificación y contextualización adecuada. Exposición clara y pertinente de los fundamentos teóricos de la investigación. Congruencia entre problema, hipótesis, objetivos y fundamentos. Congruencia entre metodología y objetivos propuestos. Descripción clara de la modalidad de trabajo, las acciones a realizar y la organización del equipo de trabajo. Clara exposición del diseño metodológico de la investigación diagnóstica o evaluativa. Relevancia de la innovación propuesta en función de su posible impacto Previsión de interacción entre el grupo de investigación-innovación y los posibles beneficiarios (unidades académicas, comisiones curriculares, etc.). Viabilidad del proyecto en función de la composición del equipo, tiempo disponible y características del PROYECTO.
- 27. Generaciones en investigación evaluativa primera generación (medición): evaluación de organizaciones como suma de individuos. G eneración de la medida. El papel del evaluador era técnico, como proveedor de instrumentos de medición. segunda generación (descripción): evaluación de programas organizacionales y/o de recursos humanos y de sus resultados tercera generación (valoración) : se elaboran "Juicios" sobre los programas organizacionales para recomendar lo que hay que hacer. Inciden sobre las decisiones a tomar más que sobre los resultados.
- 28. La cuarta generación en investigación evaluativa A finales de los ochenta Guba y Lincoln (1989) ofrecen una alternativa evaluadora, que denominan cuarta generación, pretendiendo superar lo que según estos autores son deficiencias de las tres generaciones anteriores, tales como una visión gestora de la evaluación, una escasa atención al pluralismo de valores y un excesivo apego al paradigma positivista. La alternativa de Guba y Lincoln la denominan respondente y constructivista, integrando de alguna manera el enfoque respondente propuesto en primer lugar por Stake (1975), y la epistemología postmoderna del constructivismo (Russell y Willinsky, 1997).
- 29. La utilización de las demandas, preocupaciones y asuntos de los implicados ( stakeholders ) es necesaria, según Guba y Lincoln, porque: Son grupos de riesgo ante la evaluación y sus problemas deben ser convenientemente contemplados, de manera que se sientan protegidos ante tal riesgo. Los resultados pueden ser utilizados en su contra en diferentes sentidos, sobre todo si están al margen del proceso. Son potenciales usuarios de la información resultante de la evaluación. Pueden ampliar y mejorar el rango de la evaluación. Se produce una interacción positiva entre los distintos implicados.
- 30. El cambio paradigmático lo justifican estos autores porque: La metodología convencional no contempla la necesidad de identificar las demandas, preocupaciones y asuntos de los implicados. Para llevar a cabo lo anterior se necesita una postura de descubrimiento más que de verificación, típica del positivismo. No se tienen en cuenta suficientemente los factores contextuales. No se proporcionan medios para valoraciones caso por caso. La supuesta neutralidad de la metodología convencional es de dudosa utilidad cuando se buscan juicios de valor acerca de un objeto social.
- 31. Identificar todos los implicados con riesgo en la evaluación. Resaltar para cada grupo de implicados sus construcciones acerca de lo evaluado y sus demandas y preocupaciones al respecto. Proporcionar un contexto y una metodología hermenéutica para poder tener en cuenta, comprender y criticar las diferentes construcciones, demandas y preocupaciones. Generar el máximo acuerdo posible acerca de dichas construcciones, demandas y preocupaciones. Preparar una agenda para la negociación acerca de temas no consensuados. Recoger y proporcionar la información necesaria para la negociación. Formar y hacer de mediador para un «forum» de implicados para la negociación. Desarrollar y elaborar informes para cada grupo de implicados sobre los distintos acuerdos y resoluciones acerca de los intereses propios y de los de otros grupos (Stake, 1986; Zeller, 1987). Reciclar la evaluación siempre que queden asuntos pendientes de resolución. RESPONSABILIDADES BÁSICAS DEL EVALUADOR DE LA CUARTA GENERACIÓN
- 32. 1) Establecimiento de un contrato con un patrocinador o cliente. • Identificación del cliente o patrocinador de la evaluación. • Identificación del objeto de la evaluación. • Propósito de la evaluación (Guba y Lincoln, 1982). • Acuerdo con el cliente por el tipo de evaluación. • Identificación de audiencias. • Breve descripción de la metodología a usar. • Garantía de acceso a registros y documentos. • Acuerdo por garantizar la confidencialidad y anonimato hasta donde sea posible. • Descripción del tipo de informe a elaborar. • Listado de especificaciones técnicas. Los 12 pasos de la IE de cuarta generación (Lincoln & Guba)
- 33. 2) Organización para reciclar la investigación. • Selección y entrenamiento del equipo evaluador. • Consecución de facilidades y acceso a la información (Lincoln y Guba, 1985). 3) Identificación de las audiencias (Guba y Lincoln, 1982). • Agentes. • Beneficiarios. • Victimas.
- 34. 4) Desarrollo de construcciones conjuntas dentro de cada grupo o audiencia (Glaser y Strauss, 1967; Glaser, 1978; Lincoln y Guba, 1985). 5) Contraste y desarrollo de las construcciones conjuntas de las audiencias. • Documentos y registros. • Observación. • Literatura profesional. • Círculos de otras audiencias. • Construcción ética del evaluador.
- 35. 6) Clasificación de las demandas, preocupaciones y asuntos resueltos. 7) Establecimiento de prioridades en los temas no resueltos. 8) Recogida de información. 9) Preparación de la agenda para la negociación. 10) Desarrollo de la negociación. 11) Informes (Zeller, 1987; Licoln y Guba, 1988). 12) Reciclado/revisión.
- 36. a) La evaluación es un proceso sociopolítico. b) La evaluación es un proceso conjunto de colaboración. c) la evaluación es un proceso de enseñanza/aprendizaje. d) La evaluación es un proceso continuo, recursivo y altamente divergente. e) La evaluación es un proceso emergente. f) La evaluación es un proceso con resultados impredecibles. g) La evaluación es un proceso que crea realidad. RASGOS CENTRALES DE LA INVESTIGACIÓN EVALUATIVA DE CUARTA GENERACIÓN
- 37. Etapas clave en investigación evaluativa Formulación del objetivo principal y las preguntas de investigación. Es fundamental que desde esta primera etapa se considere la opinión de los implicados y no solamente del cliente (financiador) Creación de los indicadores Definición de las fuentes de información Elaboración de los instrumentos de investigación
- 38. Trabajo de campo. Donde se realiza un reajuste de conceptos, indicadores, hipótesis, estrategias, instrumentos. Análisis de información recopilada. Ordenación y clasificación de los datos. Elaboración del informe final Comunicación de resultados en distintas audiencias M.C. de Souza-Minayo. Pesquisa avaliativa por trtiangulacao de métodos en Magalhães Bosi, M.L. y F.J. Mercado (org.): Avaliação qualitativa de programas de saúde. Enfoques emergentes Vozes, Petrópolis, 2006, pp. 163-190.
- 39. metaevaluación la metaevaluación ha sido y es comúnmente considerada como aquella investigación sistemática cuyo objetivo es emitir un juicio acerca de la calidad o los méritos de una evaluación. La evaluación se convierte, de esta forma, en el objeto de estudio del metaevaluador (Stufflebeam, 1981, 1987; Scriven, 1967, 1991).
- 40. Diferentes conceptos de evaluación Diferentes criterios Pluralidad de procesos evaluativos, dependiendo de la percepción teórica que sobre la evaluación se mantenga Pluralidad de objetos de evaluación Apertura, reconocida en general por todos los autores, de la información necesaria en un proceso evaluativo para dar cabida no sólo a los resultados pretendidos, sino a los efectos posibles Pluralidad también reconocida de las funciones de la evaluación Diferencias en el papel jugado por el evaluador, lo que ha venido a llamarse evaluación interna vs. evaluación externa Pluralidad de audiencia de la evaluación y, por consiguiente, pluralidad en los informes de evaluación. Desde informes narrativos, informales, hasta informes muy estructurados (Anderson y Ball, 1983) Pluralidad metodológica Tendencia a la integración cuantitativa/cualitativa Algunas características torales de la investigación evaluativa en la actualidad (S. XXI)
- 41. Addendum: ¿Cómo anticipar y evaluar el impacto de las investigaciones que hacemos en salud pública? Promover la conciencia del impacto que tienen nuestras actividades investigativas - En la conciencia de quien es observado (paradoja de Heisenberg) -En la reacción social (formal e informal) -En lo material y en lo simbólico -Saber que hay impactos intencionales e inesperados Explicitar intencionadamente cuál es el impacto que pretendemos lograr Diseñar mecanismos de evaluación de impacto que incorporen la perspectiva de nuestros sujetos en estudio/la población objetivo
- 42. ¿Para qué queremos impactar? ¿Cuál es nuestro concepto de ciencia? ¿Qué objetivos tiene el trabajo científico? ¿Cuáles son nuestros criterios sobre lo que buscamos impactar? Relevancia de explicitar ¿para qué investigamos?, ¿Para quién investigamos?, ¿Para quién escribimos? El eje teórico/conceptual
- 43. Necesidad de una reflexión epistemológica –alterna a la hegemónica- desde donde conceptualizar la salud, el trabajo científico, el impacto de las intervenciones. Importancia de trascender la perspectiva sujeto/objeto, natural/social, cuantitativo/cualitativo hacia una visión relacional, integral y contextual.
- 44. Los actores y sectores que se impactan (o pretendemos impactar) Pareciera que buscamos impactar en políticas públicas. Sin embargo, los actores y sectores involucrados rebasan a veces nuestras expectativas. El gobierno responde solamente a cierto tipo de fuerzas Política pública desde lo público y desde el Estado
- 46. Propuestas Diseñar participativamente (con los diferentes actores/sectores) los criterios y estrategias de evaluación del impacto. Potencializar los impactos mediante calidad de la investigación y estrategias diferenciadas de difusión Crear medios adecuados: una revista, medios electrónicos, audiovisuales, radio, audiencias, conferencias, etc. Calificar y no solamente cuantificar el impacto
- 47. Establecer alianzas estratégicas, que aseguren la potencialidad de nuestras propuestas en la opinión pública y en la toma política de decisiones. Crear o utilizar redes de acción y/o movimientos sociales. Desarrollar agendas paralelas a lo reportado a nuestros financiadores. Planes estructurados por etapas sucesivas, abiertos al curso de los acontecimientos
Notas del editor
- #4: Look for commonalties and differences among the definitions.