Procedimientos para la evaluacion de programas educativos y sociales

ISSN 2007-2007
2013
1
PROCEDIMIENTOS PARA LA REALIZACIÓN DE
EVALUACIONES DE PROGRAMAS EDUCATIVOS
Y SOCIALES
Vol.3No.2enero-abril2013
PERSPECTIVA METODOLÓGICA
PROCEDIMIENTOS PARA LA REALIZACIÓN DE EVALUACIONES DE
PROGRAMAS EDUCATIVOS Y SOCIALES
Procedures for conducting educational and social program evaluation
Catalina Martínez Mediano
1
.
Resumen:
La evaluación de programas se ha constituido en un elemento esencial para la
mejora continua en los entornos educativos y de servicios públicos. En el
artículo se analizan los elementos claves para la evaluación de programas en
alguno de los más relevantes enfoques de evaluación de programas educativos
y sociales. Revisamos el modelo lógico y el modelo CIPP, además de las
normas del Joint Committee on Standards for Educational Evaluation. El
artículo ayudará a diseñar programas y planificar estrategias para conseguir los
resultados y metas que los programas persiguen, junto con planificar y realizar
evaluaciones de programas reales.
Palabras clave: Práctica de la evaluación, teoría de la evaluación, modelo
lógico, modelo CIPP, Normas del Joint Committee on Standards for Educational
Evaluation.
Abstract:
Program evaluation has become one essential element in continuous
improvement efforts in Education and Public Services environments. The article
reviewed the key elements in some of the most relevant approach to conduct
evaluations of educational and social programs. We review the logic model and
Fecha de recepción: 14 de noviembre de 2012; Fecha de aceptación: 27 de noviembre de
2012.
1
Profesora Titular del departamento de Métodos de Investigación y Diagnóstico en Educación
I. Facultad de Educación. Universidad Nacional de Educación a Distancia. Madrid. España.
Correo electrónico: cmarme@edu.uned.es.

ISSN 2007-2007
2013
2
Y SOCIALES
the CIPP model. The Joint Committee Standards are also reviewed. The article
will help to design programs and to plan the strategies to achieve the outputs
and outcomes that the programs want to address, beside to plan and conduct
real program evaluation.
Key words: Evaluation practice, evaluation theory, logic model, CIPP model,
Joint Committee on Standards for Educational Evaluation.
1. Introducción
El presente artículo tiene como finalidad profundizar en las cuestiones a
tener en cuenta para la realización de evaluaciones de programas educativos y
sociales.
La evaluación de programas se caracteriza por centrarse en conocer cómo
se aplican los programas para mejorarlos, así como las estrategias para su
aplicación y los resultados que consigue. Utiliza múltiples técnicas y enfoques
metodológicos para la valoración del propio programa en respuesta a las
necesidades que pretende atender, realizar el seguimiento de los procesos,
con medidas de las actitudes y del rendimiento, realizar estudios sobre los
efectos de los programas en los resultados, en el corto, medio y largo plazo.
Los resultados de la evaluación deben utilizarse para rediseñar los
programas y sus estrategias de aplicación, contribuyendo, de este modo, a la
mejora del programa y de las personas implicadas en él y al desarrollo de la
comunidad. Estas cuestiones ya fueron mencionadas por Lee J. Cronbach en
su artículo „Course improvement trough evaluation‟, publicado en 19631
.
La teoría de programas, junto con la teoría de la evaluación de programas,
además de las estrategias de metodología de investigación, son los elementos
fundamentales para el desarrollo de las competencias del evaluador de
programas. Estas competencias deben centrarse en el logro de los dominios
relacionados con el diseño, planificación, implementación y análisis de los
programas, la evaluación de su efectividad, eficacia, eficiencia y satisfacción

ISSN 2007-2007
2013
3
Y SOCIALES
que consiguen los programas comprometidos con la solución de necesidades y
problemas, así como en la evaluación del impacto de dichos programa en el
medio y largo plazo.
La evaluación de programas supone la recogida de información sistemática
acerca de un programa, elaborado para atender a unas necesidades, centrada
en la calidad del propio programa, en sus fundamentos, estructura y
coherencia, la planificación de su puesta en acción, considerando los recursos
personales, materiales y organizativos, el programa en su desarrollo, en los
contextos en los que se aplica, y los resultados que consigue, en el inmediato,
medio y largo plazo, con el objetivo de comprobar y valorar el grado y calidad
con que ha conseguido atender las necesidades y resolver los problemas que
eran la razón del ser del programa2
.
La información recogida, mediante indicadores de comprobación del
programa, basada en hechos y datos reales, será útil para comunicar a todos
los que tienen derecho a saber acerca de cómo ha trabajado el programa y los
resultados que ha conseguido y, así mismo, proporcionará indicaciones
precisas sobre la conveniencia de la continuidad de su aplicación y la
recomendación de su expansión, junto con los cambios y mejoras en aquéllos
aspectos que lo necesite.
Las evaluaciones deben concluir en un informe detallado en el que se
expliquen las causas por las que los programas consiguen los objetivos que se
habían propuesto, que otros no pretendidos ha conseguido, facilitando la
transferencia de los resultados a poblaciones similares bien definidas.
La evaluación de programas, aplicada en todo su alcance, se constituye en
una estrategia de aprendizaje continuo para la mejora de los programas, las
personas, las organizaciones y la sociedad en la que se desarrollan.

ISSN 2007-2007
2013
4
Y SOCIALES
2. Características de los programas
Un programa de intervención educativa y social consiste en un plan
sistemático de acción específica y expresamente desarrollado, para servir a un
grupo de objetivos de calidad, tendentes a resolver una situación problemática
o a mejorar una necesidad.
Los programas elaborados para la acción, orientados a conseguir unos
objetivos, basados en unas determinadas concepciones y principios teóricos,
pueden definirse como un marco organizativo para la realización de una acción
o serie de acciones a lo largo de un proceso, con el propósito de conseguir los
objetivos propuestos.
Todo programa se basa en una teoría para conseguir unos cambios y su
evaluación es la prueba de cómo lo consigue. Para organizar una evaluación
que proporcione pruebas fidedignas, rigurosas, válidas y fiables, el evaluador, o
evaluadores, necesitan comprender las premisas teóricas que subyacen en los
programas.
El conocimiento de las teorías y principios que deben subyacer en el diseño
y desarrollo de los programas, forma parte de la formación competente en la
evaluación de programas, dado que conocer el programa, sus objetivos y el
plan para conseguir dichos objetivos, son el primer paso para su evaluación,
siendo fundamental que después haber sido evaluado y, habiendo conseguido
las metas y objetivos que pretendía, se realice la diseminación de los
resultados y la recomendación de que dicho programa sea aplicado en otros
contextos y grupos o poblaciones con similares necesidades y problemáticas.
A lo largo de los contenidos de este tema tendremos más oportunidades
para profundizar en los elementos esenciales de los programas y sus
relaciones con la evaluación.

ISSN 2007-2007
2013
5
Y SOCIALES
3. El modelo lógico para el diseño y evaluación de programas
El modelo lógico para la elaboración y la evaluación de los programas,
desarrollado por Scriven3
quien ofrece un marco teórico y de organización para
el desarrollo y comprensión de los programas y de sus objetivos, de su
planificación y de su realización, junto con su evaluación para la comprobación
de sus resultados y logros. La elaboración, planificación y desarrollo de los
programas conducen a la consecución de unos resultados, dependientes de la
gestión del programa y de los recursos para su adecuada aplicación, y todo ello
debe ser considerado como elementos de interés en el proceso de evaluación
de un programa, debiendo quedar reflejado en el informe de la evaluación.
El enfoque lógico de programas pretende facilitar el diseño de un mapa del
programa y las acciones que debe realizar para conseguir sus metas, para
ayudar a su comprensión y evaluación (figura 1).
1 2 3 4 5 6
Programa Recursos Procesos Resultados Metas Impacto
Lo planeado Los resultados pretendidos
Figura 1. Diagrama del modelo lógico para el diseño y evaluación de programas
La descripción de la secuencia temporal desde la concepción del
programa, elaborado para atender a unas necesidades, los recursos y los
medios necesarios para su aplicación, incluidas las personas, junto con los
procesos, con la especificación de las actividades a realizar para su desarrollo
y su vinculación con los resultados que se espera que consiga el programa en
coherencia con las metas pretendidas y el impacto que de ello se deriva,
pretende resaltar la importancia relacional existente entre todos los elementos
desde el diseño hasta la valoración de su impacto.

ISSN 2007-2007
2013
6
Y SOCIALES
En el lado de lo planeado se debe incluir una descripción de todo lo
necesario para conseguir los resultados pretendidos, es decir:
1) El propio programa, diseñado para alcanzar la necesidad, o resolver el
problema, e identificar los resultados en términos de realización que
debe conseguir.
2) Los recursos o inputs, se refieren a todos los recursos que incluye el
sistema, o la organización, de personal, de gestión, de financiación y los
recursos de los que dispone la comunidad en la que se va a aplicar el
programa.
3) Los procesos, como conjunto de estrategias planificadas para la acción,
incluidas las actividades que deben realizarse para conseguir los
objetivos pretendidos, esperados, con el programa.
En el lado de los resultados el modelo diferencia entre los resultados
inmediatos y los logros de las metas como consecuencias de los resultados.
Debe especificar todo lo que el programa pretende conseguir; nos referimos a:
4) Los resultados directos de las actividades del programa, en términos de
conocimientos, habilidades, actitudes, dependiendo de cómo se hayan
desarrollado las actividades.
5) Las metas específicas, a partir de los resultados conseguidos, se
expanden en el corto plazo, y su grado de consecución consigue una
perdurabilidad, en torno a 2-4 años, siempre dependiendo de las
características del programa de que se trate.
6) El impacto o metas a medio y largo plazo, a través de los cambios
conseguidos que benefician a los participantes, a la organización y a la
comunidad, con una duración en torno a 3-5 años, dependiendo del
programa de que se trate, que es analizado mediante estudios de
satisfacción del cliente y estudios de eficiencia y efectividad.
El modelo lógico ayuda a los responsables de los programas a diferenciar el
„mérito‟ en relación con la efectividad del programa en conseguir los resultados
de su „valor‟ en el sentido amplio y largo de su impacto4
.

ISSN 2007-2007
2013
7
Y SOCIALES
Si se tiene un programa pobremente desarrollado, con recursos escasos e
inadecuada planificación de las acciones que deben realizarse para conseguir
las metas, poco se puede conseguir con la evaluación, mas que la
recomendación de mejorar la propia concepción y elaboración del programa, la
organización para su aplicación y desarrollo de los procesos, junto con la
búsqueda de recursos para que todos estos elementos puedan contribuir a
conseguir las metas pretendidas por el programa.
El enfoque lógico para el diseño y evaluación de un programa se guía por
una hipótesis, enunciada habitualmente de la siguiente forma: „Si los objetivos
del programa son realistas y plausibles de conseguir, entonces se
conseguirán‟; „Si se cuentan con los recursos necesarios para la aplicación de
programa, entonces será más factible que se aplique del modo adecuado para
que contribuya a la consecución de los objetivos pretendidos‟; „si los procesos
se realizan de modo que alcance los objetivos que se pretenden desarrollar en
toda su extensión, entonces dichos objetivos se conseguirán‟.
Compartir el conocimiento y participar en el desarrollo del programa, supone
una implicación más significativa en el compromiso con la aplicación del
programa y sin duda, contribuirá a mejorar sus resultados y su impacto.
El modelo lógico incrementa la capacidad para mejorar la recogida de datos
y estrecha las relaciones entre los recursos del programa, las actividades, los
resultados, los beneficiarios y las metas que alcanza y su impacto.
Veamos un ejemplo del enfoque lógico para la presentación de un programa
y de sus resultados pretendidos.

ISSN 2007-2007
2013
8
Y SOCIALES
„Colaboración entre padres y profesores para la mejora del rendimiento de los alumnos‟
Lo planeado Los resultados pretendidos
1 2 3 4 5 6
Programa Recursos Procesos Resultados Metas
Impacto
Formación de
padres de
alumnos de 1º
de Educación
Secundaria,
para conseguir
mejorar el
rendimiento de
sus hijos.
Objetivos del
programa y plan
de reuniones.
Metas comunes
para trabajarlas
en grupos de
padres y
profesores.
Mención de los
criterios de
evaluación del
propio
programa, de
acuerdo con los
objetivos, sus
destinatarios,
adecuación,
etc.
Equipo de
profesores y
tutores del
centro.
Padres de
alumnos.
Sala de
reuniones.
Estrategias de
dinámica de
grupos, para el
desarrollo de
los objetivos.
Búsqueda de
expertos para
alguna de las
reuniones.
Elaboración de
los
instrumentos y
procedimientos
para la
evaluación de
los procesos y
de los
resultados.
Presentación de
los objetivos y
contenidos en
cada sesión.
Debate sobre
cómo aplicar los
contenidos, y
planificar los
procedimientos
para la
consecución de
los objetivos.
Evaluación de
los logros de los
objetivos de la
sesión del día, y
los resultados
de la anterior.
Identificación de
información útil
y hechos, para
los ajustes y
mejoras del
programa, y de
los
procedimientos
para su
recogida.
Colaboración
efectiva y
eficaz entre
padres y
profesores.
Implicación de
los padres en
el seguimiento
del progreso
escolar de sus
hijos.
Apoyo de los
profesores a
los padres
para la
resolución de
determinados
conflictos en
la familia.
Apoyo de los
padres a los
profesores
para la
resolución de
conflictos en
el aula y el
centro
educativo.
Trabajo en
equipo entre
padres y
docentes para la
unificación de
criterios
educativos.
Resolución de
conflictos.
Aumento del
tiempo dedicado
a la actividad
escolar por parte
de los alumnos.
Mejora en el
rendimiento.
Mejora de las
actitudes para la
valoración mutua
de profesores y
padres.
Mejora de la
valoración de los
hijos hacia los
padres y
profesores. (y
viceversa)
Reducción
de los
conflictos en
los ámbitos
escolar,
familiar y
extraescolar.
Mejora del
compromiso
de los padres
en la
educación de
sus hijos.
Reducción
de conflictos
en el
desarrollo
de la
personalidad
de los
educandos.
Mejora de las
actitudes y
de la
motivación
para
emprender
nuevas
acciones de
colaboración
positiva.
Tabla 1. Presentación de un programa y sus resultados pretendidos, mediante el enfoque
lógico como guía para su evaluación.
El enfoque lógico para el diseño, implementación y evaluación de los
programas sugiere tener en cuenta estas tres ideas:
– Describir los programas con un lenguaje claro y específico, para que
puedan ser entendidos y evaluados. Para evaluar un programa, el

ISSN 2007-2007
2013
9
Y SOCIALES
evaluador debe conocer los principios que subyacen en dicho programa,
su planificación poder realizar el seguimiento de su aplicación y de sus
resultados, conocer lo que el programa quiere conseguir, sus metas y
objetivos y cómo quiere conseguirlo.
– Centrarse, para su aplicación, en los recursos y actividades prioritarias
del programa y en los resultados claves, con propósitos de aprendizaje
sobre el programa y su mejora.
– Elaboración de informes y desarrollo de comunicaciones para los
distintos grupos de audiencias, utilizando las estrategias de marketing
necesarias para la mejor difusión de los resultados del programa. La
argumentación sobre los „qués‟, los „cómos‟ y los „por qués‟ del éxito de
un programa deben basarse en evidencias, y el informe de la evaluación
debe reflejar, de modo específico, los pasos mediante los cuales se han
conseguido las metas del programa y el impacto pretendido.
A continuación mostramos, en la tabla 2, las relaciones entre los elementos
fundamentales de un programa, los criterios que garanticen su aplicación
exitosa, siguiendo el enfoque del modelo lógico para el diseño, implementación
y evaluación de los programas5
.
Elementos del
programa
Criterios para garantizar el
éxito del programa
Beneficios de usar el modelo lógico
para la evaluación del programa
1. Diseño del
programa y su
presentación
Definición precisa de las metas
y objetivos del programa, así
como de sus posibles efectos a
lo largo del tiempo.
Facilita comprobar las lagunas
existentes entre los principios o lógica
del programa, y ayuda a resolverlos.
2. Planificación de
su
implementación
Las metas y objetivos del
programa deben ser posibles
de conseguir.
Construye una comprensión
compartida sobre el programa en su
totalidad y como debe funcionar cada
una de sus partes.
3. Implementación
y gestión del
programa
Debe obtener información
relevante, creíble y útil sobre la
realización del programa.
Centra la atención de la gestión sobre
las relaciones más importantes entre
las acciones y los resultados.
Tabla 2. Relaciones entre los criterios para garantizar el éxito del programa y la utilización del
modelo lógico.

ISSN 2007-2007
2013
10
Y SOCIALES
Elementos del
programa
Criterios para garantizar el
éxito del programa
Beneficios de usar el modelo lógico
para la evaluación del programa
4. Evaluación
formativa
Debe poder realizarse la
evaluación continua y
formativa del programa durante
su aplicación.
Facilita la mejora del diseño del
programa, la adecuación de los
recursos para la planificación y ajustes
en la realización de los procesos.
5. Evaluación
sumativa
Debe realizar la evaluación de
los resultados del programa.
Información acerca de las metas
conseguidas tras su aplicación, acerca
de la resolución de las necesidades o
del problema que se pretendía
resolver.
6. Informes de los
resultados
Debe identificar la personas y
grupos que van a usar los
resultados de la evaluación.
Proporciona un modo de implicar y
comprometer a los responsables en el
diseño, los procesos y uso de los
resultados de la evaluación.
Tabla 2. Relaciones entre los criterios para garantizar el éxito del programa y la utilización del
modelo lógico (continuación).
El diseño del programa debe hacerse teniendo en cuenta las metas y los
objetivos que pretende atender en el programa, por lo que se recomienda
realizar el análisis de programas similares que han funcionado bien, para
identificar las mejores prácticas, así como las investigaciones sobre los mismos
con el fin de identificar las mejores estrategias para conseguir los resultados
pretendidos.
La presentación del programa, siguiendo el enfoque lógico, ofrece
oportunidades para la descripción sistemática de lo que se pretende lograr, lo
cual ayuda a su comprensión y facilita su aplicación, además de enfocarse en
las metas y en las estrategias y actividades para su logro, contribuyendo a
detectar y corregir posibles lagunas y deficiencias a tiempo.
La planificación de la implementación del programa debe centrarse en su
aplicación siguiendo el plan previsto, anticipando los indicadores para la
identificación de la información clave, junto con los procedimientos para su
recogida, de modo que ayude a priorizar los elementos críticos para orientar la
mejora y ajustes del programa.
La evaluación continua del programa durante su aplicación, en su función
de evaluación formativa, facilita la mejora del diseño del programa, la
adecuación de los recursos necesarios además de la planificación y realización

ISSN 2007-2007
2013
11
Y SOCIALES
de los procesos, así como la información acerca de las metas conseguidas tras
su aplicación.
La evaluación del éxito del programa, de sus logros, o evaluación sumativa,
descansa sobre el diseño claro del propio programa y de la afirmación de las
metas que pretende conseguir para la resolución de las necesidades o
problemas, además de la recogida de información clave, a través de la
evaluación continua durante todas las fases anteriores, integrándolas con los
resultados finales obtenidos por el programa.
El informe para la comunicación de los resultados del programa es clave
para la comprensión y funcionamiento del mismo, para el aprovechamiento de
sus resultados y para la consecución de apoyos de las autoridades para su
continuidad, en su función de evaluación como rendimiento de cuentas.
4. Cuestiones para la realización de una evaluación de programas
Para la realización de la evaluación de un programa hay que tener en
cuenta los siguientes pasos y funciones que nos ayudará a planificar la
evaluación del programa:
4.1La evaluabilidad del programa
El primer paso para saber si procede iniciar la evaluación de un programa
consiste en valorar la evaluabilidad del propio programa. Para ello es
necesario:
– Disponer del propio documento del programa, o poder elaborar una
descripción clara del mismo, con sus características, sus objetivos, el
grupo al que va destinado, su adecuación a las necesidades o
problemas que trata de resolver.
– Entrevistar al personal implicado en el programa para conocer su
disponibilidad para colaborar en la evaluación del programa.
– Explorar cómo se está aplicando el programa, analizando informes
previos, memorias de resultados anteriores, y a través del uso de

ISSN 2007-2007
2013
12
Y SOCIALES
informantes claves, representativos de las distintas sensibilidades en
relación con el programa.
– Desarrollar un diseño de evaluación del programa, incluyendo un plan
para la evaluación, especificando las técnicas y los instrumentos de
recogida de datos y los momentos de su aplicación a lo largo del periodo
de vida del programa.
– Identificar a los usuarios de los resultados de la evaluación y a sus
beneficiarios, para realizar un seguimiento de los resultados en el
inmediato y medio y largo plazo, mediante estudios de resultados y de
impacto.
– Lograr acuerdos de procedimiento con los responsables, implicados y
beneficiarios del programa.
Para poder disponer de estos seis elementos claves para la evaluación del
programa, tendremos que explicar a los responsables del mismo, e
interesados, su importancia, y tratar de que estas condiciones se den para
realizar la evaluación. Una vez que se dispone del estudio de evaluabilidad, se
puede proceder a la evaluación del programa.
4.2El objeto de la evaluación: el programa y sus componentes principales
En segundo lugar habrá que profundizar en el estudio del programa y
describir, de una manera ordenada y organizada, los componentes
fundamentales del mismo. Tendremos que comprobar cómo están definidos
sus objetivos, como está elaborado, y comprobar si existe coherencia con los
principios y teorías que lo sustentan, como se debe implicar la organización a
través de las personas y recursos, como se debe aplicar y qué debe conseguir
para que pueda ser valorado como un buen programa.
El programa debe especificar sus metas y objetivos concretos, en respuesta
a las necesidades y problemas que pretende contribuir a solucionar y a la
población a la que se dirige. Después deberá desarrollar indicadores para

ISSN 2007-2007
2013
13
Y SOCIALES
comprobar cómo se percibe, por parte de las audiencias, internas y externas, lo
que pretende conseguir, como se está desarrollando, si cumple con las
expectativas que había creado, y si satisface las necesidades que decía cubrir.
La siguiente plantilla, basada en Wholey, Hatry, y Newcomer6
, orienta para
planificar la aplicación del programa y clarificar la teoría del programa:
Figura 2. Guía para la planificación del programa.
4.3 Las audiencias a quienes se debe informar sobre la evaluación del
programa
En tercer lugar habrá que identificar a los diferentes grupos de audiencias, o
interesados en la evaluación, y la información que interesa a cada grupo en
relación con los elementos fundamentales del programa.
En la evaluación de programas, en la fase de su planificación, se debe
identificar a los diferentes grupos implicados en el programa y sus necesidades
de información. La evaluación debe ser útil a grupos específicos, por lo que los
evaluadores deben atender no sólo las demandas de quien encarga la
evaluación, sino que, por cuestiones éticas y prácticas, también a las personas
más directamente implicadas en el programa que se evalúa, recoger sus
necesidades y darle respuesta informándoles de los resultados de la
3. Resultados
deseados,
inmediatos, a
corto y largo plazo
e impacto.
1. Problema o temas a resolver
con el programa.
2. Necesidades de la
comunidad, que es la razón de
ser del programa.
4. Factores que
pueden influir en
el cambio deseado
por el programa.
5. Estrategias eficaces, o las mejores
prácticas, que han ayudado a
resolver programas similares.
6. Concepciones que subyacen a que tales
estrategias ayudaran a resolver los
problemas en su comunidad.

ISSN 2007-2007
2013
14
Y SOCIALES
evaluación, a la vez que orientándoles para ayudarles a realizar los cambios
necesarios de mejora del programa, ya sean referidos al propio programa,
como a sus recursos y personas implicadas en la aplicación y seguimiento del
programa.
Son varios los grupos que pueden promover una evaluación y que se
beneficiarían de ella:
– Los responsables del programa.
– Los que lo ponen en práctica.
– Aquellos a quienes va dirigido el programa: sus beneficiarios directos,
por ejemplo, en educación serían los alumnos, lo padres y los
profesores.
– Los siguientes niveles educativos que acogerán a los alumnos del
anterior nivel, las empresas que acogerán a los egresados formados en
ese programa.
– Las autoridades educativas y los patrocinadores y promotores de los
programas.
– La comunidad y la sociedad.
Los evaluadores deben informar a todos los implicados de por qué y para
qué se hace la evaluación, sin ocultar información relevante, dado que
dificultaría la propia evaluación y las posibilidades de que se asumieran sus
resultados, es decir, la utilidad de los resultados, para tenerlos en cuenta en
futuros planes de mejora. A cada grupo de audiencias se le debe informar de
aquellos elementos del programa con los que esté más relacionado. Por cada
audiencia y pregunta, se deben identificar los modos en que utilizará la
información de la evaluación.
4.4 Los criterios de calidad del programa
En cuarto lugar habrá que concretar los criterios de calidad del programa,
su mérito intrínseco y de cada uno de sus componentes, de acuerdo con las
teorías psicopedagógicas en las que se fundamenta.

ISSN 2007-2007
2013
15
Y SOCIALES
En esta fase se deben seleccionar y definir los criterios de calidad, tanto
referidos al propio programa como a los principios y contenidos que orientan la
acción. Los criterios fundamentales a tener en cuenta para evaluar los
programas son las metas y los objetivos concretos que persiguen, junto con las
teorías psicopedagógicas en las que se fundamentan y que ayudarán a
operativizar los objetivos para su realización práctica, con el fin de conseguir
los resultados, que es la razón de ser del programa. Todo ello orientará el
proceso de evaluación del programa.
Otros criterios a tener en cuenta en la evaluación de programas son las
exigencias legales, las exigencias de la administración educativa, las
exigencias de los promotores y patrocinadores de los programas y las
exigencias de la sociedad, que tienen derecho a saber cómo está trabajando el
programa y qué resultados consigue. Porque hay programas que se crean por
un mandato legal, con fondos públicos o con subvenciones privadas, con una
finalidad determinada, para solucionar una necesidad, y que incluye la
obligación de su evaluación e información de sus resultados. Tiene que rendir
cuentas.
En relación con los criterios de la evaluación, los evaluadores deben lograr
acuerdos con los patrocinadores o los promotores y responsables de los
programas. Clarificar los criterios de calidad con los que debe trabajar el
programa para conseguir sus objetivos es clave para la evaluación.

ISSN 2007-2007
2013
16
Y SOCIALES
4.5 Las normas de actuación para la aplicación del programa
En quinto lugar se deben especificar las normas de actuación, para que se
puedan aplicar al programa, al servicio de los criterios de calidad previamente
definidos, en cantidad y calidad suficiente.
La elaboración de las normas de actuación de los programas guarda
relación con la concreción de cómo se debe aplicar el programa para conseguir
los objetivos pretendidos para resolver las necesidades, en coherencia con los
criterios de calidad previamente determinados. También tiene que ver con la
concreción de las condiciones y los recursos necesarios para la aplicación del
programa, las personas que lo van a aplicar y quiénes serán sus beneficiarios.
De igual manera, las normas tienen que ver con los niveles a los que aspira
lograr el programa y cuáles deben ser los niveles mínimos de logro exigibles,
para que garanticen que el programa ha funcionado bien. El programa debe ser
aplicado de acuerdo con el plan previsto, especialmente en lo que se refiere a
los elementos fundamentales del mismo. Los resultados, las metas y el impacto
esperados tras la aplicación del programa deben ser específicos, medibles,
realistas y conseguibles en un plazo de tiempo fijado.
La guía para la aplicación del modelo lógico para la planificación de la
implementación del programa y los elementos para comprobar el progreso del
mismo, partiendo de los resultados inmediatos pretendidos puede
representarse en la tabla 3.

ISSN 2007-2007
2013
17
Y SOCIALES
5. Recursos 4. Actividades
1. Resultados
inmediatos
2. Metas a
largo plazo
3. Impacto
Para poder
realizar las
actividades para
conseguir lo que
pretende el
programa se
necesitan los
siguientes
recursos:
(Enumeración de
los recursos
disponibles y
factores de
influencia, para
apoyar a las
actividades del
programa).
Para conseguir
los resultados
pretendidos por
el programa
necesitamos
realizar las
siguientes
actividades:
(Descripción de
cada una de las
actividades
planificadas
necesarias para
desarrollar el
programa).
Una vez realizadas
las actividades se
producirán las
evidencias de que
el programa ha
conseguido los
siguientes
resultados
pretendidos:
(Descripción de los
resultados
pretendidos al que
conduce cada una
de las actividades
planificadas).
Si se realizan
las actividades
planeadas
conducirán a
los siguientes
cambios en un
plazo de 1-3
años:
(Descripción
de los
resultados a
largo plazo a
los que
conduce la
actividad
planificada).
Esperamos
que si se
realizan las
actividades
conducirá a
los siguientes
cambios en
un plazo de
3-4 años:
(Descripción
del impacto
que se
espera en su
comunidad
en 3-4 años).
Tabla 3. Plantilla para la implementación del programa. Tomada de W.H. Kellog Foundation
5
4.6 Cuestiones que deben guiar la comprobación de la realización del
programa
En sexto lugar, deberemos recoger información, para lo cual habrá que
seleccionar indicadores que serán incluidos en los instrumentos de recogida de
información y datos, para poder comprobar la aplicación de todo el programa
así como cada uno de los componentes fundamentales del mismo.
La recogida de información del programa debe realizarse durante todo el
proceso de vida del programa, comenzando por la propia conceptualización del
programa, seguido de los procedimientos para su puesta en práctica,
continuando por el seguimiento de su aplicación, y terminando por los
resultados inmediatos y su impacto, en el medio y largo alcance.
Para ayudar a evitar conflictos desde el inicio de la evaluación se
recomienda aclarar y comentar con las personas implicadas en el programa,
nuestra concepción de la evaluación, las funciones que cumplirá y el cómo
vamos a evaluar (incluidos tanto los métodos de investigación como los
instrumentos para la recogida de información y su posterior análisis).

ISSN 2007-2007
2013
18
Y SOCIALES
La recogida de información, en el ámbito de la educación, supone evaluar
los principios psicopedagógicos, las teorías de aprendizaje subyacentes,
conocer el plan para su aplicación en el aula, por ejemplo, mediante una
programación escolar, después evaluar las metodologías de enseñanza y
aprendizaje que se utilizan, los métodos de enseñanza de los profesores, así
como sus estilos comunicativos en la interacción con los alumnos. También las
actividades para el desarrollo del programa, el clima que predomina en el aula
y en el centro, más las características del contexto en el que se desarrolla la
actividad de enseñanza y aprendizaje.
De igual forma se deben evaluar los principios que orientan la evaluación
del aprendizaje de los alumnos, y el modo como son evaluados junto con los
rendimientos conseguidos en relación con los objetivos del programa de
estudio. Finalmente, se valorará la satisfacción de los usuarios: profesores,
alumnos, padres y la comunidad del entorno próximo.
Para la recogida de información deben elaborarse instrumentos que tengan
en cuenta las características del programa y de su aplicación, la información a
recoger en relación a dichas características, así como las necesidades de
información de las distintas audiencias. Instrumentos similares a los que se
muestra a continuación, y otros que serán estudiados con más detenimiento en
el siguiente tema de este libro, nos aportará información sobre la adecuación
entre la teoría del programa y las estrategias para la acción.
Criterios de calidad de la teoría para la acción Sí
No
aún
Comentarios/
Revisiones
1. Las principales actividades que necesita implementar el
programa están enumeradas.
2. Las actividades están claramente relacionadas con la
teoría especificada del programa.
3. Los principales recursos necesarios para implementar el
programa están descritos
4. Los recursos son coherentes con las necesidades del
programa.
5. Todas las actividades cuentan con suficientes y
adecuados recursos.
Tabla 4. Lista de claves de control con indicadores para comprobar la teoría en la acción.

ISSN 2007-2007
2013
19
Y SOCIALES
Para Rossi y Freeman7
, unos de los autores que más han escrito sobre
evaluación, para realizar el análisis y valoración de los programas, la
evaluación debe centrarse en recoger información sobre los siguientes
elementos:
1. La conceptualización y el diseño del programa, en coherencia con los
objetivos para los que se ha elaborado, para afrontar los problemas y
necesidades que trata de resolver.
Los objetivos deben estar suficientemente bien articulados para hacer
posible su identificación y medición mediante indicadores. Si un
programa no tiene sus objetivos bien definidos, el evaluador deberá ser
capaz de identificarlos, en colaboración con los responsables del
programa y de quienes lo aplican.
2. La implementación del programa, mediante el seguimiento y análisis de
su aplicación, de su interacción en el medio, con el fin de recoger
evidencias sobre los procedimientos de su puesta en práctica.
El programa ha debido ser implementado durante el tiempo suficiente
para que haya podido logar los efectos pretendidos, y no se den dudas
de que los elementos críticos en relación con los objetivos han sido
realizados. De otro modo, si la aplicación del programa tiene poco que
ver con lo que pretende conseguir, estaremos evaluando otra cosa, pero
no el programa.
3. La utilidad del programa, que incluye los efectos del programa
inmediatos de su impacto, en el medio y largo plazo, en términos de
eficacia, eficiencia y satisfacción, entendido como la relación entre lo
pretendido y lo conseguido, los costos para lograrlo y el grado de
cumplimiento de las necesidades para las que se había elaborado el
programa.
Por ello, además de la comprobación de la adecuación del programa en
sí, para abordar los problemas que pretende resolver, es importante
realizar la función de seguimiento de la aplicación del programa, o
monitoreo, teniendo por objeto resolver dos interrogantes principales,

ISSN 2007-2007
2013
20
Y SOCIALES
primero, si el programa alcanza o no a la población objeto
adecuadamente y, segundo, si la realización de los procesos es
congruente o no con las especificaciones de los objetivos y del diseño
del programa. La monitorización en las evaluaciones es una ayuda
necesaria para valorar su repercusión, pues los errores en el programa a
menudo se deben a las ejecuciones incompletas o defectuosas de las
intervenciones, más que a la ineficacia del propio programa.
La valoración del programa, en su conceptualización y en su puesta en
acción, debe preceder a la evaluación de sus resultados y de su impacto, o
concurrir con ella. La monitorización de las realizaciones, para la recogida de
información, debe ser la base para la valoración de la utilidad de los
programas, dado que aporta información de primera magnitud en la decisión de
continuar, ampliar o terminar los programas en curso7
.
Otros autores, como Scriven3
, utilizan la evaluación formativa, como
recogida de información para ayudar a la mejora del programa y aportar
información para la evaluación sumativa, para probar si el programa ha
funcionado del modo en que se había planeado y si consigue los resultados
pretendidos. Ambos tipos de evaluaciones aportan información sobre el grado
en que el programa ha logrado los resultados esperados y proporciona una
información valiosa para compartir con los implicados en el programa.
Veamos las aportaciones de estos dos tipos de evaluación formativa y
sumativa.

ISSN 2007-2007
2013
21
Y SOCIALES
La evaluación de programas
Aportaciones de la evaluación formativa Aportaciones de la evaluación sumativa
Para mejorar la calidad del programa.
Proporciona información que puede ser
compartida rápidamente por aquéllos que
están aplicando el programa. Genera informes
periódicos.
Para probar la calidad del programa.
Proporciona información que puede ser
utilizada para demostrar a los patrocinados y a
la comunidad los resultados del programa.
Se centra principalmente en las actividades
del programa, los resultados, las metas a corto
plazo, con propósitos de supervisar el
progreso y hacer correcciones durante el
curso del programa, cuando se necesite.
Se centra principalmente en los resultados
inmediatos del programa y en su impacto. Si
bien los datos pueden ser recogidos a lo largo
de la vida del programa, su propósito es
determinar el valor y el mérito del programa
centrándose en los resultados.
Ayuda a aportar sugerencias para la mejora
del programa y su aplicación, y para informar
al personal que lo aplica.
Ayuda en la descripción de la calidad y de la
eficacia del programa mediante la
documentación de su impacto sobre los
participantes y la comunidad.
Tabla 5. Beneficios de la evaluación formativa y la evaluación sumativa para la evaluación
de programas.
Las evaluaciones del desarrollo de un programa en la acción informan a
quienes tienen que tomar decisiones sobre cómo ha sido desarrollado el
programa y cómo y por qué, si fuera el caso, se ha desviado de los planes
iniciales y de sus expectativas. Tales desviaciones son bastante comunes y
naturales, así como esenciales de conocer para considerar el grado en que su
incidencia repercute en los resultados.
Y el modelo CIPP de Stufflebeam y Shinkfield8
contempla cuatro tipos de
evaluación, recogidos en las siglas del CIPP.
– La evaluación del contexto en el que se desarrolla el programa, para
valorar las fortalezas o debilidades, y con ello aconsejar los cambios que
deben ser realizados para lograr mejores resultados.
– La evaluación de entrada, para valorar los diferentes modos de
proporcionar los servicios que pretende ofrecer el programa, atendiendo
a las necesidades de las personas, asegurando los recursos financieros
para conseguir las metas pretendidas.

ISSN 2007-2007
2013
22
Y SOCIALES
– La evaluación de proceso, para valorar cómo está funcionando el
programa, proporcionando apoyo y formación al personal, para llevar a
cabo las actividades planeadas necesarias.
– La evaluación del producto, o de resultados, para valorar e informar de
los resultados conseguidos por el programa.
A lo largo del proceso evolutivo, el modelo CIPP se guía por valores de
equidad y justicia, lo que facilita la participación de las personas que reciben los
servicios el programa, y de todos a los que les afectan los cambios del
programa.
Una de las fortalezas añadidas del modelo CIPP es que se guía por
principios éticos y profesionales, tal como quedan establecidos en las Normas
del Joint Committee on Standards for Educational Evaluation9
. Este modelo,
además, potencia la comunicación de los resultados, el feedback para todos los
afectados o implicados en el programa durante los procesos de evaluación,
contribuyendo a su empoderamiento, lo que lleva a un incremento de la
motivación y, a su vez, a la mejora del compromiso y de los resultados10
.
4.7 Metodologías de investigación en la evaluación e programas
Si la puesta en marcha de un programa se caracteriza por un proceso de
adaptación a las condiciones reales, necesidades e intereses, los métodos
utilizados para estudiar esa aplicación deben estar orientados al
descubrimiento, tratando de comprender los procesos desarrollados y los
cambios producidos por el programa. Y es que la elección de los métodos en la
investigación científica debe estar guiada por las cuestiones y propósitos que
pretende resolver la investigación.
La utilización de diseños de grupo para la evaluación de los resultados y del
impacto, con fines de inferencia causal generalizada, es uno de los muchos
modelos que han mostrado su utilidad para estudiar problemas educativos y
sociales. Los diseños de grupo es una modalidad de investigación

ISSN 2007-2007
2013
23
Y SOCIALES
recomendable especialmente para la evaluación de programas innovadores,
pero hay que tener en mente que se debe contar con múltiples medidas previas
y posteriores, que permitan la utilización de muestras suficientes para
garantizar la validez interna y externa.
Otros modelos son aquellos que utilizan metodologías mixtas, a lo largo de
la vida de los programas en los entornos concretos en los que se desarrollan,
utilizando métodos descriptivos adecuados en sus primeros estadios de la
adopción e implementación del programa, seguidos de diseños experimentales,
o cuasi-experimentales, en subsiguientes estadios. Lo que predomina en la
evaluación de programas, son diseños contextualizados y sistematizados,
adaptados a los diferentes estadios del programa y a su duración en el tiempo,
utilizando múltiples métodos de investigación guiados por el propósito y
evolución del estadio del programa11
.
Para Patton12
el propósito de la investigación evaluativa es informar a la
acción, apoyar la toma de decisiones y aplicar el conocimiento para resolver
problemas humanos y sociales, cuando este examen es realizado de manera
sistemática-empírica mediante una cuidadosa recogida de datos y análisis
rigurosos, se está realizando investigación evaluativa.
La investigación evaluativa es directamente pertinente para comprobar los
programas educativos o sociales en la acción, caracterizadas por su
complejidad y duración, así como las situaciones del medio que los rodea,
orientada a la toma de decisiones de cambio y mejora, con propósitos,
audiencias y condiciones de trabajo diferentes de los que utiliza la investigación
orientada a las conclusiones.
Por definición y consenso en la profesión, la investigación evaluativa no sólo
debe ser realizada con rigor y métodos de investigación adecuados, ya sean
cualitativos o cuantitativos, sino que también con sentido de la responsabilidad
y servicio hacia los futuros usuarios de la información (véanse las normas de
utilidad, y las de propiedad del Joint Conmmittee Standards9
).
Identificar las necesidades de información de los responsables de los
programas, documentar y analizar los contextos en los que se desarrollan,

ISSN 2007-2007
2013
24
Y SOCIALES
revelar la teoría subyacente del programa para iluminar las variables claves y
sus relaciones, examinar la consistencia y autenticidad de los procesos de
realización de los programas frente a la teoría del programa, proporcionar a los
responsables información a tiempo para modelar y mejorar el programa en sus
incipientes estadios, realizar estudios de resultados y de impacto, y realizar
estudios controlados de análisis de impacto, son algunas de las características
de evaluaciones bien realizadas.
En la tabla 7 que se muestra a continuación, se recogen los posibles
métodos y técnicas para la recogida de información en la realización de la
evaluación de programas.
LA RECOGIDA DE INFORMACIÓN EN LA EVALUACIÓN DE PROGRAMAS
COMPONENTES
DEL PROGRAMA
DIMENSIONES OBJETO FINALIDAD
ANÁLISIS DE
NECESIDADES
- El contexto
- Las personas y
sus contextos
- Resultados de evaluaciones
previas
- Lectura de informes, memorias
- Realización de encuestas,
entrevistas, observaciones
EL PROGRAMA
EN SU
CONCEPTUA-
LIZACIÓN Y
ESTRUCTURA
- Calidad de sus
metas, su
organización y
desarrollo, en
relación con las
necesidades a
resolver.
- Principios y
teorías
- Metas
- Contenido
- Estructura
- Viabilidad
- Análisis de la conceptualización,
estructura y contenido del
programa.
- Comparación con otros
programas que han sido
eficaces, en condiciones y
problemas similares.
PLANIFICACIÓN
DE LA PUESTA EN
ACCIÓN
- Contexto,
- Recursos,
- Estrategias para
su aplicación
- Estrategias
- Actividades
- Clima
- Criterios
- Referencias
- Análisis de los recursos del
contexto
- Evaluación de la planificación
- Evaluación de los recursos
- Comparación con criterios de
calidad para la implementación
de programas
ANÁLISIS DE LOS
PROCESOS
- Clima
- Medida logros
- Valoración
- Constatación
- Criterios
- Referencias
- Evaluación de los ritmos del
programa, de la participación y
satisfacción (observación,
cuestionarios, entrevistas…).
Tabla 7. Guía para la evaluación de un programa. Tomado de Martínez-Mediano
13

ISSN 2007-2007
2013
25
Y SOCIALES
LA RECOGIDA DE INFORMACIÓN EN LA EVALUACIÓN DE PROGRAMAS
COMPONENTES
DEL PROGRAMA
DIMENSIONES OBJETO FINALIDAD
ANÁLISIS DE LOS
RESULTADOS Y
DE SU IMPACTO
- Inmediatos
- Impacto a medio
y largo plazo
- Satisfacción de
las necesidades
- Continuidad
- Cambio y
mejoras
- Terminación
- Comparación con criterios de
calidad
- Efectos de programa, positivos
y negativos
- Evaluación de logros en
coherencia con los criterios
- Evaluación de la satisfacción
- Diseños de investigación cuasi-
experimental
- Análisis de coste-beneficio y de
efectividad
PROPUESTAS
DE MEJORA
- Decisiones sobre
los distintos
elementos del
programa
- Programa
- Personas
- Contextos
- Recursos
- Informe y propuestas de
mejoras
- Planificación de su aplicación y
seguimiento
Tabla 7. Guía para la evaluación de un programa (Continuación). Tomado de Martínez-
Mediano
13
En relación con los resultados, la evaluación de programas utiliza cuatro
criterios fundamentales para valorarlos: el de funcionalidad o efectividad, el de
eficiencia, el de eficacia y el de satisfacción. Un programa se considera que es
funcional, o efectivo, si responde a las necesidades, o demandas políticas y
sociales, para las que se ha elaborado. Es eficaz en la medida en que consigue
los objetivos que afirma pretender conseguir. Y es eficiente, en la media en que
consigue los objetivos pretendidos en una relación coste-beneficio adecuado. Y
es satisfactorio si alcanza las expectativas creadas para sus beneficiarios.
Además de los resultados inmediatos conseguidos por el programa,
debemos considerar su impacto en el medio y largo plazo.
La evaluación del impacto de un programa, efectivamente, tiene que ver con
los resultados alcanzados por dicho programa, estos dependerán, a su vez, de
todo lo que le precede: las necesidades o problema a resolver, el programa
diseñado para tal fin, su calidad, su aplicación, y sus resultados.
Los resultados obtenidos deben compararse con la situación de partida y
los cambios producidos como efecto de la intervención del programa.
Finalmente, el impacto tiene que ver con la situación inicial o de partida, con los

ISSN 2007-2007
2013
26
Y SOCIALES
resultados inmediatos conseguidos por el programa, y con los resultados
mantenidos, extendidos, transferidos más allá del momento temporal en el que
acaba el programa, y más allá de la situación en la que pretendía incidir el
programa, en el entendido de que todos los cambios pretendidos, que pueden
considerarse como los cambios directos como resultado de la intervención del
programa, a su vez contribuyen o generan otros cambios indirectos, o de
segundo orden, deseados o pretendidos, pero también no deseados, sean
estos positivos o negativos, y son estos últimos resultados de segundo orden,
el objeto de la evaluación de impacto.
4.8 Elaboración de los informes de la evaluación de programas
La finalidad de los informes es comunicar los resultados de la evaluación
del programa atendiendo a las diferentes necesidades de información de los
diversos grupos de audiencias. El informe detallado debe integrar la valoración
de la totalidad del programa, de modo que sirva como documento para la
retroalimentación, para la mejora del programa en aquéllos componentes y
elementos que más lo necesite, además de las personas implicadas en él.
Tras el proceso de comparación entre los criterios, las normas y el
funcionamiento real del programa, se deben integrar los resultados en un juicio
de valor final, que sirva de retroalimentación para la mejora del programa, de
su funcionamiento y de las personas implicadas en él.
Dado que los evaluadores deben informar a todos los grupos interesados en
saber, el informe no debe limitarse a un único estilo de comunicación. La
información evaluativa debe aportar conocimiento, enseñanza sobre las
concepciones de los problemas sociales y sobre la teoría implícita de los
programas. Por eso, los informes de evaluación deben mostrar:
– Las cuestiones que han aconsejado la evaluación,
– Los procesos seguidos para realizar la evaluación,
– Las fuentes de donde toman sus datos en los diferentes momentos de la
evaluación,

ISSN 2007-2007
2013
27
Y SOCIALES
– Los métodos, técnicas e instrumentos utilizados, de acuerdo con el
objetivo y la dimensión a evaluar,
– Los criterios con los que se comparan los programas, su funcionamiento
y sus resultados,
– Los criterios en los que se basa que le llevan a emitir los juicios
valorativos sobre el programa, su implementación y sus logros,
– Las recomendaciones que se derivan de la evaluación,
– El plan para incorporar las recomendaciones al programa, e indicaciones
para el seguimiento de su puesta en práctica.
4.9 La utilización de los resultados de la evaluación
Orientaciones para la utilización de la información resultante de la
evaluación, en relación con cada uno de los elementos que integran el
programa, y con su totalidad.
La evaluación no es sólo una actividad técnica sino que es también, una
investigación diseñada para dirigir el proceso de formación de la comunidad en
la que se enmarca. Por ello, el evaluador debe ser consciente de que los
resultados de la evaluación deben ser comunicados a todos los que tienen
derecho a conocerlos, y debe llegar allí adónde se toman las decisiones, de un
modo adecuado y a tiempo.
Los resultados de las evaluaciones tienen como finalidad contribuir a la
toma de decisiones de cambio y mejora de los programas, de la organización
en la que se desarrolla, del personal que los aplica y de los que se benefician
de ellos. Pero sólo repercutirá en el proceso de toma de decisiones si resulta
una información convincente, coherente, adecuada y oportuna tanto al
programa como al contexto, teniendo en cuenta los recursos necesarios para
poder llevar a cabo las reformas del programa así como los cambios
organizativos y formativos que de la evaluación se deriven.
La información evaluativa debe aportar nuevas luces sobre las
concepciones y la propia teoría implícita de las actividades de los programas.

ISSN 2007-2007
2013
28
Y SOCIALES
Debe informar a los que le han encargado la evaluación, y a todos los que
intervienen en el programa, cómo trabaja el programa y cómo mejorarlo, en
función de los cometidos para los que se creó y las necesidades actuales y
futuras detectadas.
Entre las variables que afectan a la utilización de los resultados de las
evaluaciones, Leviton y Hughes14
mencionan las siguientes:
– La pertinencia,
– La comunicación entre los evaluadores y los implicados en el programa,
– El proceso de información de los implicados en el programa,
– La factibilidad de los resultados de la evaluación,
– La participación de los implicados en el programa.
Los resultados de las investigaciones evaluativas –evaluaciones hechas con
rigor fundamentadas en la teoría y en la metodología-, tienen repercusiones de
tipo conceptual, persuasiva e instrumental.
La repercusión conceptual hace referencia al poder de las evaluaciones
para influir en el pensamiento de los que deben utilizar sus conclusiones, de
modo que contribuya a la mejora del desarrollo los programas y de la política y
estrategias para implementarlos, debiendo repercutir de una manera directa y
positiva en sus beneficiarios, tanto internos como externos y con impacto
importante sobre la comunidad.
La utilidad persuasiva de los hallazgos de la evaluación tiene que ver con
los argumentos utilizados en la exposición de los resultados, con un claro
esfuerzo por defender su utilidad, y las ventajas que ello supone para la
comunidad.
Para incrementar la utilidad instrumental de los resultados de una
evaluación, se requiere tener en cuenta las siguientes normas:
1ª. El evaluador debe comprender los estilos cognitivos de los que toman
las decisiones para presentar el informe de los resultados acorde con
dichos estilos.

ISSN 2007-2007
2013
29
Y SOCIALES
2ª. Las evaluaciones deben respetar las obligaciones y los compromisos de
los patrocinadores permitiéndoles un margen de participación en el
proceso del diseño de la evaluación, recogiendo sus intereses y
sensibilidades.
3ª. Los resultados de la evaluación deben estar disponibles cuando se
necesitan. Por ejemplo, en un centro educativo, los resultados deberían
estar disponibles antes de finalizar el curso, para poder informar al
consejo escolar y poder tomar decisiones antes del comienzo del nuevo
curso, tanto por parte de la organización del centro como por parte de
los equipos docentes.
4ª. Las recomendaciones para la utilización y la diseminación de los
resultados de las evaluaciones deben estar incluidas en los diseños de
la evaluación, de modo que facilite su aplicación a los usuarios de los
programas.
Dado que la utilización de los resultados de la evaluación requieren difusión,
esta es una responsabilidad de los investigadores evaluativos. A los que
encargan de la evaluación, que son los clientes principales, se les debe
proporcionar el informe de los resultados, junto con las propuestas de cambio y
mejora, teniendo en cuenta quiénes van a llevarlas a cabo, así como los
recursos formativos y de otro tipo que se requieren para que las propuestas
tengan éxito.
No obstante, el evaluador también debe ser un diseminador de la
información, de varios modos: mediante la publicación de informes técnicos
especiales para evaluadores y para la presentación en foros de interés para la
evaluación.
4.10 Las normas de la evaluación y la meta-evaluación
Las normas del Joint Committee on Standards for Evaluations of
Educational Programs, publicadas en Estados Unidos en 198115
, bajo la

ISSN 2007-2007
2013
30
Y SOCIALES
coordinación de Sttufflebeam, nacieron con la finalidad de servir de ayuda a los
profesionales de la evaluación, con la idea de que mediante su utilización
mejorarán la calidad y claridad de su práctica profesional.
El total de las normas o estándares es 30, y se agrupan en torno a las
siguientes cuatro categorías:
– Normas de utilidad: dirigidas a asegurar que una evaluación servirá a las
necesidades de información práctica de las audiencias y posibles
usuarios. Estas normas tienen que ver con la identificación y formulación
de las cuestiones para la evaluación centrada en cuestiones relevantes
atendiendo las necesidades de información de los promotores de la
evaluación y los usuarios y beneficiarios. Los estándares de utilidad
guiarán la evaluación de tal forma que ésta sea utilizable, clara, y los
informes lleguen a tiempo para los promotores y audiencias, oportuna y
de influencia. La evaluación de impacto también está contemplado bajo
los estándares de utilidad.
– Normas de viabilidad: dirigidas a asegurar que una evaluación esté
diseñada y conducida de tal modo que sea realista, prudente,
diplomática, y ajustada frugal en relación con el coste-beneficio. Una
evaluación debe ser viable, factible, y asegurar que es realista y
eficiente. Debe utilizar procedimientos eficientes que no ocasionen
demasiados problemas. Los estándares de viabilidad reconocen que las
evaluaciones se realizan en contextos naturales, sus diseños deben ser
operativos y sus gastos, en material, personal o tiempo, no deben
exceder al requerido por las cuestiones de la evaluación.
– Normas de adecuación: Para asegurar que es conducida de un modo
legal y éticamente, basada en compromisos explícitos, que aseguren la
necesaria cooperación, la protección de los grupos implicados, y la
honestidad de los resultados. Se espera que las normas de honradez, o
adecuación, aseguren que una evaluación se dirigirá legal y éticamente,
y beneficie al bienestar de aquéllos involucrados en la evaluación, así

ISSN 2007-2007
2013
31
Y SOCIALES
como la de los afectados por sus resultados. Esta son las normas de
adecuación u honradez.
– Normas de exactitud: Para asegurar que revela y comunica la
información encontrada, describe con claridad el objeto evaluado en su
evolución y en su contexto, revela las virtudes y defectos del plan de
evaluación, de los procedimientos y de las conclusiones (meta-
evaluación) y proporciona conclusiones válidas y fidedignas. Las
conclusiones y los juicios deben ser coherentes con los datos. Se espera
que las normas de exactitud aseguren que la evaluación revelará y
aportará la información técnicamente adecuada sobre los rasgos que
determinan el valor o mérito del programa evaluado.
La propia evaluación debe ser evaluada (metaevaluación) formativa y
sumativamente mediante su comparación contraste con estas y otras
normas pertinentes, para que su realización sea apropiadamente guiada
y los interesados pueden examinar sus fortalezas y debilidades
estrechamente. "El objetivo de la metaevaluación es asegurar la calidad
de los servicios evaluativos, evitar enfrentarse a prácticas ilegales o a
servicios que no son de interés público, señalar el camino para el
perfeccionamiento de la profesión y promover una mayor comprensión
de la empresa evaluativa"16
.
La utilización de las normas del „Joint Committee on standards for
evaluation’9
, cumple la función de meta-evaluación para asegurar que la
evaluación ha sido viable, útil y realizada de manera honrada y precisa.
5. Referencias bibliográficas
1. Cronbach LJ. "Course improvement trough evaluation". Teachers
College Record. 1963; 64: 672-83.
2. Martínez Mediano C. Evaluación de programas educativos. Modelos y
procedimientos. Madrid: UNED; 2007.
3. Scriven M. The logic of evaluation. Inverness, California: Edgepress;
1980.

ISSN 2007-2007
2013
32
Y SOCIALES
4. Mclaughlin JA & Jordan GB. Using Logic models. In JS Wholey, HP
Hatry, & KE Newcomber (Eds.), Handbook on practical program
evaluation. (2nd
. Ed., pp. 7-32). Hoboken, New Jersey: John Wiley &
Sons; 2004
5. W.H. Kellogg Foundation. Using logic models to bring together planning,
evaluation, and action: Logic model development guide. Battel Creek,
Michigan; 2004.
6. Wholey JS, Hatry HP & Newcomber KE. (Eds.). Handbook of practical
program evaluation. San Francisco: Jossey-Bass Publishers; 1994.
7. Rossi PH y Freeman HE. Evaluación. Un enfoque sistemático para
programas sociales. México: Trillas; 1989.
8. Stufflebeam DL y Shinkfield AJ. CIPP model for evaluation: An
improvement/accountability approach. In D Stufflebeam (Ed.),
Evaluation, theory, and applications (pp. 325-365). San Francisco:
Jossey-Bass; 2007.
9. Joint Committee on Standars for Educational Evaluation Normas de
evaluación para programas, proyectos y material educativo. México:
Trillas; 1994.
10.Leahy MJ, Thielsen VA, Millington MJ, Austin B & Fleming A. Quality
assurance and program evaluation: Terms, models, and applications.
Journal of Rehabilitation Administration. 2009; 33(2): 69-82.
11.Chatterji M. Evidence on “what works”: An argument for extended-term
mixed-method (ETMM) evaluation designs. Educational Researcher.
2004; 33(9): 3-13.
12.Patton MQ. Qualitative evaluation and research methods. Newbury Park,
California: Sage; 1990.
13.Martínez Mediano C. Evaluación de programas educativos. Modelos y
procedimientos. Madrid: UNED; 2007.
14.Leviton LC Y Hughes EFX. "Research on the utilization of evaluations: A
review and synthesis". Evaluation Review. 1981; 5: 525-548.

ISSN 2007-2007
2013
33
Y SOCIALES
15.Joint Committee on Standards for Educational Evaluation Standards for
evaluation of educational programs, projects and materials. New York:
McGraw-Hill; 1981.
16.Stufflebeam DL y Shinkfield AJ. Evaluación sistemática. Guía teórica y
práctica. Madrid: Paidós, MEC; 1987.

ISSN 2007-2007
2013
34
Y SOCIALES
Forma sugerida de citar: Martínez Mediano C. Procedimientos para la realización de evaluaciones de programas
educativos y sociales. Revista Electrónica Medicina, Salud y Sociedad. [Serie en internet] 2013 enero [citado enero
2013];3(2); [aprox. 33 p.]. Disponible en: http://www.medicinasaludysociedad.com.

Procedimientos para la evaluacion de programas educativos y sociales

Más contenido relacionado

La actualidad más candente (20)

Similar a Procedimientos para la evaluacion de programas educativos y sociales (20)

Más de alezperez (10)

Último (20)

Procedimientos para la evaluacion de programas educativos y sociales