Presentación Evaluación PyP

Aproximaciones y modelos en la evaluación de programas
Sobre la intervención
Conceptos básicos
Aproximación
Enfoque
Perspectiva
Modelo
Método o estrategia usado para alcanzar el objetivo de la evaluación
Responde a la pregunta: ¿Qué es lo que nos interesa examinar del objeto de evaluación? Un momento del ciclo de vida de la iniciativa, un proceso, un componente o un agente interesado...
Una forma particular de ver y analizar los eventos, las situaciones o el objeto de evaluación
Parte de la teoría para soportar la relación entre conceptos, entre procesos o entre variables que se usan como marco de referencia de la evaluación.
Teoría
Conjunto de principios interrelacionados lógicamente que se proponen para describir, explicar o predecir un fenómeno.
Enfoques de la evaluación
Componentes
Ciclo de vida
Contexto (variables socioculturales)
Tipo de organización u organizaciones de las cuales se deriva (la intervención está en varias sedes)
Tipo de intervención (objetivo)
Grupos de interés (miembros de la organización y usuarios de la intervención)
Eval. Prospectiva
Eval. de la evaluabilidad
Eval. basada en metas
Eval. sin tener en cuenta las metas
Eval. en sitios múltiples
Eval. de conjunto
Eval. social
Eval. ambiental y social
Eval. participativa
Eval. Cartografía de los efectos directos
Eval. rápida
Síntesis de evaluación y metaevaluación
Otros enfoques
Objetivo. Intentar analizar la probabilidad de éxito de la iniciativa, predecir su costo y analizar propuestas y proyecciones alternativas
Actividades
1. Análisis contextual de la iniciativa2. Revisión de estudios de evaluación sobre iniciativas similares, síntesis de los hallazgos y enseñanzas del pasado.3. Análisis productivo del éxito o el fracaso probable, dado un contexto futuro no muy distinto del presente
Es una herramienta de planeación
Objetivos
Llevar a cabo un estudio preliminar sobre la utilidad y factibilidad de una evaluación
Permite: clarificar metas de la iniciativa, determinar la información disponible, detectar vacíos, grupos de interes y efectos directos deseados. Ahorra tiempo y evita errores costoso.
Actvidades
1. Identificar las fuentes de datos2. Revisar materiales para definir y describir la intervención 3. Identificar modificaciones necesarias para la intervención4. Entrevistar a las partes interesadas sobre su percepción de las metas y los objetivos de la intervención 5. Desarrollar o refinar un modelo de la teoría ha emplear
Objetivo
Medir el grado en el cual una intervención logra objetivos claros y específicos (Críticas: suele dejar de lado los aspectos sociales y humanos, solo reconoce los objetivos inicialmente declarados y no busca efectos no previstos)
Evalúan sólo los efectos directos observables y los documentables en relación con las necesidades de los participantes. Se centra en la realidad de lo que sucedió con la intervención.
ObjetivoDeterminar el grado al cual se satisfacen las necesidades de los participantes, independientemente del cumplimiento de los objetivos.
Útil cuando se trata de muestra grande y un conjunto diverso de situaciones donde se desarrolló la intervención.
El evaluador debe asegurarse de recopilar los datos de forma estándar.
Requiere de mucha participación de parte de las partes interesadas.
Objetivos
Suministrar información sobre la experiencia de la intervención.
Genera un conocimiento más profundo de las variaciones que ocurrieron con la intervención acorde con los sitios.
Características
1. El evaluador evita conocer los objetivos del programa. 2. No se permite que objetivos predeterminados definan el foco del estudio de 
evaluación. 3. El evaluador tiene un contacto mínimo con el administrador de la iniciativa y el 
personal. 4. El foco se sitúa en los efectos directos reales del programa y no en los deseados.
Responde a preguntas como:¿Qué características de la implementación de la intervención son comunes a todas las ubicaciones? ¿Qué características varían y por qué? ¿Las diferencias en los efectos guardan relación con las variaciones?
Se concentra en las intervenciones que comparten una misión, una estrategia y una población objetivo común. Se trata de un grupo de intervenciones desarrolladas en uno o más entornos.
No evalúa el éxito o fracaso de las intervenciones individuales ni pretende saber si se puede generalizar resultados o replicar las intervenciones. La variación es positiva porque la intervención se ajusta a un contexto particular.
Objetivo
Aprender sobre lo ocurrido en los grupos y verificar temas comunes y enseñanzas.
Desventaja. No presentan efectos directos para los sitios individuales (los datos sólo muestran información agregada).
Es el principal instrumento para garantizar que se tengan en cuenta los impactos sociales de las intervenciones (centradas en desarrollo)
Buscan establecer si es probable que una iniciativa cause impacto social adverso.
Fines de la evaluación social
1. Identificar las principales partes interesadas y establecer un marco apropiado para su participación en la selección, diseño y ejecución de la iniciativa. 2. Asegurar que los objetivos del proyecto y los incentivos para el cambio sean aceptables para la variedad de personas que se espera beneficiar, y que se reflejen las diferencias de género y otras diferencias sociales en el diseño de la iniciativa. 3. Evaluar el impacto social de las iniciativas de inversión, donde se identifiquen impactos adversos, determinar cómo pueden superarse o al menos mitigarse en forma sustancial. 4. Desarrollar la capacidad para resolver conflictos, incrementar la participación, permitir la prestación del o los servicios, y adoptar medidas de mitigación según sea necesario. 

Evaluar el impacto ambiental y social puede ser el fin último de la evaluación o un componente de la misma.
Si una organización carece de estándares ambientales y sociales, los evaluadores pueden usar los estándares del país en donde funciona la organización. Algunas fuentes de consulta son: Equator Principles, ISO 14031 (https://www.iso.org/obp/ui#iso:std:iso:14031:ed-2:v1:es) y el libro Sustainable Development Strategies: A Resource Book (Dalal-Clayton y Ba, 2002).
La evaluación se construye de forma conjunta.
La evaluación es una herramienta de aprendizaje, un proceso de responsabilidad compartida (Gariba, 1998)
Las responsabilidades de planear, implementar e informar se comparten con todas las partes interesadas que contribuyen a definir preguntas para la evaluación, recopilar y analizar datos, así como delinear y revisar el informe.
Los lineamientos para la recopilación de datos se desarrollan y evolucionan a través del consenso, la reflexión, el diálogo y la experiencia.
Ampliamente usado para evaluar proyectos de desarrollo, sobre todo iniciativas comunitarias.
Se centra en el cambio del comportamiento
Los participantes interactúan con la iniciativa, se establecen relaciones en que las interacciones operan desde diferentes sistemas lógicos y de responsabilidad
Útil como herramienta de evaluación al final de un programa o cuando el propósito de la evaluación es estudiar el progama como un todo
Útil para examinar procesos no impactos.
Es una evaluación de corto alcance
Demanda menos tiempo y menos inversión económica
Requiere de un equipo de evaluadores para llevar a cabo la evaluación en el campo.
Indentificar personas con experiencias y perspectivas variadas para entrevistarlas.
Establecer grupos pequeños
Usar diversas fuentes de información (mayor credibilidad)
Contrastar la información de las entrevistas con estudios e informes previos, para analizar la consistencia (a mayor consistencia, mayor confianza)
El evaluador requiere tener en cuenta:
1. Revisar datos secundarios antes de hacer las visitas de campo. 2. Una vez en el campo, observar, escuchar, preguntar y registrar. 3. Mantener buenas anotaciones durante todo el proceso; las buenas anotaciones no solamente son esenciales para el informe, sino que también contribuyen a darle sentido a la información recopilada por los distintos integrantes del equipo. 

Enfoque donde el evaluador examina distintas intervenciones dirigidas a un problema o un asunto similar para identificar características comunes.
Útil para estimar el impacto de una intervención.
Implica menos costos porque toma investigaciones disponibles.
Una síntesis de evaluación debería incluir lo siguiente:
1. Procedimientos claros
2. Criterios transparentes de calidad (inclusión/exclusión de evaluaciones)
3. Procedimientos claros para aplicar los criterios de calidad (a menudo realizados por un panel y no por un individuo).
4. Citas de todas las evaluaciones revisadas.
5. Descripciones de cada evaluación incluida en la síntesis y los hallazgos sobre los problemas o variables de interés.
6. Declaración de los vacíos o limitaciones de la síntesis. 

Suelen ser en general variaciones del enfoque de evaluación participativa
Eval. centrada en el uso
Eval. para el empoderamiento
Eval. realista
Eval. incluyente
Eval. centrada en los beneficiarios
Eval. horizontal
Evalúa el uso previsto por parte de los usuarios previstos. Los usuarios tienen la responsabilidad de aplicar los hallazgos de la evaluación y llevar a la práctica sus recomendaciones.
Uso de conceptos, técnicas y hallazgos de la evaluación se usan para fomentar el mejoramiento y la autodeterminación. Difiere de la evaluación participativa, en que el evaluador-facilitador es un defensor de los no apoderados y promueve una agenda de cambio político.
También llamada evaluación dirigida por la teoría.Toma partes de los enfoques de investigación y evaluación. Combina métodos cualitativos y cuantitativos. Asume a las partes interesadas como expertos fiablesParte de la teoría para establecer la hipótesis sobre cómo funciona la iniciativa. Busca probar la hipótesis y determinar lo que podría funcionar, para quién y en qué circunstancias.
Se centra en incluir a los grupos menos favorecidos de una población
Una evaluación incluyente haría preguntas como estas:• ¿Cuáles son las diferencias importantes dentro de la población que se va a atender?• ¿Cómo se prestan los servicios dentro de los distintos subgrupos?• ¿Cuáles son los valores subyacentes a la distribución de los servicios?
Busca evaluar el valor de una actividad según lo perciben los beneficiarios de la iniciativa, e integrar esos hallazgos en las actividades del proyecto.
Es incluyente
Incluye al cliente final y a los beneficiarios de la iniciativa
Implica una alta participación de los beneficiarios para retroalimentar la iniciativa, valorar el impacto y pensar en los cambios deseados y necesarios.
Combina un proceso interno de evaluación con una revisión externa de pares.
Participantes locales
Visitantes (pares de otras or- ganizaciones o proyectos que trabajan en asuntos similares)
Reduccionismo
Teoría de los sistemas
Plantea el análisis tipo causa-efecto.
Las relaciones entre los elementos y los resultados son directas
Se debe observar las partes, la relación entre ellas y con el ambiente, estas relaciones son dinámicas pues el cambio es una parte inherente del sistema
Modelos comunes de evaluación:
Modelo experimental y cuasi-experimental.
Diseño experimental de series temporales.
Diseño experimental ex post facto.
Modelo de evaluación de 4 niveles de Kirkpatrick.
Modelo lógico.
Modelo de evaluación de 4 niveles de Kirkpatrick
Modelo lógico
Tiene en cuenta los componentes del programa y los componentes relaciónales del contexto del programa. Se centra en el proceso de cambio.
Muy útil en la planeación de una intervención.
Nivel de Planificación
Gráfica de conceptos
Actividad por cada grupo
Iniciativas interesadas en este enfoque:
Carolina, Alejandra y Guillermo
Clara Luz, María Alejandra y Juan Camilo
Johanna, Jessica y Manuela
Iniciativa de: Jessica, Manuela y Johanna
Intervención de: Nicole, Camilo y Leonardo
Interevención de: Oscar, Daniel y Diana
Proyección. Evaluación de necesidades: Carolina, Alejandra y Guillermo
Planeación: Diseño:
Jessica, Manuela y Johanna
Clara Luz, María Alejandra y Juan Camilo
Finalizada
Nicole, Camilo y Leonardo
Oscar, Daniel y Diana
https://uniandes-my.sharepoint.com/:x:/g/personal/j_folleco_uniandes_edu_co/EZ33LGY1WaxLodLqHMSk4gQBDubmcakbKkdKE4ir06js2Q?e=ZY66eI
Dependen parcialmente del contexto. No son excluyentes, por lo tanto una evaluación puede combinar elementos de dos o más enfoques
3