Departamento de Evaluación de Operaciones del Banco Mundial (OED)
Evaluaciones mediante Estudios de Caso*
Linda G. Morra
Amy C. Friedlander
Banco Mundial
Washington, D. C.
* ORIGINAL: INGLES
Traducido al español por PREVAL II, enero 2001.
2
www.worldbank.org/html/oed
Evaluaciones mediante Estudios de Caso
Linda G. Morra
Amy C. Friedlander
Panorama
En OED el estudio de caso es ampliamente utilizado. Por ejemplo, los estudios de
auditoría de dos proyectos de agua en Malawi (Banco Mundial 1997c)1 y de cinco
proyectos de transporte en Tailandia (Banco Mundial 1997d) y nuestro estudio de
irrigación de arrozales y manejo de agua en el Sudeste de Asia (Rice 1997) son,
esencialmente, estudios de caso. Utilizamos estudios de caso para el análisis en
profundidad de los resultados de un proyecto o grupo de proyectos o para ilustrar
determinados aspectos. Los estudios de caso son convincentes y capturan la atención
del lector; sin embargo, no son generalizables; un caso –no importa cuan bien hecho-- no
puede revelar si se trata de una situación única o si el problema (o el éxito) es de gran
amplitud.
Existe una considerable confusión acerca de lo que es y no es un estudio de caso; sobre
qué es la metodología del estudio de caso, cómo pueden ser utilizados los estudios de
caso, y cómo deberían ser redactados para su diseminación. Este documento intenta
clarificar estos temas.
Definición de un Estudio de Caso
Un estudio de caso es un método de aprendizaje acerca de una situación compleja;
se basa en el entendimiento comprehensivo de dicha situación el cual se obtiene a
través de la descripción y análisis de la situación la cual es tomada como un
conjunto y dentro de su contexto.
Las visitas al terreno están generalmente asociadas con los estudios de caso, pero no
todas las visitas al terreno son estudios de caso. Podemos hacer visitas de terreno o de
campo con fines de observación o de utilización de otros métodos de recolección de
datos, tales como entrevistas; y no usar, necesariamente, la metodología del estudio de
caso. El método de estudio de caso involucra, necesariamente, los elementos que fueron
presentados en la definición líneas arriba. Esto es, implica un entendimiento
comprehensivo, una descripción extensiva y el análisis de una situación en su conjunto y
dentro de su contexto.
Tipos de Estudios de Caso
Existen tres categorías o tipos principales de estudios de caso –explicativos, descriptivos
y de metodología combinada. Aunque en la vida real a menudo se superponen estas
categorías, uno de los siguientes enfoques será el predominante:
Explicativos. El propósito de los estudios de caso explicativos, tal como su nombre lo
indica, es explicar las relaciones entre los componentes de un programa.
3
1. Implementación del Programa. Este estudio de caso investiga las operaciones, a
menudo en varios terrenos, y con frecuencia, de manera normativa.
2. Efectos del Programa. Este estudio de caso examina la causalidad y habitualmente
involucra evaluaciones de tipo multiterreno y multimétodo.
Descriptivos. Estos estudios son más focalizados que los casos explicativos.
3. Ilustrativo. Este tipo de estudio de caso es de carácter descriptivo y tiene el propósito
de añadir realismo y ejemplos de fondo al resto de la información acerca de un
programa, proyecto, o política.
4. Exploratorio. Este es también un estudio de caso descriptivo pero apunta, antes que a
ilustrar, a generar hipótesis para investigaciones posteriores.
5. Situación Crítica. Examina una situación singular de interés único, o sirve como
prueba crítica de una aseveración acerca de un programa, proyecto, problema o
estrategia.
Metodología Combinada
6. Acumulativo. Este reúne hallazgos de muchos estudios de caso para responder a
pregustas de una evaluación bien sea descriptiva, normativa o de causa y efecto.
Dimensión del Estudio de Caso
Tendemos a imaginar que un estudio de caso es mas bien reducido, pero la dimensión de
las situaciones a estudiar pueden variar significativamente. En ocasiones, el caso es mas
bien extenso. Por ejemplo, un caso puede ser una zona dentro de un proyecto, tres zonas
dentro de un proyecto, un proyecto, un grupo de proyectos, todos los proyectos dentro de
un sector en un país dado, todos los proyectos dentro de un sector a través de un
conjunto de países, o todos los proyectos dentro de un país. Un país puede ser un caso.
La interrogante es “¿cuál es la situación que queremos tomar como un todo?” Esta
puede ser:
_ Un área (pesca en el Lago Songkla en Tailandia)
_ Una función (gerencia del sector público)
_ Un proyecto (Daxinganling, China, Proyecto de Rehabilitación del Bosque de Fuego;
Indonesia, Proyecto de Desarrollo Universitario; o Guinea Ecuatorial, Proyecto de
Asistencia Técnica)
_ Una política (promoción de la igualdad de género)
_ Una oficina o departamento (Departamento de Educación)
_ Un evento (esfuerzos para el alivio de la emergencia en Rwanda)
_ Una región, nación u organización (Nordeste del Brasil, Sudeste de Asia y Región del
Pacífico, India, UNESCO)
_ Unidades “anidadas” o estratificadas dentro de un estudio de caso grande o complejo
(Túnez, primero a través del sétimo proyecto de suministro de agua, o Malawi,
Revisión de la Asistencia al País)
La evaluación de impacto en Corea es un ejemplo de estudio de caso que focaliza una
región. (véase recuadro 1).
Es importante señalar que si la evaluación cubre una situación, o un pequeño número de
ellas, ello no la convierte, necesariamente, en un estudio de caso. Un elemento
importante de la definición de estudios de caso es la frase: “se obtiene a través de una
descripción extensiva.” Si se hubiese recogido una mínima cantidad de información con
4
poca profundidad en las preguntas de la evaluación, no sería apropiado clasificar a ésta
como un estudio de caso. Las visitas de campo o visitas al terreno no constituyen de por
sí estudios de caso.
La evaluación de impacto del Reino de Marruecos es un ejemplo de un estudio de caso
que se enfoca en una región (véase recuadro 2).
Recuadro 1: Desarrollo Retrasado de la Región Cholla: Un Estudio Institucional
El estudio evalúa (1) impactos “directos” y de corto plazo, sobre los beneficiarios según las previsiones del el proyecto; y (2) “efectos secundarios” de largo plazo (impactos indirectos) sobre el proceso de industrialización y aprendizaje institucional. La hipótesis principal que fue probada en este estudio es que la intervención del Banco Mundial “detonó” el proceso de industrialización en Cholla del Sur y que esto produjo la oportunidad de extender las “reglas del juego del desarrollo” a la región.
Las conclusiones principales son que la intervención del Banco integró las áreas rurales y actuó como
catalizador en detonar el “aprendizaje organizacional” del proceso de industrialización de la región, y que esta lección puede ser aplicada en otros casos. El reto es encontrar un mecanismo, sea político o de otro tipo, que “detone” este proceso. La principal característica de este estudio de caso es que documenta los impactos de proyecto en un país con crecimiento económico sostenido. Esto quiere decir que los mismos proyectos pueden no generar tales impactos en una economía de crecimiento lento.
Este estudio de caso es un ejemplo del tipo de estudio: efectos de programa. El caso explora las razones
subyacentes a los éxitos económicos de corto y largo plazo de la Región Cholla de la República de Corea. La dimensión es la región. El caso también es usado como un ejemplo que ilustra la importancia del contexto económico para el éxito de las inversiones de emprendimiento. Los proyectos seleccionados fueron préstamos del Banco a la Región Cholla.
El análisis se deriva de fuentes múltiples de datos: cuadros estadísticos; encuestas y/o cuestionarios de
campo; y numerosas entrevistas con funcionarios políticos, administrativos y académicos. Adicionalmente a los análisis cuantitativos de datos primarios y secundarios, el informe utiliza evidencia cuantitativa recogida por medio de metodología de estudios de caso para alcanzar conclusiones a través de la triangulación y para mantener una cadena de evidencia, especialmente en los aspectos históricos del estudio.
Fuente: Banco Mundial 1997ª.
Recuadro 2: Reino de Maruecos: Influencia Socioeconómica de Caminos Rurales, Cuarto Proyecto de Carreteras.
Este estudio, realizado durante 1995, apunta a entender el impacto de los caminos rurales, luego de cinco a diez años de haber sido completada la intervención del proyecto. El estudio focalizó los impactos en la
infraestructura y servicios de transporte, agricultura, servicios sociales y medio ambiente. También evaluó los beneficios económicos de las mejoras obtenidas y su sostenibilidad.
La principal conclusión del estudio es que los beneficios de pavimentar caminos rurales se van más allá de facilitar el tránsito; de reducir los costos de operación de autos, camiones y otros vehículos; y de mejorar la calidad de los servicios de transporte. Los mayores beneficios incluyen la provocación de cambios sustanciales en la economía agrícola, incluyendo mayor rendimiento; la diversificación o variación del rendimiento agrícola, por ejemplo, de cereales de bajo valor a frutales de alto valor; y el incremento en el uso de insumos modernos, especialmente fertilizantes. Mejoramiento del acceso a facilidades de salud y educación, tasas de matrícula más elevadas en educación rural, así como la frecuencia de visitas a los servicios de cuidado de salud, y posibilidad de reclutamiento de personal profesional para escuelas y facilidades de salud. El mayor impacto fue en la matrícula de niñas en educación primaria, que se elevó a más del triple en las zonas del proyecto durante el período del estudio. Las mujeres también se beneficiaron, debido a que los caminos pavimentados incrementaron el acceso al gas butano para cocina y calefacción, reduciendo significativamente las tareas diarias de recolección de leña. Los impactos en el medio ambiente fueron tanto positivos como negativos, aunque, en general, las áreas ambientalmente sensibles no fueron puestas a riesgo por los caminos del proyecto; este no incluyó nuevas construcciones.
Estos estudios de caso, que enfocan cuatro de los diez caminos rurales mejorados mediante el proyecto,
representan dos tipos de estudios de caso: (1) efectos de programa; y (2) situación crítica. Este estudio de impacto es un ejemplo de efectos de programa debido a que comparó las condiciones actuales en las áreas de influencia de los caminos del proyecto, en relación con la situación previa a las mejoras; asimismo, estableció comparaciones con las condiciones en caminos ubicados en áreas cercanas pero que no fueron objeto de mejoras durante el período del proyecto. Los estudios de caso son instancias criticadse los préstamos para caminos rurales, Una mejor comprensión del impacto de estas operaciones sería de gran interés debido a que los caminos rurales representan una proporción significativa de los programas de infraestructura rural de los clientes del Banco y de los préstamos para caminos del Banco. La dimensión del caso es un proyecto –el Proyecto de Cuarta Carretera del Reino de Marruecos (Préstamo 2254-MOR). Las muestras de caminos fueron seleccionadas para obtener representatividad geográfica en el norte, centro y centro sur del país, representando así una variedad de condiciones climáticas, agrícolas y económicas.
Los datos fueron obtenidos de (1) encuestas a niveles de finca, región y asentamientos: (2) grupos focales
llevados a cabo a esos mismos niveles; estos proporcionaron información importantes para el análisis a nivel de hogares; y (3) reuniones con representantes de todos los sectores económicos y representantes elegidos a nivel distrital para la interpretación de los datos y para pulir o corregir los hallazgos derivados de los análisis de las encuestas y de los grupos focales.
Fuente: Banco Mundial 1998ª.
La dimensión del estudio de caso de Kenya es la ciudad de Nairobi. (véase recuadro 3).
Métodos para Obtener y Analizar Datos en los Estudios de Caso
Tendemos a asociar estudios de caso con entrevistas en profundidad. Lo que los estudios
de caso sí involucran es lo que los metodólogos llaman “descripciones gruesas.” Estas
tienden a ser abundantes, llenas de información que provienen de fuentes múltiples de
datos, y, a menudo, de entrevistas. Pero para documentar las evaluaciones, se pueden
emplear múltiples métodos, desde la entrevista hasta la observación de primera mano.
Se ha reportado un creciente uso de protocolos de estudios de caso para organizar la
recolección de datos (Yin 1997). Estos protocolos son mucho más amplios en alcance
que un cuestionario, y son particularmente apropiados cuando múltiples evaluadores
colaboran en un número de estudios de caso que son parte de la misma evaluación.
Recuadro 3: Kenya: Desarrollo de Vivienda, Suministro de Agua, y Saneamiento en Nairobi
El estudio evalúa la efectividad de las intervenciones complementarias en el desarrollo de vivienda, suministro de agua y saneamiento en Nairobi; sus impactos de mediano y largo plazo de cinco a quince años luego de ser completadas; y su sostenibilidad.
Las principales conclusiones son que los proyectos contribuyeron a un rápido crecimiento económico y, a
pesar del incremento de la población, elevaron los niveles de vida en Nairobi a lo largo de las dos décadas pasadas. El informe halló que, particularmente en suministro de agua y saneamiento, los resultados son sostenibles. En contraste, pese a que se alcanzó progreso en los programas de desarrollo de viviendas, no se logró ningún impacto duradero en políticas de vivienda o recuperación de costos en el sector vivienda.
Esto coloca en duda la sostenibilidad de los programas públicos futuros de vivienda. En desarrollo
institucional, el Departamento de Agua y Desagüe del Municipio de Nairobi sirve como un buen ejemplo de logros sustanciales en efectiva construcción de capacidades. La secuencia de asistencia técnica y las
inversiones se mostraron particularmente efectivas en los proyectos de agua evaluados.
Este estudio ejemplifica los tipos efectos de programa e implementación de programas. Como estudio de
impacto, el informe describe los efectos de cinco préstamos otorgados a Nairobi para proyectos urbanos y de suministro de agua. Como un caso de implementación, proporciona un estudio en profundidad de la
implementación de estas intervenciones complementarias. Un taller al que asistió la Municipalidad de la
Ciudad de Nairobi y el equipo de evaluación del Banco para revisar las conclusiones de esta evaluación, sirvió también para emplear las conclusiones del informe a fin de planear la sostenibilidad del proyecto, con atención particular en aquellos departamentos involucrados en vivienda. La dimensión es una ciudad –Nairobi. La encuesta de hogares de vivienda se enfoca en siete áreas: tres áreas de proyectos urbanos; dos asentamientos no planeados que crecieron sin mucha intervención externa; y dos áreas plenamente
desarrolladas de clase media.
Los métodos para obtener datos incluyeron una revisión de documentos y registros pertinentes, entrevistas a personal clave y a grupos en toda la ciudad, una encuesta de hogares sobre vivienda, y observación en terreno de las facilidades de infraestructura. La medida del impacto de los proyectos sobre los grupos objetivo se derivaron de los hallazgos de la encuesta y estudios previos. El alcance del estudio se extiende desde un análisis de impactos socioeconómicos a nivel del hogar hasta un análisis de impactos institucionales, financieros, económicos, técnicos, y ambientales a niveles del vecindario y de toda la ciudad. Cada etapa pertinente del análisis revisa la sostenibilidad de los proyectos y sus componentes específicos.
Fuente: Banco Mundial 1996b.
También se ha reportado que para que una mayor comprensión de que la información de los estudios de caso, sea obtenida, esta puede ser incluida en una base de datos separada – diferente del propio informe final.
El análisis de los datos de los estudios de caso es generalmente extensivo.1 La
triangulación es la técnica clave de análisis utilizada; esta técnica implica asegurar la
confiabilidad de las conclusiones por medio de fuentes múltiples de datos dentro de cada
tipo. La validez de las conclusiones, especialmente al tratar de determinar causa y efecto,
se deriva de la correspondencia entre los diferentes tipos de fuentes de datos; y del
descarte sistemático de explicaciones alternativas y de la explicación de resultados “por
fuera”. Examinar la solidez de la información a través de distintos tipos de datos, es un
medio de obtener verificación. Existen estrategias específicas para hacer comparaciones,
tales como comparar patrones, construir explicaciones, y efectuar revisiones temáticas. La
descripción de estas estrategias pueden hallarse en textos de evaluación.2 Ellas involucran
técnicas tales como exhibiciones gráficas de datos, tabulaciones de frecuencia de eventos, y el ordenamiento cronológico o de series de tiempos.
El estudio del sector informal de Mongolia combina datos cuantitativos y cualitativos para
entender y cuantificar la explosión de actividad empresarial durante la transición de
Mongolia a la economía de mercado (véase recuadro 4).
Seleccionando el Número de Casos o Situaciones
El número correcto de situaciones o casos a seleccionar debería estar fundamentado en la
pregunta que deberá ser respondida. Existen tres bases generales para la selección:
conveniencia, propósito y probabilidad. Utilizar la base equivocada para seleccionar una
situación es un error fatal en el diseño de estudios de caso. Sólo en muy pocas
oportunidades la “conveniencia” será una base sólida para la toma de decisiones; asimismo muestrear en base a probabilidades tampoco es factible. De este modo, la decisión a tomar es habitualmente qué variedad o selección deliberada es la apropiada.
Métodos de Estudio de Caso
Técnica Metodología
Análisis extensivo o “grueso” Análisis de múltiples tipos de fuentes de datos,
tales como:
_ Entrevistas con todas las personas
relevantes
_ Observaciones a lo largo del tiempo
_ Observación participante
_ Documentos
_ Archivos
_ Información física
Análisis vía triangulación de
Datos
Análisis por medio de:
_ Correspondencia de patrones
_ Construcción de explicaciones
_ Revisión temática
Comparación de consistencia de las
situaciones
Análisis por medio de técnicas tales como:
_ Matriz de categorías
_ Exhibiciones gráficas de datos
_ Tabulación de frecuencia de eventos
Cronologías / ordenamiento temporal de
series
Aquí son necesarias algunas palabras adicionales referidas a los muestreos de
probabilidad. Un muestreo de probabilidad es aquel en el que todos los miembros de la
población tienen una oportunidad conocida e igual de ser seleccionados. Es el método
que se selecciona para responder preguntas acerca de cuánto o qué tan extensivo es un
problema en una población determinada. Su empleo en estudios de caso conlleva el
problema de que las leyes de probabilidad operan en números elevados; por lo tanto,
menos de 30 situaciones no siempre permiten la extrapolación; y la extrapolación es algo
que los muestreos de probabilidad permiten hacer. Algunos estudios de caso involucraron
30 o más situaciones seleccionadas sobre una base probabilística.
Tipos de Estudios de Caso y Selección de Situaciones
Esta sección proporciona una mirada más a fondo de los diferentes tipos de estudios de
caso, las preguntas de evaluación que ellos pueden responder, las características de
diseño de estos estudios, los problemas potenciales, y la selección de situaciones.
Estudios de Caso Explicativos
Estudios de Caso de Implementación de Programas
En el campo de la evaluación, frecuentemente necesitamos conocer si los programas y
proyectos están siendo implementados tal como fueron propuestos o diseñados, qué
problemas se encontraron, y qué adaptaciones se hicieron y por qué. Podemos querer
hacer un estudio de este tipo cuando un proyecto dado está fracasando, a fin de proveer
una imagen de lo que sucedió a lo largo del tiempo y lo que podría aprenderse de esta
experiencia que pudiera ser aplicado a otros proyectos. O podemos querer mirar un
proyecto que parece exitoso en lograr los resultados previstos, también a fin de aprender
del mismo y de aplicar sus lecciones a otros proyectos. Podemos querer representar una
diversidad, los mejores/peores casos, o también casos típicos.
Los estudios de caso de implementación de programas típicamente utilizan un muestreo
deliberado o al azar. La cantidad de casos depende de la variabilidad de la muestra y de
si se está buscando o no la extrapolación. Este tipo de estudio de caso se basa, en gran
medida, en documentos ya publicados y en observaciones. Debido a que generalmente
requieren del análisis de múltiples situaciones, estos estudios de caso requieren de
capacitación y de supervisión para control de calidad.
Los casos de reasentamiento involuntario proporcionan abundantes detalles acerca de la
implementación de la política del Banco Mundial sobre este tema (véase recuadro 5).
Estudios de Caso de Efectos de Programa
Los estudios de caso son apropiados para determinar los efectos de programas o
proyectos y las razones para su éxito o fracaso. La OED lleva a cabo la mayor parte de
sus estudios de caso de evaluación de impacto con este fin. El método es empleado con
frecuencia, en combinación con otros, tales como encuestas por muestreo, y a través de
datos cualitativos y cuantitativos. En el análisis habitualmente se identifican temas que
van emergiendo. La selección de las áreas o terrenos depende de cuan diverso sea el
programa; sin embargo este método no debería ser empleado en casos en donde exista
una gran diversidad de situaciones y de proyectos. Su empleo es más apropiado para
enfocar lo mejor o lo peor de los proyectos, o para estudiar un proyecto típico.
El estudio de caso acerca de la pequeña y mediana industria en Sri Lanka estudia los
efectos de los préstamos del Banco a empresas pequeñas y medianas (véase recuadro
6).
Recuadro 4: La Dimensión, Orígenes y Carácter del Sector Informal de Mongolia Durante la Transición
Este estudio examina las tendencias y actual dimensión del sector informal; las razones para el crecimiento de la informalidad; el entorno legal y normativo que enfrentan los informales; y el enfoque hacia la economía informal adoptado por los funcionarios. También explora cómo el ciudadano de Mongolia reaccionó a la crisis de la década de 1990, cómo la microempresa puede contribuir al alivio de la pobreza, y cómo los informales son afectados por la política.
Surgen cuatro conclusiones principales. Los mercados formales de trabajo no absorbieron la mano de obra que la crisis y la migración hicieron disponible; y no respondieron, plenamente, a la demanda de nuevos servicios. La relativa facilidad de entrar al mercado informal explica la mayor expansión de este mercado. La relativa dificultad de entrar a los mercados formales no es fortuita, sino que está dirigida por las políticas. Los ciudadanos parecen estar siguiendo las señales del mercado de manera optimista y ocupándose de las necesidades de la sociedad. El autor concluye que mejorar las políticas en el sector formal podría permitir la misma facilidad de entrada a ellos que actualmente está experimentando el sector informal.
El estudio es también del tipo efectos de programa: examina las razones para la explosión de actividad
informal en Mongolia desde 1990. Su dimensión es un sector al interior de una nación (el sector informal de
Mongolia). La situación fue seleccionada como parte de un programa mayor de investigación acerca del
impacto de cambios institucionales en Mongolia y en el estado de derecho en economías en transición.
Como los datos sobre el sector informal son escasos, el documento utiliza un enfoque ecléctico, juntando
información de una variedad amplia de fuentes y usando una extensa gama de técnicas para extraer
inferencias y conclusiones. El análisis está basado en cuatro tipos de datos. (1) Entrevistas cuantitativas
fueron conducidas con funcionarios estadígrafos, autoridades tributarias locales, funcionarios de licencias,
personal de agencias de desempleo, académicos, ONGs, y participantes en la economía informal. (2)
Setecientos setenta informales fueron encuestados, la muestra incluyó quioscos, taxis, “informales
ambulantes” de diferentes partes de Ulan Bator, e informales de tres de los más populares mercados
callejeros de la ciudad, el Mercado “Negro”, el Mercado Técnico, y el Mercado Harhorin. Estas ocupaciones
proporcionan contraste en intensidad de capital, naturaleza de la competencia, niveles de ingreso, y el grado en el que la actividad es adecuada para hacer trabajos pequeños e informales. (3) Datos compilados por la Oficina Estadística del Estado (SSO), particularmente fueron analizadas las estadísticas de empleo y la encuesta mensual de hogares sobre ingresos y gastos, para estimar tendencias a lo largo del tiempo y el impacto agregado de toda la actividad informal. (4) Se examinaron leyes y normas concernientes a impuestos, trabajo, y el sector de la seguridad social. Pese a que la libertad de involucrarse en actividades del sector informal es nueva para los ciudadanos de Mongolia, la recolección de datos y el análisis acerca del sector informal han recibido escasa atención.
Fuente: Banco Mundial 1998b.
Seleccionando la Cantidad de Casos
Bases de selección Preguntas a ser respondidas
Conveniencia ¿La situación fue seleccionada porque era conveniente para propósitos de recolección de
datos? ¿Qué está sucediendo y por qué? Propósito
Agrupar/Relacionar
Mejores Casos
Peores casos
Estratificado
Representativo
Típico
Interés especial
¿Qué está sucediendo en los extremos? ¿Qué
explica tales diferencias?
¿A qué se debe la efectividad?
¿Por qué no está funcionando?
¿Cómo se comparan entre sí diferentes tipos de
situaciones?
En situaciones elegidas para representar variaciones
significativas ¿Cómo es la situación y por qué?
En una situación típica:¿Qué está pasando y por
qué?
En esta circunstancia particular ¿Qué está pasando y
por qué?
Probabilidad ¿Qué esta pasando como un todo y por qué?
Recuadro 5: Experiencias Recientes con Reasentamientos Involuntarios
Esto estudio evalúa el proceso de reasentamiento de proyectos apoyados por el Banco y determina el impacto sobre personas involuntariamente desplazadas. Estos proyectos son ocho en seis países: Brasil, China, India, Indonesia, Tailandia y Togo. En el Estudio se incluyeron dos proyectos de India y dos de China.
Las principales conclusiones fueron mixtas. Con respecto a resultados: (1) Las tasas de compensación y los cronogramas varían mucho, pero la tendencia parece ser hacia mejoras en justicia y oportunidad. (2) Aunque disparejo, el registro de reubicación es satisfactorio. (3) El registro de restitución de ingresos ha sido insatisfactorio –ni hablar de mejoras. (4) En todas partes son evidentes las mejoras en infraestructura física pero, con excepción de China y Tailandia, hay quejas frecuentes acerca de la operación y mantenimiento de estas estructuras. (5) En cinco de ocho situaciones, la gente de la localidad expresó insatisfacción con su respectivo proyecto de reasentamiento. El desempeño del Banco es mejor que en la década precedente pero no tan bueno como se esperaba; su compromiso con los principios del reasentamiento es visible. El
desempeño de los prestatarios fluctúa desde mejores que los estándares de política del Banco, hasta
insatisfactorios.
Los ocho casos seleccionados en este estudio de impacto en seis países representan cuatro tipos de
estudios de caso:
_ Ilustrativo—describe la política, con detalles, de los proyectos.
_ Situación crítica—examina ocho experiencias de aplicación de la política de reasentamiento para mitigar
el impacto de reasentamiento involuntario.
_ Implementación de programa—investiga la operación de los proyectos.
_ Efectos de programa—examina la causalidad o el resultado de la política de reasentamiento del Banco.
La dimensión es una política: reasentamiento involuntario. La selección del proyecto estuvo limitada a
casos de reasentamiento involuntario asociados a la construcción de grandes represas, debido a que son los casos clásicos y más conocidos de reasentamiento. Las políticas de reasentamiento del Banco fueron
diseñadas teniendo en mente, primordialmente, las represas.
Este informe emplea fuentes múltiples de datos –está basado en una revisión de los archivos de proyectos, otros documentos pertinentes, y en los resultados de un programa de seguimiento socioeconómico en cinco de los seis países que incluyó encuestas recurrentes de hogares y comunidades de reasentados, además de una encuesta de seguimiento de OED y visitas al terreno por evaluadores de OED.
Más del 90 por ciento de los hogares encuestados fueron los mismos que en encuestas anteriores. De esta
manera, los ingresos de los mismos hogares fueron comparados a lo largo de varios años. El estudio se
benefició de datos recogidos por el informe de OED de 1993, Experiencias Tempranas con Reasentamientos Involuntarios, pero el estudio estuvo limitado por falta de datos previos a 1991.
Los estudios hacen un análisis extensivo de los múltiples tipos de datos disponibles, empleando a menudo el método de triangulación para verificar la consistencia. Los estudios de caso son con frecuencia usados para entender las razones subyacentes a una serie de circunstancias o resultados, pero estos estudios se detienen antes de formular “preguntas de por qué,”. En vez de ello, recalcan los resultados de los proyectos y el desempeño del Banco y de los prestatarios.
Fuente: Banco Mundial 1998c.
Estudios de Caso Descriptivos:
El Estudio de Caso Ilustrativo
Estos estudios de caso describen primordialmente lo que está sucediendo y por qué, con
la finalidad de mostrar el perfil de una situación. Este tipo de estudios son especialmente
útiles para ayudar a interpretar otros datos que pueden estar disponibles, tales como
encuestas. OED tiene muchos ejemplos de este tipo de estudio de caso. El estudio del
ajuste estructural y sectorial (Jayarajah y Branson 1995) llevó a cabo una muestra y revisó
99 operaciones de préstamos en 42 países, y proporcionó un anexo con estudios de caso
de 5 países.
Recuadro 6: Apoyo del Banco Mundial a la Pequeña y Mediana Industria en Sri Lanka: Una
Evaluación de Impacto
Esta evaluación proporciona una perspectiva fundamentada en lo empírico acerca de la estrategia e impacto del Banco en pequeñas y medianas industrias (PMI).
La conclusión central fue que el apoyo del Banco a la PMI fue incuestionablemente un aspecto importante
aunque subordinado de la estrategia de desarrollo de Sri Lanka. Acumulativamente, los préstamos del Banco han tenido efectos deseables en la distribución del ingreso, así como en el desarrollo del financiamiento industrial. Por medio de un prisma de largo plazo, queda claro que los créditos (1) desempeñaron un papel significativo en desarrollar una economía más diversificada y orientada al sector privado, (2) contribuyeron al desarrollo de una infraestructura financiera mas efectiva, y (3) ayudaron a generar un número significativo de empleos, mayormente para trabajadores poco calificados.
Este, en particular, es representativo de dos tipos de estudios de caso: efectos de programa y acumulativo.
En tanto el estudio evalúa la política del Banco con respecto a los préstamos para PMI – tiene una dimensión política: todos los proyectos del Banco en Sri Lanka fueron seleccionados para mostrar el efecto acumulativo de los préstamos del Banco a lo largo del tiempo en un caso –Sri Lanka.
El caso de Sri Lanka, uno de tres estudios de caso llevados a cabo por el Banco para obtener efectos
detallados y acumulativos respecto a los préstamos para la PMI, podría también ser considerado explorativo.
Los otros dos estudios son Ecuador y Filipinas. Juntos, estos tres casos representan el 20 por ciento del
portafolio de PMI del Banco y brindan una amplia cobertura geográfica. Un análisis de los tres estudios podríabrindar ideas respecto de si estos contienen suficiente información para servir de base para un estudio mayor del conjunto del portafolio del Banco, empleando la misma metodología o una menos intensiva.
El informe utiliza fuentes múltiples de datos –información sobre los proyectos; datos cuantitativos
económicos; una encuesta de más de 300 empresas, la mitad de las cuales son beneficiarias, mientras que la
otra mitad sirvió como grupo de control; y entrevistas estructuradas con instituciones financieras participantes.
El análisis consideró los efectos, tanto de los créditos como de los servicios que no requieren financiamiento a través de créditos, acerca del comportamiento de la PMI e instituciones financieras participantes. Esta perspectiva más amplia acerca de la intervención del Banco es parte de un énfasis mayor que OED pone sobre el país como “unidad de análisis” antes que sobre el proyecto.
Fuente: Banco Mundial 1997b
Los estudios de caso ilustrativos son habitualmente seleccionados como típicos o
representativos de variaciones importantes. Proporcionan el realismo y la nitidez de la
información anecdótica. La cantidad de situaciones es generalmente reducida para
mantener el interés del lector/usuario. Los datos incluyen a menudo evidencias visuales.
Los informes pueden emplear una forma narrativa o descripciones auto contenidas o
separadas.
Al usar el estudio de caso ilustrativo, el reto es la selección de las situaciones a ser
estudiadas. El caso o casos deberían representar adecuadamente la situación. Puede no
ser posible seleccionar una situación “típica” especialmente si esta tiene mucha
diversidad.
El Estudio de Caso Explorativo
El estudio de caso explorativo es un estudio de caso reducido, el cual se emprende antes
de lanzar una investigación a gran escala. Su función es desarrollar la pregunta de la
evaluación, la medida, el diseño y análisis de estrategia para el estudio más amplio. Es
mayormente útil donde existe una gran falta de certeza acerca de lo que la situación es
realmente. OED emplea frecuentemente tales estudios de caso como parte del trabajo de
delimitación de áreas de competencia.
El estudio sobre el portafolio del Banco Mundial en salud y nutrición, pese a ser en si
mismo una investigación a gran escala, también explora las hipótesis y metodologías para
investigación futura del sector de PSN (véase recuadro 7).
Recuadro 7: Lecciones de una Experiencia en PSN
Este estudio describe y evalúa el portafolio de PSN como parte del esfuerzo actual de OED de aprender
acerca de la efectividad de las actividades del Banco en este sector. Incluye cuatro estudios de caso: Brasil, Mali, Zimbabwe e India (de próxima aparición).
000Las principales conclusiones acerca de la política de préstamos del Banco dicen que aunque el Banco ha diseñado proyectos técnicamente sólidos, estos no han tomado en consideración las demandas de salud y los entornos institucionales y políticos locales, en el diseño de las intervenciones. La calificación promedio para el portafolio de PSN, es de 61 por ciento de resultados satisfactorios. Este promedio es bajo en relación con otros proyectos del sector social (79 por ciento satisfactorios). Menos de 50 por ciento de proyectos de PSN son calificados como sostenibles al completarse, y sólo 21 por ciento de proyectos de PSN logra un desarrollo institucional sustancial.
Los casos utilizados en este estudio ejemplifican dos tipos –exploratorios y de implementación de programa.
Como estudios de caso exploratorios nos preguntan cómo podemos aprender más acerca de la
implementación del programa. Como estudios de caso de implementación de programa, buscan patrones en la implementación de la política de préstamos de PSN del Banco. Debido a la naturaleza exploratoria del estudio, los protocolos difieren ligeramente de terreno a terreno. La consistencia en estudios de caso fue lograda empleando un marco de referencia analítico común. La dimensión es el sector de PSN.
Los cuatro países seleccionados encuadran el papel de los préstamos del Banco Mundial en los respectivos países, mostrando lo que sucede en los extremos: (1) donde los préstamos del Banco constituyen una proporción significativa de los desembolsos del país en atención de salud (Mali y Zimbabwe) y (2) donde los préstamos del Banco representan una pequeña fracción de los desembolsos del país en atención de la salud (Brasil e India).
El estudio emplea múltiples fuentes de datos –una revisión de los estudios sectoriales del Banco Mundial y documentos de proyectos; entrevistas extensivas con personal del Banco Mundial, funcionarios de gobierno, y otros actores; y una serie de documentos que fueron elaborados a manera de antecedentes para el estudio.
Los estudios de caso hacen un análisis extensivo de múltiples tipos de datos. Los casos extremos
seleccionados para un estudio en profundidad escenifican la solidez de las conclusiones, son consistentes
independientemente del tamaño relativo del préstamo del Banco en los casos muestreados.
Fuente: Banco Mundial
Valadez y Bamberger ilustran el beneficio potencial de usar explícitamente estudios de
caso para la delimitación de las dimensiones de los proyectos (Valadez y Bamberger
1994, pp 297-98). Estos autores, presentan un estudio para evaluar los impactos sobre
los ingresos a nivel de hogar, de un proyecto de vivienda en Cartagena, Colombia. En
tanto uno de los principales problemas para el diseño de este estudio fue la definición de
“hogar”, se desarrolló un estudio de caso descriptivo, con un pequeño número de familias,
con la finalidad de investigar acerca de este concepto. El estudio concluyó que muchos
residentes de comunidades tenían conceptos distintos del que sobre hogar tenían los
evaluadores.
La selección del terreno para los estudios de caso explorativos implica la identificación de
un área que represente cada variación importante a fin de hacer aceptable un muestreo
de conveniencia.
El estudio de caso explorativo es frecuentemente empleado para investigar relaciones de
causa y efecto relacionadas con las preguntas de la evaluación. Es importante no caer en
la tentación de convertir el trabajo exploratorio en la colección básica de datos, aunque los
datos puedan parecer convincentes. Tal procedimiento es prematuro y confirma las
hipótesis del investigador, en vez de probarlas.
El Estudio de Caso de Situación Crítica
El estudio de caso de situación crítica, uno de los tipos de estudio de caso empleado con
más frecuencia, examina una o más áreas para uno de dos propósitos. El primer
propósito es examinar una situación de interés singular. En tales casos, hay poco o nulo
interés en la generalización. El segundo propósito, el cual se emplea con mucho menor
frecuencia, es cuando una aseveración universal o altamente generalizada, está siendo
cuestionada, y la queremos probar por medio del análisis de una situación.
Los estudios de caso de Pos Resolución de Conflictos son instancias críticas de la política
del Banco acerca de esta función (véase recuadro 
.
Recuadro 8: La Experiencia del Banco Mundial en Reconstrucción Pos Conflictos
El estudio contiene lecciones acerca de operaciones en curso y futuras de la experiencia del Banco en
proveer asistencia para situaciones pos conflicto y, en alguna medida, para la reconstrucción pos desastre.
Los temas clave analizados incluyen las ventajas comparativas del Banco en relación con otros actores
internacionales; la eficiencia y eficacia de sus instrumentos, modos de operación, y combinación de
habilidades; las implicaciones de desarrollo de largo plazo de sus esfuerzos en reconstrucción pos conflicto; y el seguimiento del avance y del impacto de largo plazo de la asistencia para la reconstrucción, por medio de sistemas mejorados de seguimiento y evaluación mejorados.
Las conclusiones del informe abordan la implementación y la política del Banco. Desde el punto de vista de la implementación, el desempeño del Banco ha sido más fuerte en apoyar la estabilización macro económica y en reconstruir la infraestructura física. La restauración de capital humano y social ha sido descuidada en la mayoría de los portafolios pos conflicto del Banco y en el trabajo económico y sectorial. Los resultados de los esfuerzos pos conflicto del Banco en los sectores sociales han sido modestos; poca atención fue prestada a los temas de género. Desde la perspectiva de políticas, la principal conclusión de este estudio es que el Banco necesita revisar su política actual orientadora; “Un Marco de Referencia para el Involucramiento del Banco Mundial en Reconstrucción Pos Conflicto”, y transformarla en una Declaración de Política Operacional.
Tres de los nueve estudios de país en este informe son estudios de caso, y seis son estudios de gabinete. Los estudios de caso ilustran los tipos: implementación de programa, situación crítica, y estudios de caso
acumulativos. Como estudios de caso de implementación de programa, identifican factores de desempeño relacionados con el proceso e intentan evaluar el entendimiento del Banco sobre los factores que contribuyeron a la emergencia, y cómo el Banco empleó este conocimiento en la reducción de la probabilidad de colapso con anterioridad a la crisis y/o para prevenir o mitigar los contratiempos en el período pos conflicto.
Estos estudios son situaciones críticas de tres emergencias socio-políticas: El Salvador es un caso de
deterioro del estado causado por conflictos ideológicos; Bosnia-Herzegovina, es un caso de deterioro o
fracaso del estado debido a conflictos étnicos/regionales; y Uganda, un caso del fracaso del estado atribuible a ineficacia de gobernabilidad. En la medida en que dependen de estudios previos para su análisis, estos representan el tipo de estudio de caso acumulativo. Los países de los estudios de caso fueron también seleccionados por el carácter reciente de asistencia recibida así como por criterios geográficos. El Salvador era un recipiente más maduro, y Uganda era un país en el que la reconstrucción pos conflicto estaba esencialmente completada. Ellos representan una amplia cobertura geográfica. La dimensión de este estudio es (1) política –política del Banco sobre asistencia en reconstrucción pos conflicto—y (2) función – reconstrucción pos conflicto.
Este análisis de datos en profundidad está basado en una revisión del portafolio global del Banco de las 157 operaciones pos conflicto del Banco en 18 países, representando US$ 6.2 billones en préstamos. Las fuentes de datos incluyen publicaciones y documentos operativos del Banco y otros; una revisión de literatura; entrevistas y grupos focales con personal del Banco, otros donantes, agencias internacionales, ONGs, y (para estudios de campo) gobiernos miembros.
Fuente: Banco Mundial 1998
Metodología Combinada
El Estudio de Caso Acumulativo
Este método que es nuevo en el campo de los estudios de caso;,en esté tipo de estudios
OED es un pionero. La aplicación de este estudio de caso agrega las conclusiones de
estudios de caso llevados a cabo en diferentes momentos. Los métodos de estudios de
casos discutidos con anterioridad, son transversales –esto es, recogen información de
diversos terrenos al mismo tiempo. En contraste, el estudio de caso acumulativo agrega
información de diversas áreas, recogida en momentos diferentes y por largos períodos de
tiempo. De cierta manera, el estudio de caso acumulativo es similar a una síntesis de una
evaluación. El estudio de la Irrigación O&M y el Desempeño de Sistemas en el Sudeste
de Asia ejemplifican este tipo de estudio de caso.
En las aplicaciones que OED ha hecho de este método, el análisis ha sido generalmente
cualitativo. USAID llevó a cabo un interesante estudio de caso acumulativo y prospectivo
de evaluación. El propósito fue identificar insumos y componentes de asistencia
económica que pudieran ser cuantitativamente asociados con diferencias en la medición
de resultados. El método implicó que una serie común de datos (tanto cualitativos como
cuantitativos) fueran recogidos y codificados a lo largo de un período de 5 años conforme
los proyectos eran iniciados; a través de 47 estudios que fueron eventualmente
completados. Los resultados codificados fueron analizados cuantitativamente.
(Finsterbush 1984).
Las dificultades de llevar a cabo estudios de caso acumulativos incluyen la inadecuada o
incierta calidad de los datos originales o su análisis. En OED y el Banco Mundial
podríamos fortalecer, en gran medida, el empleo de los estudios de caso acumulativos
desarrollando y usando protocolos de estudios de caso estandarizados. Por ejemplo, si
todos los estudios de caso de proyectos de salud rural tuvieran un set estandarizado de
preguntas, adquiriríamos un extenso cuerpo de conocimiento.
15
Recuadro 9: Irrigación O&M (Operación y Mantenimiento) y Desempeño de Sistemas en el Sudeste de Asia
Este estudio evalúa los impactos agro económicos de inversiones en esquemas de irrigación por gravedad, de arrozales del Sudeste de Asia. El fin es determinar si y cómo la calidad de la operación y mantenimiento de servicios (O&M) –considerados como el objetivo intermedio clave que asegura la sostenibilidad de las mejoras –influencian sobre la sostenibilidad de esos impactos.
El estudio concluye que la causalidad que evaluó está siendo revertida en este caso. Dado que ofrecen
economías pobres y bajos ingresos, estos esquemas de irrigación de arrozales enfrentan un futuro incierto: mejorar el desempeño de O&M no los rescatará. Mientras la falta de competitividad para el sembrío de arrozales haga que los miembros jóvenes de las familias se aparten de esta actividad y que los viejos que se quedan se concentren en cultivos de subsistencia, el capital social se erosionará y los estándares de O&M probablemente decaerán.
Este estudio ejemplifica cuatro tipos de estudios de caso –efectos de programa, implementación de
programa, acumulativo, y exploratorio. Como estudio de impacto, el informe es un estudio de efecto de
programa; al abundar, además, en detalles sobre la implementación de los proyectos en sus respectivos
países, ejemplifica el tipo de estudio de caso de implementación de programa; en tanto reúne conclusiones de estudios de caso de países individuales que enfocan la irrigación O&M, también constituye un estudio de caso acumulativo. Los autores tienen incertidumbres acerca de las conclusiones del estudio: el hecho de que fueron relativamente similares en todos los terrenos sugiere a los autores que las lecciones aprendidas podrían tener una aplicación más amplia; sin embargo, debido a que las conclusiones se apartan decididamente de las convenciones aceptadas, los autores tienen dudas acerca de su generalización y recomiendan verlos como hipótesis que necesitan trabajo empírico adicional. Desde esta perspectiva, el estudio sería exploratorio. La dimensión del caso es una función –esquemas de irrigación por gravedad (en los arrozales del Sudeste de Asia). Fueron seleccionados seis esquemas: tres en Myanmar, uno en Vietnam y dos en Tailandia.
Estos estudios están ampliamente dispersos en la región objetivo, y fueron elegidos por motivos de variedad sin garantizar representatividad.
El análisis está basado en múltiples fuentes de datos, incluyendo Informes de Auditoría de Desempeño (IAP), Informes de Finalización de Proyecto (IFP), Informes de Evaluación ex ante (IEA), Informes de Desarrollo Mundial (IDM), entrevistas interactivas con los actores, y visitas a terreno. El trabajo de campo incluyó una auditoría de un proyecto de control de inundaciones y drenaje en tres zonas de Bangladesh; esto con la finalidad de identificar cualquier diferencia obvia y similitudes en la organización y efectividad de O&M en proteger del exceso de agua y en administrar suministros limitados de agua. Las entrevistas (de una duración de cinco horas cada una) fueron con grupos y hogares en los cuatro países e incluyeron funcionarios de las diferentes zonas y autoridades públicas de irrigación pertinentes, líderes, hombres, mujeres y otros regantes característicos. El equipo de evaluación visitó las zonas para observar las condiciones de los canales y las estructuras de control; la actividad de las agencias de adjudicación, distribución y mantenimiento del flujo de agua; y las fortalezas y debilidades de los agricultores O&M, especialmente de aquellos administrados por medio de asociaciones informales. El estudio no incluye casos de control, y varias declaraciones referentes al impacto están basadas en comparaciones con los datos de la evaluación ex ante antes que con las condiciones originales de los agricultores.
Fuente: Banco Mundial 1996c
Evaluación Participativa y el Estudio de Caso
El proceso de llevar a cabo estudios de caso de evaluación se ha vuelto más participativo
o colaborativo (Yin 1989, 1993,1994,1997). Ya no es inusual que los evaluadores de
estudios de caso trabajen cercanamente con funcionarios de proyecto –por ejemplo, para
definir las preguntas que serán abordadas por la evaluación. Tal participación es vista
como una contribución a: fortalecer la identificación con el proyecto; facilitar la
transferencia de habilidades y capacidades para la evaluación; y para promover auto
gobernabilidad democrática. (Banco Mundial 1996ª).
Informando o Criticando el Estudio de Caso
Con frecuencia publicamos estudios de caso en forma de documentos cortos o de
resúmenes de informes más largos. ¿Qué debemos buscar al tomar la decisión de
publicar o no publicar? Los estándares son similares a aquellos que son válidos para otra
clase de estudios de evaluación.
1) ¿Están las preguntas de evaluación planteadas clara y explícitamente? Las preguntas
investigadas así como los temas subyacentes deben estar explícitamente
presentados.
2) ¿ Está descrita claramente la aplicación del estudio de caso? El estudio de caso debe
describir la aplicación seleccionada (situación crítica, estudio de caso ilustrativo o
acumulativo) y explicar por qué esta aplicación es apropiada para el tipo de preguntas
de evaluación que necesitan ser respondidas (descriptivas, normativas, o de causa y
efecto). Si fueron usados uno o más métodos además del estudio de caso, la relación
del estudio de caso con estos otros métodos debe ser clara, apropiada y estar bien
descrita.
3) ¿El lapso de tiempo del estudio fue suficientemente largo para abordar los temas
centrales? Un buen estudio de caso informa sobre el tiempo que la investigación
cubrió en relación a la historia de la situación o del programa. En otras palabras, esto
significa preguntar si el estudio es suficiente para “proporcionar un entendimiento
comprehensivo de la situación como un todo” – este es un aspecto clave de la
definición de un estudio de caso.
4) ¿La base para seleccionar los casos, ha sido especificada claramente? Un buen
estudio de caso presenta la justificación de la selección de casos particulares.
5) ¿Están adecuadamente descritos los métodos de recolección de datos? Si se está
emprendiendo un estudio de caso ilustrativo o explorativo, y la recolección de datos no
es estructurada, esto debería quedar indicado. Cuando se están empleando enfoques
multiterreno el protocolo mismo de la recolección de datos debe estar disponible.
6) ¿Si más de un investigador recogió datos, están descritos los procedimientos de
control de calidad? Esto potencialmente incluiría las bases para seleccionar colectores
de información, la provisión de capacitación proporcionada, y otras cosas
relacionadas.
7) ¿Están las fuentes de información escritas en detalle? Un buen estudio de caso
presenta en detalle las fuentes de información. La cantidad y posiciones de las
personas entrevistadas y la extensión y la naturaleza de los registros revisados y/o las
situaciones observadas, deben ser evidentes. El lector debe ser capaz de determinar
sobre la base de la información incluida en el estudio de caso, la credibilidad de las
conclusiones. La credibilidad de las conclusiones debe ser determinada a través de la
pertinencia y suficiencia de las fuentes de información.
8) ¿Están claras las estructuras de las bases de datos y las técnicas de análisis de
información? Los lectores necesitan saber cómo fueron organizados y analizados los
datos. Los detalles acerca de los procedimientos para reducir y codificar datos deben
estar disponibles. Los procedimientos analíticos tales como la triangulación deben ser
explícitamente descritos.
9) ¿Están presentados los argumentos a favor y en contra de diversas resoluciones
sobre las preguntas de evaluación? Si otros estudios pertinentes al tema están
disponibles, sus resultados deben ser presentados y reconciliados con las
conclusiones del estudio de caso. Un buen estudio de caso discute cómo sus
hallazgos y conclusiones convergen o difieren de otros trabajos relacionados con el
tema abordado. También especifica cualquier diferencia en la interpretación de la
información entre miembros del equipo de investigación o entre los comentaristas al
borrador del informe.
10) ¿Están identificadas las fortalezas y debilidades del estudio de caso? Un buen
estudio de caso discute las fortalezas y limitaciones de la información y las toma en
cuenta a la hora de formular las conclusiones. Las generalizaciones están en línea
con la diversidad de las situaciones y con los métodos para la selección de estas
situaciones.
Si se emite una síntesis u otra forma abreviada de reporte, en vez del informe de estudio
de caso completo, la metodología también debe ir incluida de manera resumida. Sin
embargo ésta debiera estar clara y completamente descrita en el informe principal. En los
resúmenes o síntesis, siempre debería hacerse referencia sobre la disponibilidad de la
descripción completa de la metodología. La forma particular en que el estudio de caso
sea redactado, dependerá del tipo de audiencia al que éste esté dirigido.
Estudios de Caso y Enseñando Estudios de Caso: Diferencias Críticas
Los estudios de caso empleados para fines de enseñanza tienen una estructura diferente
de la de los estudios de caso evaluativos que hemos venido describiendo. Con frecuencia
podemos querer publicar estudios de caso o resúmenes de estudios de manera que otros
puedan aprender, y se pueda aportar al conocimiento sobre un tema en particular; por
ejemplo el reasentamiento. Si los estudios de caso alcanzan, en términos generales, los
criterios presentados aquí para ser calificados como buenos estudios de caso, sus
lecciones deberían ser publicadas. Los estudios de caso que se elaboran con fines de
enseñanza, van sin embargo un paso más allá de lo descrito, y constituyen, habitualmente
un subgrupo dentro de los estudios de caso.
Los estudios de caso para propósitos de enseñanza generalmente intentan iluminar una
decisión o conjunto de decisiones –por qué fueron adoptadas, cómo fueron adoptadas, y
los criterios que llevaron a tomarlas. En la mayoría de estos casos, el problema central
del estudio está descrito a gran nivel de detalle; y los alumnos deben hacer el ejercicio de
identificar y justificar las decisiones. Los estudiantes pueden entonces tener la
oportunidad de comparar la decisión que seleccionaron con aquellas que realmente
fueron adoptadas en el caso. Sin embargo, en contadas ocasiones hay una sola
respuesta correcta o equivocada.
Un ejemplo es la Escuela de Gobierno John F. Kennedy de la Universidad de Harvard,
caso de “Puente de Buenos Aires-Colonia” (Caso No. C15-97-1400.0):
Este caso hace un recuento del trabajo de una comisión binacional especial de
Argentina y Uruguay llamada para examinar los temas económicos de un puente
propuesto para unir estos dos países. El puente propuesto fue analizado por la
comisión encomendada, en la primavera de 1996 y debía extenderse 41 kilómetros
por encima del estuario del Río de la Plata, desde Buenos Aires hasta la ciudad
uruguaya de Colonia. Este puente sería, de lejos, el más largo del mundo. El
caso recrea el problema tal como lo enfrentó la comisión, quien tuvo que
considerar si tendría sentido financieramente hablando, que un concesionario
privado construyera y operara el puente. Específicamente, el personal de la
comisión del puente tuvo que criticar el trabajo y las recomendaciones de una
firma privada de consultoría, cuyas proyecciones de mercado la llevaron a concluir
que el puente de US$ 1 billón podía ser exitosamente financiado por un peaje de
US$60 por cada automóvil.
Otro ejemplo de caso fue desarrollado por la Escuela Kennedy para el Banco Mundial, “El
Problema de la Evaluación de Proyectos en Finanzas Sociales: Las Iniciativas Locales de
Apoyo a la Corporación (B)” (Caso No. CEI-97-1396-0).
Los estudios de caso de políticas públicas caen dentro de dos principales tipos:
“forzamiento a la acción” y “retrospectivo”. (Kennedy y Scott 1985; Robin 1986).
_ Los casos de forzamiento a la acción intentan colocar al lector en “los zapatos” del
funcionario de gobierno (o grupo de funcionarios) que enfrentan un problema que
requiere de acción. El grueso del caso está dedicado a una descripción del dilema y
las opciones disponibles para una solución: al final, el lector, como si fuera el
protagonista, está al frente en el momento de la decisión. La pregunta fundamental
aquí es, “¿Qué harías tu en el lugar de X y por qué?”
_ Los casos retrospectivos cuentan toda la historia –hasta el momento de la decisión y
mas allá, e incluyen un recuento de las consecuencias posteriores. En esta situación,
la pregunta básica es ¿”Qué piensas tu de lo que hizo X y por qué?
Criterios para seleccionar estudios de caso de enseñanza. Tener un buen y ameno
estudio de caso es sólo la primera pre condición para intentar convertirlo en un estudio de
caso de enseñanza. Las preguntas claves que necesitan ser respondidas son:
_ ¿Qué problema está siendo ilustrado?
_ ¿Cuáles son los temas subyacentes?
_ ¿Quién es la audiencia objetivo?
_ ¿Cuáles son los objetivos específicos para estas audiencias?
_ ¿Cuál es la decisión específica que necesita ser adoptada?
Tal como ha señalado Dorothy Robin, los casos de enseñanza deben ser breves, de
aplicabilidad general, provocadores de conflicto y forzadores de decisiones (Robyn 1986).
Respecto a estos dos puntos en particular, ella señala:
Provocadores de conflicto. La controversia es la esencia de una buena discusión
sobre un estudio de caso: involucra a los estudiantes, los obliga a pensar y a
defender su posición; y les demuestra que aunque generalmente no hay
respuestas correctas, hay ciertas preguntas deben ser necesariamente
formuladas.
Forzadores de decisiones. La controversia, incluso en las historias exitosas, está
generalmente presente alrededor de los puntos centrales de decisión. Muchos
maestros–quizás casi todos— encuentran que un estudio de caso funciona mejor
si se dejan esas decisiones sin resolver. Esto es, si se plantea una elección o
decisión que confronta a un gerente o a un analista sin revelar lo que el
protagonista hizo y las consecuencias de esa acción.
Este principio se aplica tanto a los casos que son redactados prospectivamente
como en aquellos que son retrospectivos.
Cómo redactar casos. Elaborar un estudio de caso con fines de enseñanza es una
habilidad especial, y existen profesionales que se especializan en ello. También hay
quienes se especializan en la enseñanza de estudios de caso; sin embargo, estos no
necesariamente son autores de los mismos. Los que son buenos en producirlos no son
necesariamente buenos maestros, y viceversa. Kennedy y Scott citan cinco pasos
básicos para redactar estudios de caso (Kennedy y Scott 1985):
1) Desarrollar la situación o problema. El elemento más importante para investigar casos
rápida, efectiva y económicamente, es tener una noción clara de para qué es el caso.
Idealmente, esto significa tener un claro entendimiento de los puntos de enseñanza
particulares que el caso intenta apoyar y cómo cabe dentro del currículum. A fin de
asegurar realismo y pertinencia, las ideas de los estudios de caso deberían originarse
en problemas reales como: resultados de inversiones en salud y nutrición, crecimiento
de la libre empresa en el Sudeste de Asia, resolución pos conflicto, y cosas así.
2) Investigar el caso. La investigación del caso habitualmente se lleva a cabo en dos
distintas etapas luego de que se escoge un tópico: trabajo de biblioteca; y entrevistas.
La etapa de bibliotecas es una oportunidad de aprender rápida y económicamente. La
etapa de entrevistas es una oportunidad para que el redactor ya informado, aprenda
de los actores principales del caso los detalles de la historia que son particularmente
pertinentes al enfoque del caso, las reflexiones de los propios actores y su
significancia, y las anécdotas que dan color, sabor e iluminan lo que de otra manera
podría ser una historia seca y polvorienta.
3) Redactar el caso. Los casos varían en longitud y nivel de dificultad; no existen
lineamientos universales. Es aconsejable adherirse a los siguientes principios al
redactar un caso 3:
_ Objetividad: no analice y no editorialice.
_ Disimular: Esto puede ser necesario para preservar la confidencialidad o sintetizar
un caso singular de varios proyectos, pero disimule sólo cuando sea necesario.
_ Las hojas de datos o cálculo son útiles en las primeras etapas del curso pero no
deberían incluirse más adelante cuando los estudiantes necesitan proporcionar su
propia estructura.
_ Exhibiciones, datos estadísticos y otra información pertinente puede ser incluida
en el cuerpo del texto o en los apéndices.
_ Material extraño. Se necesita incluir alguno a fin de obligar a los participantes a
distinguir entre información relevante y no relevante.
_ Guía para el conductor. Puede incluir material que no es esencial al caso, tal
como la razón por la que el proyecto fue seleccionado y la declaración de los
objetivos de enseñanza.
_ Pre testeo. Haga que alguien no familiarizado con el material lo revise a fin de
asegurarse que es comprensible a cualquier lector.
4) Desarrollar preguntas, y en algunas situaciones actividades para apoyar el caso. Las
preguntas típicas de estudio de caso incluyen (Sullivan y Ruyle) 1997):
_ ¿Cuál es el problema?
_ ¿Cuáles son los aspectos y efectos más significativos del problema?
_ ¿Cuál es la causa de raíz del problema?
_ ¿Cómo podía haberse evitado este problema?
_ ¿Cómo puede ser corregido?
_ ¿Qué se puede hacer para asegurar que el problema no recurra?
5) Desarrolle instrucciones completas para el estudio de caso. Estas instrucciones
pueden ser desarrolladas respondiendo una serie de preguntas (Sullivan y Ruyle
1997).
_ ¿El caso será trabajado por los estudiantes en forma individual o en pequeños
grupos?
_ ¿Habrá una discusión de grupo durante la sesión de capacitación o los
estudiantes recibirán retroalimentación individualmente?
_ ¿La asignación será completada durante la sesión de capacitación o los
estudiantes la completarán fuera de la clase?
_ ¿Los estudiantes simplemente reportarán respuestas o se requerirá una
presentación más formal con medios auxiliares?
_ ¿Cada grupo tendrá el mismo caso o diferentes problemas serán abordados por
diferentes grupos?
_ ¿Requerirán los estudiantes de materiales de referencia para completar la
asignación?
_ ¿Se requerirá más investigación o los estudiantes tendrán toda la información
necesaria para responder a todas las preguntas?
Cómo enseñar casos. En un formato típico de instrucción de grupos, un caso es
presentado a los estudiantes quienes trabajan individualmente o en pequeños grupos
para analizarlo y para responder a una serie de preguntas relacionadas. Las preguntas
son generalmente abiertas y tienen más de una solución correcta. El trabajo en pequeños
grupos es seguido por una discusión de clase conducida por el instructor. Austin sugiere
que el conductor de la discusión incluya las siguientes categorías de preguntas:
_ Búsqueda de información: Estas son las preguntas de “qué, quién, cuándo y dónde”
que despiertan respuestas de facto y que pueden resaltar ciertas piezas clave de
información y asegurar una base de datos común.
_ Analítica: Las preguntas de “por qué y cómo” provocan diagnósticos, causalidades y
pensamiento interpretativo, lo que es a menudo central en lograr objetivos de
construcción de capacidades mentales.
_ Reto: Estas son preguntas “por qué” orientadas a obligar a los estudiantes a extender
y profundizar su análisis mediante la dotación de declaraciones de apoyo o a través de
la respuesta a contra argumentos.
_ Acción: preguntas como “qué harías tu cuándo, dónde y por qué” presionan a los
estudiantes a tomar decisiones y a abordar los procesos de implementación.
_ Hipotéticas: Estas preguntas “si – entonces, permiten crear situaciones nuevas que
obligan a los estudiantes a extender su pensamiento bajo diferentes presupuestos.
Esta es una manera de ir mas allá de ciertas brechas de información o de facto en un
estudio de caso.
_ Predictiva: preguntas sobre “qué va a pasar” obligan a los estudiantes a entrar en la
incertidumbre y a respaldar sus predicciones. Esto puede ser útil cuando el instructor
sabe lo que realmente sucedió y desea revelarlo luego de que los estudiantes hayan
hecho sus predicciones, permitiéndoles de esta manera una discusión comparativa.
_ Generalización: preguntas sobre “qué lecciones generales” empujan al estudiante a
un nivel más abstracto de razonamiento cognoscitivo, lo que es a menudo
particularmente útil para lograr objetivos de incrementar el conocimiento sobre
conceptualizaciones.
El instructor necesita desarrollar un plan que incluya los tópicos a ser cubiertos y una
serie de preguntas.
Cada detalle en el caso puede ser empleado como evidencia en un debate de clase, así
que la esencia de la tarea de preparación del instructor es planeamiento de contingencia:
analizando el caso para todas sus posibles interpretaciones (Maister 1981).
Talleres de Estudio de Caso
OED auspiciará talleres de redacción y enseñanza de estudios de caso e invitará a
representantes de redes y a otro personal del Banco Mundial a incrementar la utilización
de estudios de caso de enseñanza en la diseminación de su trabajo y de las lecciones
aprendidas.
Bibliografía Seleccionada
Agranoff, R., y B.A. Radin 1991. “The Comparative Case Study Approach in Public Administration.”
Research in Public Administration 1: 203–21.
Austin, James E. 1993. “Teaching Notes: Communicating the Teacher’s Wisdom.” Boston: Harvard
Business School, Harvard University (5-793-105).
Cohen, Bruce. 1978. “Considerations for Writing Case Studies: Course Note.” Washington, D.C.: World
Bank Economic Development Institute.
Feagin, Joseph R. 1991. A Case for the Case Study. Chapel Hill: University of North Carolina Press.
Gable, G. G. 1994. “Integrating Case Study and Survey Research Methods: An Example in Information
System” European Journal of Information Systems : An Official Journal of the Operational
Research Society 3: 2.
Greene, Jennifer C., y Valerie J. Caracelli (eds.). 1997. Advances in Mixed-Method Evaluation: The
Challenges and Benefits of Integrating Diverse Paradigms. New Directions for Program Evaluation,
No. 74. San Francisco, CA: Jossey-Bass.
Hamel, Jacques. 1993. Case Study Methods. Thousand Oaks, CA: Sage.
Harvard University, John F. Kennedy School of Government. n.d. Case No. C15-97-1400.0. Boston, MA.
———. n.d. Case No. CR1-97-1396.0. Boston, MA.
Jayarajah, Carl, y William Branson. 1995. Structural and Sectoral Adjustment: World Bank Experience,
1980-92. Washington, D.C.: World Bank, Operations Evaluation Department.
Kennedy, David M., y Ester Scott. 1985. “Preparing Cases in Public Policy.” Boston: Kennedy School of
Government, Harvard University (N15-85-652.0).
Klein, Hans. 1995. The Art of Interactive Teaching: with Cases, Simulations, Games and Other
Interactive Methods. Needham, MA: World Association for Case Method Research and
Application.
Lynn, Lawrence E., Jr. 1998. Teaching and Learning with the Case Method: A Guide for Teachers,
Instructors, Trainers, and Learners. Chatham: Chatham House.
Maister, David H. 1981. “Preparing for Class.” Boston: Harvard Business School, Harvard University (9-
682-014).
Merriam, Sharan B. 1997. Qualitative Research and Case Study Applications in Education. San
Francisco, CA: Jossey-Bass.
Miles, Matthew B., y Michael A. Huberman. 1994. Qualitative Data Analysis: An Expanded Sourcebook.
Thousand Oaks, CA: Sage.
Platt, J. 1992. “ ‘Case Study’ in American Methodological Thought.” Current Sociology 40(1): 17–48.
Rice, E. B. 1997. Paddy Irrigation and Water Management in Southeast Asia. Washington, D.C.: World
Bank, Operations Evaluation Department.
Robyn, Dorothy. 1986. “What Makes a Good Case?” Boston: Kennedy School of Government, Harvard
University (N15-86-673.0).
Stake, Robert E. 1995. The Art of Case Study Research: Perspectives on Practice. Thousand Oaks, CA:
Sage.
Sullivan, Rick, y Kim Ruyle. 1997. “Case Studies: An Essential Training Tool.” Technical and Skills
Training: 27–29.
U.S. General Accounting Office. 1990. Case Study Evaluations. Transfer Paper 10.1.9. Washington,
D.C.
Valadez, Joseph, y Michael Bamberger (eds.). 1994. Monitoring and Evaluating Social Programs in
Developing Countries: A Handbook for Policymakers, Managers, and Researchers. Washington,
D.C.: World Bank, Economic Development Institute. World Bank. 1996a. Participation Sourcebook.
Washington, D.C.
———. 1996b. Kenya: Development of Housing, Water Supply, and Sanitation in Nairobi. Washington,
D.C.
———. 1996c. Irrigation O&M and System Performance in Southeast Asia. Operations Evaluation
Department. Washington,
D.C.
———. 1997a. Korea Impact Evaluation Report. Delayed Development of the Cholla Region: An
Institutional Study. Washington, D. C.
23
———. 1997b. World Bank Support for Small and Medium Industries in Sri Lanka: An Impact Evaluation.
Washington, D.C.
———. 1997c. Two Water Projects in Malawi. OED Précis. Washington, D.C.
———. 1997d. Transport in Thailand: Lessons for Institutional Development. OED Précis. Washington,
D.C.
———. 1998a. Kingdom of Morocco: Socioeconomic Influence of Rural Roads, Fourth Highway Project
(Loan 2254-MOR). Washington, D.C.
———. 1998b. The Size, Origins, and Character of Mongolia’s Informal Sector During the Transition.
World Bank Pol icy Research Working Paper 1916. Washington, D.C.
———. 1998c. Recent Experience with Involuntary Resettlement (seven volumes: one overview and six
country reports). Washington, D.C.
———. 1998d. Lessons from Experience in HNP (five volumes: an overview and four country reports).
Washington, D.C.
———. 1998e. The World Bank’s Experience with Post-Conflict Resolution (five volumes). Washington,
D.C.
Yin, Robert K. 1989. Case Study Research: Design and Methods. Applied Social Research Methods
Series, volume 5. Thousand Oaks, CA. : Sage.
———. 1993. Application of Case Study Research. Thousand Oaks, CA: Sage.
———. 1994. Case Study Research: Design and Methods. Applied Social Research Methods Series,
volume 5, 2d ed. Thousand Oaks, CA. : Sage.
———. 1997. “Case Study Evaluations: A Decade of Progress?” New Directions for Evaluation 76. San
Francisco, CA: Jossey-Bass..21
24
Documentos de Trabajo de ECD
Barberie, Alain. 1998. Indonesia’s Nat ional Evaluation System.
Brushett, Stephen. 1998. Zimbabwe: Issues and Opportunities.
Guerrero O. R. Pablo. 1999. Comparative Insights form Colombia, China, and Indonesia.
Mackay, Keith. 1998. Lessons from National Experience.
———. 1998. The Development of Australia’s Evaluation System.
———. 1998. Capacity Development: A Diagnostic Guide and Action Framework.
Documentos de Trabajo de ECD
Anderson, Jock R., y Dana G. Dalrymple. 1998. The World Bank, the Grant Program, and
the CGAIR: A Retrospective Review.
Otras Lecturas Recomendadas
1. Mackay, Keith (ed.). Public Sector Performance—The Critical Role of Evaluation.
2. World Bank. 1994. Building Evaluation Capacity. Lessons & Practices no. 4.*
3. ———. 1996. Designing Project Monitoring and Evaluation, Lessons & Practices no. 8.*
4. ———. 1997. Evaluating Development Outcomes: Methods for Judging Outcomes and
Impacts. Lessons & Practices no. 10.*
5. ———. 1998. Assessing Development Effectiveness.*
* Estas publicaciones estarán pronto disponibles tanto en francés como en español.
25
Notas Finales
Este documento toma muy libremente la publicación de la Oficina General de Contabilidad
de los Estados Unidos, Case Study Evaluations, Transfer Paper 10.1.9, Noviembre 1990.
Los autores quedan en deuda con Lois-Ellin Datta, la autora de la publicación. Este libro
es de dominio público.
1 Yin 1989 contiene excelentes secciones, repletas de ejemplos de protocolos de estudios de caso y medios
de analizar datos de estudios de caso.
2 Véase, por ejemplo, Miles y Huberman 1994 para técnicas de análisis extensas, fáciles de leer, dentro del
caso y a través del caso.
3 La mayor parte de los siguiente puntos son tomados de Cohen 1978.
.