jueves, 16 de junio de 2011

METAEVALUACIÓN

La metaevaluación (proceso de evaluación de las evaluaciones) permite preguntarse por algunas cuestiones que vienen a continuación:


El aprendizaje


Es necesario aprender de las evaluaciones que se realizan. Todos podemos aprender, pero sólo lo podemos hacer si reflexionamos de forma rigurosa y desapasionada sobre los procesos y los resultados.



Es necesario preguntarse por la preparación de los inspectores para hacer un tipo de evaluación, por el tiempo del que disponen... Es imprescindible interrogarse por la actitud del profesorado ante la evaluación. ¿Por qué repetir los errores de una forma irracional y perseverante?



La mejora



La evaluación tiene que estar encaminada a la mejora de la práctica educativa. La evaluación es una garantía de la calidad para el centro educativo, siempre y cuando se realice y encamine a la mejora y no al control, comparación, clasificación, jerarquización o discriminación.



Para que la mejora se produzca es necesario que la disposición de los que intervienen en ella sea abierta y comprometida, si no existe actitud autocrítica y apertura a la opinión externa es muy difícil que cambie algo profundamente. La mejora exige una negociación de los informes extensa y profunda.



El rigor



Una de las preocupaciones más importantes de la metaevaluación es la comprobación del rigor que ha tenido la evaluación.



El proceso de triangulación consiste en la contrastación, en la depuración de los datos. La información procedente de distintos métodos no siempre dice lo mismo. Con la triangulación no se trata de eliminar discrepancias sino de explicarlas.



La transferencia



La evaluación que se hace de una escuela puede servir para el aprendizaje y el cambio de otras escuelas. En la medida en que los centros tengan características y contextos más similares la transferibilidad será más fácil.



La ética



La metaevaluación no es un proceso exclusivamente técnico. Tiene una dimensión sustancialmente ética. La metaevaluación se ha de centrar en su vertiente moral.



Abusos de la evaluación:


- Convertir la evaluación en un elogio a quien la patrocina o la realiza
- Elegir parcelas para la evaluación que favorezcan una realidad sobre la misma.
- Hacer una evaluación de diferente naturaleza y rigor para realidades igualmente importantes.
- Convertir la evaluación en un instrumento de dominación, control y opresión.
- Poner la evaluación al servicio de quienes más tienen o más pueden.
- Atribuir los resultados a causas más o menos supuestas a través de procesos atributivos arbitrarios.
- Encargar la evaluación a equipos o personas sin interdependencia o valor para decir la verdad.
- Silenciar los resultados de la evaluación respecto a los evaluados o a otras audiencias.
- Seleccionar aquellos aspectos que permiten tomar decisiones que apoyan las iniciativas, ideas o planteamientos del poder.
- Hacer públicas sólo las partes del informe que tienen carácter halagador para el poder.
- Descalificar la evaluación achacándole falta de rigor si los resultados no interesan.
- Dar por buenos los resultados de la evaluación a pesar de su falta de rigor.
- Utilizar los resultados para tomar decisiones clara o subrepticiamente injustas.
- Aprovechar la evaluación para hacer falsas comparaciones entre lo que es realmente incomparable.

- Atribuir los malos resultados a la torpeza, la pereza o la mala preparación o voluntad de los usuarios del mismo, y no al desarrollo del programa.


Las exigencias de un contrato equitativo de evaluación son:


- Ausencia de coerción: nadie debe ejercer presión ni control sobre otros.
- Racionalidad: los participantes han de actuar de forma lógica y sensata..
- Aceptación de los términos.
- Acuerdo conjunto.
- Desinterés: Llegar a un acuerdo no garantiza que se hayan supeditado los intereses particulares a los generales.
- Universalidad: La normativa tiene que afectar a todos por igual, incluidos los evaluadores.
- Interés comunitario.
- Información igual y completa: Nadie debe tener acceso a una información privilegiada.
- Ausencia de riesgos: Uno de los propósitos del contrato de evaluación es que no se deriven riesgos para quienes se someten a ella.
- Viabilidad: El contrato de evaluación ha de ser de tal naturaleza que sea posible llevarlo a cabo.
- Contar con todas las opiniones.
- Participación: La condición final del contrato es que todos los participantes puedan participar.


¿Cómo se realizala metaevaluación?



La metaevaluación puede emprenderse paralelamente a la evaluación, aunque también puede realizarse una vez finalizada la misma. Han de exigírsele todos aquellos requisitos que se le pide a la evaluación.


A) El proceso de negociación.

La negociación no sólo se refiere al contenido del informe. Afecta también a la calidad de los procesos que han hecho posible su elaboració, y a las posibilidades de mejora que parten del mismo.

B) Aplicación de los criterios

No hay criterios absolutos, pero existen exigencias que permiten garantizar que se ha alcanzado el rigor necesario para afirmar que lo que contiene el informe es un reflejo fiel de lo que sucede y no una invención del evaluador.

C) Juicio crítico de expertos.

Para poder realizar un juicio fundado, los expertos tienen que conocer lo que ha sucedido en la evaluación.

La metaevaluación debe facilitar el aprendizaje de los evaluadores que se acercan a la comprensión de los procesos.

D) La opinión de los protagonistas.

Una vez finalizada la evaluación, los protagonistas de la misma pueden emitir sus opiniones por escrito o de forma oral, de manera que sea posible descubrir aquellos problemas que hayan condicionado el proceso.




La meta de la metaevaluación:

La metaevaluación es la evaluación de la evaluación, es decir, es la investigación que tiene como fin valorar la calidad de la metodología de la evaluación empleada y el valor de las consecuencias de la aplicación de esa metodología. Su meta es averiguar hasta qué punto la evaluación ha ampliado sus objetivos, hasta qué punto se han cumplido y si los instrumentos utilizados son los adecuados.

Parámetros de la metaevaluación:

La metaevaluación se puede decir que investiga aquellas deficiencias o debilidades que han marcado a la evaluación. Pero, ¿cómo pueden detectarse esas deficiencias y a través de que parámetros? Los parámetros serian los siguientes:


- La definición de los objetivos que se persiguen con la evaluación.

- La elección del momento para que se realice la evaluación y su duración.

- La predeterminación de los parámetros a evaluar en la evaluación.

- La identificación del sistema de evaluación diseñado con lo que se entiende como patrón de calidad de los programas.

- El cumplimiento de los evaluadores de ejercer como evaluadores.

- La organización del trabajo de los evaluadores.

- El clima durante la evaluación.

- El nivel de participación de los interesados en el proceso de evaluación.

- El apoyo institucional para que el proceso de evaluación se lleve a cabo.

- Las técnicas empleadas por los evaluadores para la recogida de la información, así como la calidad de los documentos presentados.

- La suficiencia de medios y recursos con que se cuenta para la realización de la evaluación.

- La calidad del informe final presentado por los evaluadores.






Ejemplo práctico de metaevaluación

Desarrollo general del proceso de Metaevaluación del Plan de Evaluación de Centros Docentes no universitarios de Andalucía.

Se establece mediante un convenio específico de Colaboración entre la Conserjería de Educación y Ciencia de la Junta de Andalucía y la Universidad de Málaga el 5 de noviembre de 2001. Así se abre paso al diseño y desarrollo de este pro9ceso que se lleva a cabo por el grupo de investigación HUM 365 durante 1 año y 11 meses.

El diseño y posterior envío y aprobación de extendió durante los dos meses siguientes.

Empieza el desarrollo del proceso de la Metaevaluación, que abarca la selección de la muestra, la elaboración de los instrumentos de evaluación y su aplicación la obtención de datos y su interpretación y redacción.

El análisis, la interpretación y la redacción de los resultados va realizándose a lo largo de la aplicación progresiva de los instrumentos de evaluación, lo cual nos va aportando información para abordar a los participantes en los siguientes contactos. Esta fase comienza en mayo de 2002 y finaliza en septiembre de 2003.


Fases

En primer lugar se realiza un estudio de la legislación y la normativa sobre la que se inició el proceso de Evaluación de Centros Escolares, así como los documentos de la Junta de Andalucía una vez finalizado este. Seguidamente, se definen los criterios de selección y la elección de la muestra representativa de los Centros de Andalucía. Algunos de esos criterios son que aparecieran centros públicos y concertados, que representara entornos rurales y urbanos, que incluyera las diferentes etapas educativas, que se distribuyera por la geografía andaluza, etc.

Finalmente, la muestra queda constituida por 105 Centros.

En febrero, la Consejería de Educación y Ciencia envía una carta notificando el objeto de la Metaevaluación y pidiendo la máxima colaboración.

La recogida de información se desarrolla intensamente durante el primer trimestre del curso 2002-2003, pero se amplía y concluye en junio del 2003. La recogida de información se sustenta sobre cuatro pilares


a) Cuestionarios


Se pretende recoger la mayor cantidad de información posible de los colectivos que participaron en la Evaluación de algún Centro Educativo desde el curso escolar 1996-1997 hasta el 1999-2000.

Se han confeccionado 4 modelos, uno por cada sector que han intervenido. No se tiene en cuenta al alumnado porque se preveía su promoción a otros tramos educativos o su incorporación al mundo laboral. No se debe a que menosprecien su información, sino a la gran dificultad para conectar con representantes del colectivo.

En octubre del 2002 se procede a su aplicación. La demora en la recepción de los Centros de la carta de presentación hace que no recuerden la petición que se realizó por teléfono, lo que se intentó subsanar llevando una copia de la carta. La mayoría corrobora su registro de entrada, otros aseguran no haberla recibido pero se trata de una “excusa” para no participar en la metaevaluación. Para la aplicación se siguen los siguientes pasos:

- Llamada de teléfono a la Dirección para informar de la Metaevaluación y se solicita fecha y hora para entregar los cuestionarios.

- Entrega personal de los cuestionarios adjuntándose una carta de presentación en la que se informa sobre el proyecto. Se ofrece 15 días para cumplimentarlos y se anuncia una vuelta para recogerlos.

- Recogida de los Cuestionarios, previo contacto telefónico para anunciar la llegada. En la mayoría de los Centros ha sido necesario ampliar el plazo.


La actitud favorable de los directores ha sido un elemento clave ya que a través de ellas nos hemos introducido en los Centros.


b) Entrevistas.


Una vez recogidos los cuestionarios pasamos a la realización de entrevistas, que se llevan a cabo a partir de unas consideraciones generales:


- Se les ofrece la opción de realizarlas de forma individual o colectiva. Al principio de la fase se realiza de forma individual pero progresiva y mayoritariamente se van realizando en grupo.

- Se plantea entrevistar, al menos, a tres miembros de la Inspección por provincia, lo que resulta imposible por la ausencia de respuesta a la solicitud que se les presenta a los inespectores/as.

- Se elabora un guión temático que sigue la estructura del Cuestionario, con objeto de que pueda hacerse más fácilmente la triangulación de la información.

- Se sugiere lagrabación de las entrevistas, y si no es posible, tomar notas y hacer cuanto antes el informe de la entrevista. Las Entrevistas fueron grabadas en su mayoría en cintas de audio.

- Se ha de contextualizar la entrevista

- Se asegurará el anonimato


El momento de realizar las entrevistas ha sido en horario lectivo. Al principio les cuesta recordar cosas pasadas, pero luego pasan a conversar y cooperar aportando matices y comentarios. Se producen incluso aclaraciones y correcciones sobre lo que respondieron en el Cuestionario.


c) Análisis de documentos.


En primer lugar, de los documentos legales y la normativa.

En un segundo momento, se realiza una aproximación a los documentos publicados por la Junta de Andalucía sobre el Plan de Evaluación de Centros y sobre los resultados de la aplicación del mismo.
En contacto con los centros, pasamos a analizar los Informes de Evaluación. Deberían ser los inspectores los que proporcionen esa información, pero se niegan, haciendo imposible hacernos con ellos. Se ven obligados a recurrir as los Centros para que les faciliten una copia, a lo que la mayoría acepta sin problemas.

d) Grupos de discusión o debate


Se realiza un debate en cada una de las provincias en los que se pide la participación de representantes de los diferentes colectivos implicados en la Evaluación de los Centros.

En todos los casos existe un moderador que organiza y coordina el debate.

En general el clima es tranquilo y colaborativo.




Bibliografía

Santos, M.A. (2003). Una flecha en la diana. La evaluación como aprendizaje. Madrid: Narcea.

Ramírez, M.S. (1998). Metaevaluación de las prácticas de evaluación del docente universitario. Salamanca.

Santos, M.A. Nieve y barro. Editorial Mad.

www.sld.cu/galerias/pdf/sitios/prevemi/metaevaluacion.pdf

No hay comentarios:

Publicar un comentario