jueves, 16 de junio de 2011

METAEVALUACIÓN

La metaevaluación (proceso de evaluación de las evaluaciones) permite preguntarse por algunas cuestiones que vienen a continuación:


El aprendizaje


Es necesario aprender de las evaluaciones que se realizan. Todos podemos aprender, pero sólo lo podemos hacer si reflexionamos de forma rigurosa y desapasionada sobre los procesos y los resultados.



Es necesario preguntarse por la preparación de los inspectores para hacer un tipo de evaluación, por el tiempo del que disponen... Es imprescindible interrogarse por la actitud del profesorado ante la evaluación. ¿Por qué repetir los errores de una forma irracional y perseverante?



La mejora



La evaluación tiene que estar encaminada a la mejora de la práctica educativa. La evaluación es una garantía de la calidad para el centro educativo, siempre y cuando se realice y encamine a la mejora y no al control, comparación, clasificación, jerarquización o discriminación.



Para que la mejora se produzca es necesario que la disposición de los que intervienen en ella sea abierta y comprometida, si no existe actitud autocrítica y apertura a la opinión externa es muy difícil que cambie algo profundamente. La mejora exige una negociación de los informes extensa y profunda.



El rigor



Una de las preocupaciones más importantes de la metaevaluación es la comprobación del rigor que ha tenido la evaluación.



El proceso de triangulación consiste en la contrastación, en la depuración de los datos. La información procedente de distintos métodos no siempre dice lo mismo. Con la triangulación no se trata de eliminar discrepancias sino de explicarlas.



La transferencia



La evaluación que se hace de una escuela puede servir para el aprendizaje y el cambio de otras escuelas. En la medida en que los centros tengan características y contextos más similares la transferibilidad será más fácil.



La ética



La metaevaluación no es un proceso exclusivamente técnico. Tiene una dimensión sustancialmente ética. La metaevaluación se ha de centrar en su vertiente moral.



Abusos de la evaluación:


- Convertir la evaluación en un elogio a quien la patrocina o la realiza
- Elegir parcelas para la evaluación que favorezcan una realidad sobre la misma.
- Hacer una evaluación de diferente naturaleza y rigor para realidades igualmente importantes.
- Convertir la evaluación en un instrumento de dominación, control y opresión.
- Poner la evaluación al servicio de quienes más tienen o más pueden.
- Atribuir los resultados a causas más o menos supuestas a través de procesos atributivos arbitrarios.
- Encargar la evaluación a equipos o personas sin interdependencia o valor para decir la verdad.
- Silenciar los resultados de la evaluación respecto a los evaluados o a otras audiencias.
- Seleccionar aquellos aspectos que permiten tomar decisiones que apoyan las iniciativas, ideas o planteamientos del poder.
- Hacer públicas sólo las partes del informe que tienen carácter halagador para el poder.
- Descalificar la evaluación achacándole falta de rigor si los resultados no interesan.
- Dar por buenos los resultados de la evaluación a pesar de su falta de rigor.
- Utilizar los resultados para tomar decisiones clara o subrepticiamente injustas.
- Aprovechar la evaluación para hacer falsas comparaciones entre lo que es realmente incomparable.

- Atribuir los malos resultados a la torpeza, la pereza o la mala preparación o voluntad de los usuarios del mismo, y no al desarrollo del programa.


Las exigencias de un contrato equitativo de evaluación son:


- Ausencia de coerción: nadie debe ejercer presión ni control sobre otros.
- Racionalidad: los participantes han de actuar de forma lógica y sensata..
- Aceptación de los términos.
- Acuerdo conjunto.
- Desinterés: Llegar a un acuerdo no garantiza que se hayan supeditado los intereses particulares a los generales.
- Universalidad: La normativa tiene que afectar a todos por igual, incluidos los evaluadores.
- Interés comunitario.
- Información igual y completa: Nadie debe tener acceso a una información privilegiada.
- Ausencia de riesgos: Uno de los propósitos del contrato de evaluación es que no se deriven riesgos para quienes se someten a ella.
- Viabilidad: El contrato de evaluación ha de ser de tal naturaleza que sea posible llevarlo a cabo.
- Contar con todas las opiniones.
- Participación: La condición final del contrato es que todos los participantes puedan participar.


¿Cómo se realizala metaevaluación?



La metaevaluación puede emprenderse paralelamente a la evaluación, aunque también puede realizarse una vez finalizada la misma. Han de exigírsele todos aquellos requisitos que se le pide a la evaluación.


A) El proceso de negociación.

La negociación no sólo se refiere al contenido del informe. Afecta también a la calidad de los procesos que han hecho posible su elaboració, y a las posibilidades de mejora que parten del mismo.

B) Aplicación de los criterios

No hay criterios absolutos, pero existen exigencias que permiten garantizar que se ha alcanzado el rigor necesario para afirmar que lo que contiene el informe es un reflejo fiel de lo que sucede y no una invención del evaluador.

C) Juicio crítico de expertos.

Para poder realizar un juicio fundado, los expertos tienen que conocer lo que ha sucedido en la evaluación.

La metaevaluación debe facilitar el aprendizaje de los evaluadores que se acercan a la comprensión de los procesos.

D) La opinión de los protagonistas.

Una vez finalizada la evaluación, los protagonistas de la misma pueden emitir sus opiniones por escrito o de forma oral, de manera que sea posible descubrir aquellos problemas que hayan condicionado el proceso.




La meta de la metaevaluación:

La metaevaluación es la evaluación de la evaluación, es decir, es la investigación que tiene como fin valorar la calidad de la metodología de la evaluación empleada y el valor de las consecuencias de la aplicación de esa metodología. Su meta es averiguar hasta qué punto la evaluación ha ampliado sus objetivos, hasta qué punto se han cumplido y si los instrumentos utilizados son los adecuados.

Parámetros de la metaevaluación:

La metaevaluación se puede decir que investiga aquellas deficiencias o debilidades que han marcado a la evaluación. Pero, ¿cómo pueden detectarse esas deficiencias y a través de que parámetros? Los parámetros serian los siguientes:


- La definición de los objetivos que se persiguen con la evaluación.

- La elección del momento para que se realice la evaluación y su duración.

- La predeterminación de los parámetros a evaluar en la evaluación.

- La identificación del sistema de evaluación diseñado con lo que se entiende como patrón de calidad de los programas.

- El cumplimiento de los evaluadores de ejercer como evaluadores.

- La organización del trabajo de los evaluadores.

- El clima durante la evaluación.

- El nivel de participación de los interesados en el proceso de evaluación.

- El apoyo institucional para que el proceso de evaluación se lleve a cabo.

- Las técnicas empleadas por los evaluadores para la recogida de la información, así como la calidad de los documentos presentados.

- La suficiencia de medios y recursos con que se cuenta para la realización de la evaluación.

- La calidad del informe final presentado por los evaluadores.






Ejemplo práctico de metaevaluación

Desarrollo general del proceso de Metaevaluación del Plan de Evaluación de Centros Docentes no universitarios de Andalucía.

Se establece mediante un convenio específico de Colaboración entre la Conserjería de Educación y Ciencia de la Junta de Andalucía y la Universidad de Málaga el 5 de noviembre de 2001. Así se abre paso al diseño y desarrollo de este pro9ceso que se lleva a cabo por el grupo de investigación HUM 365 durante 1 año y 11 meses.

El diseño y posterior envío y aprobación de extendió durante los dos meses siguientes.

Empieza el desarrollo del proceso de la Metaevaluación, que abarca la selección de la muestra, la elaboración de los instrumentos de evaluación y su aplicación la obtención de datos y su interpretación y redacción.

El análisis, la interpretación y la redacción de los resultados va realizándose a lo largo de la aplicación progresiva de los instrumentos de evaluación, lo cual nos va aportando información para abordar a los participantes en los siguientes contactos. Esta fase comienza en mayo de 2002 y finaliza en septiembre de 2003.


Fases

En primer lugar se realiza un estudio de la legislación y la normativa sobre la que se inició el proceso de Evaluación de Centros Escolares, así como los documentos de la Junta de Andalucía una vez finalizado este. Seguidamente, se definen los criterios de selección y la elección de la muestra representativa de los Centros de Andalucía. Algunos de esos criterios son que aparecieran centros públicos y concertados, que representara entornos rurales y urbanos, que incluyera las diferentes etapas educativas, que se distribuyera por la geografía andaluza, etc.

Finalmente, la muestra queda constituida por 105 Centros.

En febrero, la Consejería de Educación y Ciencia envía una carta notificando el objeto de la Metaevaluación y pidiendo la máxima colaboración.

La recogida de información se desarrolla intensamente durante el primer trimestre del curso 2002-2003, pero se amplía y concluye en junio del 2003. La recogida de información se sustenta sobre cuatro pilares


a) Cuestionarios


Se pretende recoger la mayor cantidad de información posible de los colectivos que participaron en la Evaluación de algún Centro Educativo desde el curso escolar 1996-1997 hasta el 1999-2000.

Se han confeccionado 4 modelos, uno por cada sector que han intervenido. No se tiene en cuenta al alumnado porque se preveía su promoción a otros tramos educativos o su incorporación al mundo laboral. No se debe a que menosprecien su información, sino a la gran dificultad para conectar con representantes del colectivo.

En octubre del 2002 se procede a su aplicación. La demora en la recepción de los Centros de la carta de presentación hace que no recuerden la petición que se realizó por teléfono, lo que se intentó subsanar llevando una copia de la carta. La mayoría corrobora su registro de entrada, otros aseguran no haberla recibido pero se trata de una “excusa” para no participar en la metaevaluación. Para la aplicación se siguen los siguientes pasos:

- Llamada de teléfono a la Dirección para informar de la Metaevaluación y se solicita fecha y hora para entregar los cuestionarios.

- Entrega personal de los cuestionarios adjuntándose una carta de presentación en la que se informa sobre el proyecto. Se ofrece 15 días para cumplimentarlos y se anuncia una vuelta para recogerlos.

- Recogida de los Cuestionarios, previo contacto telefónico para anunciar la llegada. En la mayoría de los Centros ha sido necesario ampliar el plazo.


La actitud favorable de los directores ha sido un elemento clave ya que a través de ellas nos hemos introducido en los Centros.


b) Entrevistas.


Una vez recogidos los cuestionarios pasamos a la realización de entrevistas, que se llevan a cabo a partir de unas consideraciones generales:


- Se les ofrece la opción de realizarlas de forma individual o colectiva. Al principio de la fase se realiza de forma individual pero progresiva y mayoritariamente se van realizando en grupo.

- Se plantea entrevistar, al menos, a tres miembros de la Inspección por provincia, lo que resulta imposible por la ausencia de respuesta a la solicitud que se les presenta a los inespectores/as.

- Se elabora un guión temático que sigue la estructura del Cuestionario, con objeto de que pueda hacerse más fácilmente la triangulación de la información.

- Se sugiere lagrabación de las entrevistas, y si no es posible, tomar notas y hacer cuanto antes el informe de la entrevista. Las Entrevistas fueron grabadas en su mayoría en cintas de audio.

- Se ha de contextualizar la entrevista

- Se asegurará el anonimato


El momento de realizar las entrevistas ha sido en horario lectivo. Al principio les cuesta recordar cosas pasadas, pero luego pasan a conversar y cooperar aportando matices y comentarios. Se producen incluso aclaraciones y correcciones sobre lo que respondieron en el Cuestionario.


c) Análisis de documentos.


En primer lugar, de los documentos legales y la normativa.

En un segundo momento, se realiza una aproximación a los documentos publicados por la Junta de Andalucía sobre el Plan de Evaluación de Centros y sobre los resultados de la aplicación del mismo.
En contacto con los centros, pasamos a analizar los Informes de Evaluación. Deberían ser los inspectores los que proporcionen esa información, pero se niegan, haciendo imposible hacernos con ellos. Se ven obligados a recurrir as los Centros para que les faciliten una copia, a lo que la mayoría acepta sin problemas.

d) Grupos de discusión o debate


Se realiza un debate en cada una de las provincias en los que se pide la participación de representantes de los diferentes colectivos implicados en la Evaluación de los Centros.

En todos los casos existe un moderador que organiza y coordina el debate.

En general el clima es tranquilo y colaborativo.




Bibliografía

Santos, M.A. (2003). Una flecha en la diana. La evaluación como aprendizaje. Madrid: Narcea.

Ramírez, M.S. (1998). Metaevaluación de las prácticas de evaluación del docente universitario. Salamanca.

Santos, M.A. Nieve y barro. Editorial Mad.

www.sld.cu/galerias/pdf/sitios/prevemi/metaevaluacion.pdf

lunes, 23 de mayo de 2011

Sistemas de Autoevaluación Docente

El concepto de autoevaluación del profesor:

Definición según Ball: “proceso informal o formal utilizado por un profesor para emitir juicios acerca de su propio comportamiento profesional”.

Como ya he dicho, este proceso puede ser formal e informal, y se diferencian en que el formal está más planificado y es más reflexivo, además de estar centrado en la mejora del profesor; mientras que el informal es más espontáneo e inmediato y su centro es el seguimiento de los alumnos.

Los procesos de autoevaluación pueden llevarse a cabo basándose en datos que aporta el propio profesor, o bien a partir de informaciones sobre la actuación del profesor que provienen de otras fuentes (como compañeros y/o alumnos). Pero debido a la gran variedad de posibles situaciones es difícil la tarea de establecer unos elementos y momentos de la autoevaluación. Sin embargo, en la mayoría de los casos el proceso de autoevaluación puede seguir los seis pasos siguientes:

-adopción de la autoevaluación como estrategia de mejora -> El compromiso de las personas, los equipos y las instituciones con la autoevaluación dependerá de la medida en la que asuman las ideas básicas de la autoevaluación.

-determinación de los objetivos del proceso-> decidir qué beneficios se espera obtener de la autoevaluación y cuál va a ser su foco. Previamente a la iniciación es necesaria una revisión, decidir cuáles resultan adecuados y plantear si se prevé que los esfuerzos vayan a merecer la pena.

-selección y/o adaptación de estrategias y procedimientos-> No todas las estrategias que vamos a nombrar a continuación son adecuadas para cualquier contexto, por lo que hay que seleccionar las que mejor se adapten a nuestros objetivos.

-obtención y tratamiento de los resultados-> las pautas a seguir varían según cuál sea la estrategia seleccionada.

-análisis de los resultados y toma de decisiones-> dos niveles: individual y colectivo. Individual: comparación personal o similar.

-revisión del conjunto del proceso de autoevaluación-> revisión continua, proceso dinámico, en constante evolución. Cuatro atributos que se deben cumplir: conveniencia, utilidad, viabilidad, precisión.



Pautas para el desarrollo de la autoevaluación docente:
La calidad de los procesos de autoevaluación se ve afectada por muy diversas condiciones; referidas al profesor individual, el equipo y la situación en la que trabaja. Pueden distinguirse tres tipos de condiciones:
  • el compromiso individual, grupal e institucional con el desarrollo profesional y la autoevaluación, asociado a actitudes de apertura y curiosidad.
  • la existencia de recursos (humanos, materiales y temporales) y un clima adecuado para la autoevaluación.
  • la unión de la autoevaluación con otros procesos de mejora.

Objetivos de la autoevaluación docente
:
La autoevaluación docente puede ayudar de distintas maneras a la mejora de la enseñanza.
- Fomentar un sentido activo y de propiedad sobre los procesos de evaluación y de desarrollo profesional del docente, aunque no por ello se excluyen las aportaciones o la colaboración de otras instancias.
-Acabar con la incomunicación profesional que padecen los profesores entre sí.
-Estimular la profundización en el conocimiento profesional que surge de la experiencia y que debe ser compartido con los compañeros.
-Fijación de objetivos de mejora realizables, como por ejemplo: desarrollar la capacidad reflexiva del profesorado como se viene haciendo en los programas de formación inicial.



Estrategias para la autoevaluación del profesor:
Autoevaluación basada en cuestionarios:

Instrumentos mediante los cuales el profesor reflexiona para realizar un juicio acerca de la calidad de su actuación. Listas de control, cuestionarios de preguntas abiertas, y escalas de tipo Likert.

Sus ventajas e inconvenientes provienen del hecho de que sean precisamente los profesores los que aportan la información y las valoraciones. Además, la calidad y la adecuación de la formulación de las preguntas y de sus opciones de respuesta es fundamental.


Autoevaluación mediante grabaciones:

Las estrategias incluidas en esta categoría consisten en la grabación de audio y/o de vídeo del transcurso de una o varias clases. Las grabaciones de sonido pueden ayudar a identificar modos de expresión más eficaces, el reconocimiento y la corrección de hábitos que desaniman a los alumnos a participar, etc.; mientras que la visión de imágenes (véase Antonio Matas) puede servir para detectar y corregir especialmente detalles del lenguaje corporal como posturas, gestos, expresiones, etc.

Algunos estudios indican que estos medios conducen a cambios significativos de la conducta del profesor sobre todo cuando se dispone de grabaciones de modelos alternativos de actuación.



Autoevaluación a través de la observación por otros profesionales:

Se trata de procesos de autoevaluación en los que el profesor recurre a las aportaciones de otros profesionales de la enseñanza para valorar su propia enseñanza. Estos profesionales, mediante la observación en el aula, evaluarán las capacidades pedagógicas del docente, las relaciones interpersonales con sus alumnos, la responsabilidad que muestra , la emocionalidad y los resultados de su labor educativa etc.

Una técnica que se utiliza para que esta observación sea más efectiva son entrevistas pre y posobservación que pueden completar información relevante sobre la metodología del docente, ya que la observación por sí sola es incompleta, y además si el docente lo desea puede tener pequeñas reuniones con el compañero para poner en común las conclusiones extraídas de las diferentes sesiones e ir viendo personalmente como lo va evaluando. A esto hay que añadir que, para que los profesionales actúen adecuadamente como observadores, precisan de entrenamiento, sugerencias y pautas, así como una concepción de lo que es una buena enseñanza o una enseñanza eficaz.

Al final de esta práctica de observación, el profesional que observa puede recolectar ideas o sugerencias para que el docente mejore su metodología así como sacar las últimas conclusiones de esta estrategia para ver los posibles errores y mejorarlos.



Autoevaluación a través de las opiniones y los resultados de los alumnos:

Los alumnos son, junto con el propio profesor, quienes están presentes durante más tiempo en el aula. Sus opiniones pueden aportar informaciones y sugerencias que la investigación muestra que pueden ser valiosas, y que los profesores tienden a apreciar.

Los resultados que obtienen los alumnos también pueden ser utilizados por el profesor para revisar la calidad de su acción y su eficacia.



Autoevaluación mediante diarios y registros narrativos:

Instrumento en el que se recogen tanto las estimaciones sobre su práctica docente como las decisiones que ha tomado para mejorar.

Puede comentar cuales fueron los resultados y cambios producidos al llevar a cabo las decisiones tomadas repasando las páginas anteriores.

Comprobará las posibilidades de cambio e innovación y creará su autoconciencia y confianza.

Por otro parte dará a su trabajo un carácter de investigador sobre su propia capacidad de modificación y perfeccionamiento.


Las anotaciones además de las valoraciones pueden añadir respuestas a preguntas tales como: ¿Qué recuerdo de aquella lección? ¿Qué incidencias la caracterizaron? ¿Cuáles fueron las circunstancias que las facilitaron? ¿Qué recuerdo tengo de lo que me pasaba por la mente en aquellos instantes o minutos? ¿Qué significados, intenciones, prejuicios rodean al incidente en el aula? ¿Qué cosas no salieron como yo las tenía planteadas en el guión o en la programación semanal/quincenal de aula, y por qué? ¿Qué incidentes críticos me sorprendieron o me causaron desconciertos?



Conclusiones:
- La autoevaluación nos ayuda a conocer mejor nuestra propia metodología y a solventar los posibles errores que ésta posea, con el fin de impartir una docencia lo más eficaz posible.
- Nos ayuda a desarrollar nuevas habilidades y destrezas educativas aplicadas a nuestro método.
- Favorece la constante formación del docente, con lo cual es una buena experiencia de mejora.
- A medio plazo, será beneficioso para el proceso de enseñanza-aprendizaje (afectará también al alumno).

Sistemas de Autoevaluación Docente (Powerpoint)

Sistemas de autoevaluación docente

Videos presentes en el power point