Nuevas perspectivas de la autoevaluación: modelos

Por Pedro Municio
Profesor de la Universidad Complutense de Madrid.

La autoevaluación es uno de los conceptos y prácticas que más ha evolucionado a lo largo de los dos últimas décadas con la dificultad de que las personas y las instituciones están permanentemente a caballo entre los modelos tradicionales y las últimas aportaciones, entre el paradigma tradicional, el paradigma de la calidad y el posmodernismo. La dificultad se presenta por la imposibilidad de buscar la coherencia entre las distintas visiones, especialmente entre los modelos tradicionales y el nuevo paradigma instalados de forma diferente, en las distintas culturas de la población, en las instituciones sociales, organizaciones administrativas y las empresas. Con enorme frecuencia las personas se ven en situaciones contradictorias según actúen en distintos entornos. Para la mayoría la evolución ha sido tan rápida que solo se percibe como un caos del cambio de valores.

El sentido de la autoevaluación es diferente desde distintas perspectivas y no puede darse una definición única. Para los modelos tradicionales la autoevaluación es el seguimiento de la gestión que se hace desde arriba con el propósito de comprobar que la actividad se ejecuta adecuadamente. El evaluador no es nunca el que realiza la actividad. En los modelos de calidad la organización se autoevalúa comparándose con un modelo de excelencia y el resultado es el punto de partida para una planificación posterior. Mientras que en los modelos tradicionales la valoración depende de los criterios individuales y subjetivos del "propietario" del modelo de gestión, en los modelos de calidad la valoración se hace de forma objetiva y con componentes cuantitativos.

Los modelos de mejora son los que apoyan de forma directa la autoevaluación realizada por equipos e individuos sobre sus propios procesos. Este es un principio de la calidad, pero en la práctica solo estos modelos pretenden hacerlo efectivo. El concepto de mejora continua y de calidad como mejora son los apoyos esenciales de que la evaluación es una parte de la actividad de cualquier persona.

Los modelos derivados del Balanced Score Card se conciben como evaluaciones permanentes de la organización o de un proyecto a todos los niveles y, por tanto, entienden la autoevaluación como el seguimiento de un conjunto complejo de aspectos de la propia actividad. Por tanto, es el modelo que mejor representa la autoevalución al implicarla en la propia dinámica del agente.

Las diferencias entre los modelos son de índole muy variada. Hay que partir, en principio, de quién define qué es la calidad. De ser la calidad establecida desde arriba (por el director, el técnico o el ideólogo) al estilo tradicional o ser establecida por el receptor del servicio, hay una gran diferencia con profundos efectos. Entre otros este paso supone la existencia de criterios de calidad y la forma de fijación de sus descriptores para delimitarla y medirla. Para los modelos de calidad es el cliente un componente básico.

Los modelos tradicionales de evaluación.
Los modelos tradicionales, aunque basados en la cultura social de los siglos XVIII y XIX, se han desarrollado en el siglo XX e impregnan la mayor parte del pensamiento educativo en los primeros años del siglo XXI. Son pues, actuales, especialmente en educación por la propia inercia cultural, y su permanecía parece asegurada en un próximo futuro. En coherencia con la sociedad que los creó son modelos de pensamiento jerárquicos en los que la evaluación, aunque tome la forma de autoevaluación, representa siempre el ejercicio del poder de arriba abajo de la organización.

Cualquier modelo de evaluación ésta superpuesto a un modelo de acción porque su finalidad es necesariamente mejorar el funcionamiento de la acción. Esto significa que la historia de los modelos de evaluación, implícitos o explícitos, está estrechamente ligada al control. Un examen superficial de la historia permite apreciar, por ejemplo, que el control de la calidad en la educación siempre ha dependido de quien tenía el poder. En el medioevo la autoridad pontificia era quien daba la "licencia ubique docendi", en el renacimiento lo hicieron los príncipes y a partir del siglo XVIII la administración pública. En la medida en que la organización pública pretende limitar la libertad de los ciudadanos, la evaluación se hace más rígida y permanente.

Los modelos de evaluación propiamente dichos aparecen en el segundo tercio del siglo XX generalmente en sistemas descentralizados, especialmente en Estados Unidos, y en empresas de grandes dimensiones que necesitaban mantener un seguimiento de su funcionamiento interno, difícil de hacer directamente desde la dirección. Son generalmente orales y nacen como necesidad de comprobar que el sistema funciona como se ha planificado. Quién tiene el poder regula el funcionamiento del sistema y posteriormente quiere comprobar que se ha ejecutado lo establecido. El ejército, la hacienda real o las compañías de comercio ya los utilizaban en el siglo XVI cuando realizaban sus informes pero sólo la industrialización del siglo XIX con el crecimiento de las organizaciones los hizo necesarios.

La calidad que se valora es interna y, se centra en la realización de actividades, el cumplimiento de procedimientos y el empleo de recursos. Es, por tanto, una medida de conformidad y cumplimiento de carácter interno y sólo en las variantes más avanzadas se preocupan por los productos. Estos modelos denominados de "primera parte" (el interesado evalúa su propia organización) son el resultado combinado de teorías, ideologías, prejuicios, experiencias e investigación. Representan una visión personal de la gestión en las organizaciones y pueden incluirse bajo el nombre de modelos de control de calidad. Aunque pueda parecer extraño todavía se utilizan en muchas organizaciones cuyos directivos tienen poca formación en gestión.

La principal preocupación de estos modelos en su última fase se centra en identificar la baja calidad de los productos antes de que salgan al exterior. Primero se comienza estableciendo controles de calidad a la terminación del proceso pero se descubre que a los costes de los desperdicios se unen los costes de control sin que se logre ninguna mejora sustancial del sistema. Como consecuencia, se introduce el control de las materias primas y de los materiales. Por último, el modelo se amplía y trata de controlar si las actividades se ejecutan como se han establecido desde la dirección a lo largo de todo el proceso.

En estos modelos (no suelen estar muy definidos y con frecuencia son orales) se incluyen las tres variantes del paradigma tradicional (Municio, 2000c). En la variante satisfaciente (propia de la administración pública) los modelos miden esencialmente actividades (visitas realizadas, conceptos explicados, alumnos matriculados), uso de recursos y cumplimiento de las normas. Los indicadores de actividad reflejan primordialmente el funcionamiento, es decir, "qué" se hace y "cuántas" veces se hace algo en el período tomado como referencia. Los indicadores de recursos miden su nivel (por ejemplo, titulaciones de los profesores) y su utilización o distribución (horas que se usan las instalaciones o coste por alumno matriculado). El cumplimiento de la norma es dicotómico y exigible como condición previa. El resultado de la actividad no entra en el modelo, se entiende que es un efecto automático de las relaciones causales que el agente tiene en mente cuando actúa.

La variante política, muchas veces combinada con la satisfaciente, se preocupa esencialmente por el "cómo" se realizan las tareas y se establecen las relaciones. El énfasis se pone en el proceso, considerado este como el conjunto de interacciones y relaciones de cuantos participan en la acción. Los modelos con esta variante son poco explícitos y detrás de ellos domina una ideología cuyos supuestos son los referentes de la evaluación. Abundan en el mundo social y, en especial, en educación.

La variante optimizante, se da fundamentalmente en las organizaciones de producción, aunque hay muestras en educación. Los modelos de está variante se preocupan por controlar los resultados (cuanto se logra) considerando que es secundario el conocimiento del "qué" y el "cómo" se hace. En todo caso pueden servir para el estudio de la relación causal de las entradas y los procesos con los productos resultantes. Para los modelos optimizantes lo importante es medir el logro de los objetivos considerados en su máximo nivel posible.

Acreditación y certificación.
El fracaso de los modelos tradicionales llevó a la aparición de la acreditación, como evaluación realizada por un "evaluador" externo que es quien establece las condiciones de la calidad. La evaluación la define y la realiza alguien interesado en la actividad evaluada y que tiene poder sobre ella. Por eso se llama de "Segunda Parte". La evaluación es teóricamente voluntaria pero en la práctica la presión de la otra parte la hace obligatoria.

Durante el primer tercio del siglo XX aparece la Inspección del Estado que actúa a modo de acreditador, estableciendo un sistema de control basado en las propias normas de la administración. En los años 90, como consecuencia de la autonomía universitaria y de los abusos a que esta da lugar se ponen en marcha en algunos países de Iberoamérica agencias de acreditación más o menos dependientes del poder público. En el fondo es una vuelta al control administrativo aunque ahora con nuevas dificultades para ejercer una acción reguladora. En coherencia con el origen de esta acreditación los efectos suelen ser formales y burocráticos, aunque produzcan reacciones positivas o negativas.

El mayor desarrollo de estos modelos se produce en la gran industria, especialmente en defensa, energía nuclear, construcciones aeroespaciales y automovilismo. En estos casos los evaluadores son los clientes que necesitan asegurar que los proveedores pueden cumplir con las demandas que establecen sus contratos de suministro. Esto supone que cada empresa evalúa la capacidad de producción, la planificación, la organización, etc. de la empresa contratada y acepta la calidad de su sistema para producir aquellos servicios o productos que le facilitan. La acreditación adopta nombres diversos como autorización, aprobación, inspección u homologación.

Como consecuencia del alto coste de la evaluación de "Segunda Parte", debido al gran número de evaluaciones y a la variedad de los requisitos que exige cada caso surge la necesidad de utilizar de forma generalizada un sistema más sencillo y normalizado con el que una entidad independiente realiza la evaluación. Nace así la certificación o evaluación de "Tercera Parte" cuyo exponente más conocido son las normas ISO.

El ejemplo más antiguo de estos modelos está en las universidades norteamericanas que establecieron agencias independientes con capacidad para comprobar el cumplimiento de unos requisitos básicos en todas las instituciones que se sometiesen voluntariamente a la evaluación. Las agencias crearon modelos cuyo cumplimento garantizaba al público que los centros disponían de los recursos básicos, cumplían los procedimientos establecidos y realizaban las actividades descritas en el documento de referencia. Las agencias certifican ante la sociedad el cumplimiento de los requisitos establecidos.

Hacía tiempo que algunas sectores y, sobre todo, la industria británica utilizaban normas comunes de uso limitado a sus asociados. La necesidad de estas normas no era común hasta que durante la Segunda Guerra Mundial los aliados comprobaron la necesidad de normas comunes en su armamento y se hizo patente la conveniencia de establecer normas internacionales que traspasaran las barreras de los estados. La Comunidad Europea impulsó la creación de la Internacional Standard Organization (ISO) que crea las normas ISO 9000, que aparecen en 1987 y una segunda versión en 1994. Paralelamente los estados desarrollan normas específicas y hacen algunas adaptaciones de la internacional.

Impulsados por estas normas se crean en los distintos países organizaciones independientes, generalmente empresas especializadas en certificar el cumplimiento de la norma, es decir, garantizar que las entidades cumplen con los requisitos establecidos en ella. Es una verificación en la que el evaluado establece por escrito lo que debe hacer y el certificador constata que la documentación cumple los requisitos y en la práctica hace lo que la documentación dice. El evaluador busca la existencia de "no conformidades" en el funcionamiento de la organización en relación con la norma. Los modelos de certificación tratan de racionalizar los procesos y asegurar que las cosas se hacen como se han establecido que se hagan en conformidad con la norma. No garantizan resultados, objetivos o el éxito de la organización, sólo su buen funcionamiento.

Las organizaciones que utilizan este modelo (unas 500.000 en el año 2002) parten de una filosofía de prevención de errores y, por tanto, conseguir mejores resultados con su actividad bien hecha. Por otra parte, con el cumplimiento del modelo se logra abrir las puertas a otras organizaciones que exigen una base de calidad de funcionamiento para aceptar la colaboración y establecer alianzas.

Los modelos de gestión de calidad.
Los modelos tradicionales comienzan a mostrar su inadecuación a finales de los años setenta. Lo que median no tenía valor en el nuevo contexto social y económico y comenzaron a surgir nuevos enfoques y soluciones ¿qué es lo que provocó este cambio? Una verdadera revolución en todos los ámbitos que se caracteriza en su esencia por el papel protagonista de las personas frente a los sistemas jerárquicos y cerrados anteriores.

Claves del cambio social.
La evolución científica, técnica, geopolítica y económica del último tercio del siglo XX afecta directamente a las personas y pautas de comportamiento. Produce un cambio en los valores, creencias y supuestos de la sociedad que llevan a reconocer la importancia de la persona por encima de cualquier planteamiento organizativo, político o económico. La persona deja de ser un recurso y se convierte en protagonista y generadora de decisiones, en búsqueda de resultados y satisfacción. Esto implica que las instituciones políticas, sociales y económicas tienen que cambiar sus supuestos y teorías de gobierno y producción para ponerlos al servicio de las personas, no a la inversa como era propio de la época anterior. El reconocimiento de las personas como pieza esencial en cualquier acción o decisión lleva a considerar lo qué es decisivo para satisfacer las necesidades, expectativas e intereses de todos los implicados en cualquier actividad.

La evolución científica y técnica, proporciona medios y soluciones a los problemas del bienestar y la salud lo que hace sentirse a las personas más seguras, más confortables, con mayores opciones de movimiento, un mejor nivel de vida y unas perspectivas más amplías de futuro. La evolución geopolítica rompe las barreras de los estados y de las ideologías y abre a las personas a nuevos espacios, productos y posibilidades de elección. La evolución económica permite pasar de una época, en la que la escasez era la nota dominante, incluidas épocas de hambrunas y epidemias, a una época de abundancia, en la que la oferta sobrepasa a las demandas y se invierten los contrapesos de las decisiones. El cliente tiene más poder económico y se encuentra en condiciones de elegir entre distintas ofertas lo que provoca la ruptura de los modelos utilizados. Por una parte, condicionan los precios y los productores se ven obligados a mejorar sus procesos para ofrecer los costes más bajos posibles y, por otra, se exigen productos que respondan a las necesidades reales de los clientes. Nace así el nuevo concepto de calidad no sometido a las decisiones del productor o del político sino sólo a los requisitos de los demandantes. El paradigma anterior ha sufrido su derrota más importante.

Si la persona es lo importante, la que genera riqueza, quien tiene capacidad para elegir, dueña y responsable de sus actos, llega necesariamente a ser considerada el centro y el eje de la realidad. Es la medida de todas las cosas. Pero, al mismo tiempo, si se parte de que las personas son distintas y de que tienen diferentes valores, creencias y nivel de madurez es indudable que tendrán necesidades, expectativas y supuestos vitales diferentes. El grupo humano, cualquiera que sea su tamaño o sus características tendrá miembros muy diversos y estará en la necesidad de respetar la subjetividad de cada uno y funcionar con normas en las que el grado de libertad para cada individuo sea el máximo posible. La aceptación de los demás, de sus ideas y actitudes se convierte en un bien social, muy diferente del sistema de regulación de la época anterior. La calidad, la verdad, no es uniforme ni puede ser impuesta sino que es la representación de cada una de las personas individuales y del grupo, cuando este elabora reglas comunes.

En línea con este axioma surge el concepto de diversidad como expresión externa de la conducta. La negación de la diversidad es un signo de la época anterior: métodos de enseñanza homogéneos, planes de estudio únicos (o falsas diversificaciones), imposiciones políticas de la ideología dominante, etc. Pero la evidencia muestra que los efectos de la diversidad son cada vez más patentes y cada día rompen más el modelo tradicional. La educación secundaría se convierte en un caos y crea escenarios de conflicto al querer someter a alumnos adolescentes (con diferencias sociales, niveles académicos y actitudes hacía el estudio muy diversas) a un mismo tronco de estudios y el crecimiento de la inmigración que lleva valores socioculturales distintos, la globalización económica y comercial y la creación de estados supranacionales obliga a contactos y acuerdos permanentemente. La diversidad es una nueva realidad y su reconocimiento y manejo una necesidad perentoria.

La democracia política, prácticamente inexistente a lo largo de la historia se ha extendido a lo largo del siglo XX de una forma llamativa. De 48 naciones que eran democracias en 1900 se ha llegado a 113 a principios del siglo XXI. El debilitamiento de ideologías absolutistas y la caída del muro de Berlín ha supuesto un paso trascendental en el proceso. La esclavitud aceptada y mantenida a lo largo de toda la historia casi ha desaparecido. Al finalizar el siglo XX ya no queda ningún país que oficialmente la mantenga aunque en la práctica se calcula que existen 27 millones de esclavos. La discriminación de la mujer y la segregación racial han sido otros dos cambios esenciales producidos a lo largo del siglo XX. Naturalmente en estas o en las otras transformaciones hay países que han avanzado más que otros y, sobre todo, hay diferencias reales entre lo que las leyes defienden y lo que las costumbres reales imponen.

Probablemente el punto más importante del desarrollo humano que ha propiciado la época actual ha sido la libertad de conciencia, el poder pensar, expresarse y comportarse de acuerdo con las propias creencias. El pensamiento tradicional limita la libertad cosificando la verdad. Se implanta en la mente de las personas que la verdad es la verdad, se piense lo que se piense, y la verdad, como es inevitable, coincide con lo que piensa el que tiene el poder.

Quizás el cambio social no afecte al contenido de los programas pero si a la metodología y al papel del formador. Poner el protagonismo en los estudiantes implica minimizar el uso de la clase magistral y trabajar por proyectos, en los cuales los estudiantes crean situaciones, elaboran materiales, identifican problemas y desarrollan soluciones. Los contenidos tendrían que responder a las necesidades reales del entorno y nunca a la reproducción de la estructura de un manual teórico. Cada estudiante necesita una atención personalizada porque debe generar individualmente su propio conocimiento y al mismo tiempo tomar conciencia de su propio aprendizaje sin que quepa la opción del alumno pasivo, limitado a encontrar la forma mas fácil de conseguir su diploma.

El comienzo del siglo XXI es de excepcional importancia por el papel estratégico que pueden desarrollar la educación y otros centros de pensamiento en un mundo cada vez mas integrado, pero convulso. No se trata de arreglar lo que está roto o funciona mal sino de construir lo que aún no existe. No se trata de enterrar lo que no ha muerto, sino de preparar el advenimiento de nuevas situaciones y nuevos escenarios, con audacia, paciencia y energía. Lo grave es que los programas educativos están con frecuencia construidos con los materiales de lo antiguo y caduco, no orientados a la innovación, y sólo sirven para repetir lo que ya sólo es un resto delpasado.

Como preveía Tolfler los últimos treinta años han sido de cambios profundos y ha comenzado una lucha sin cuartel contra el pensamiento único, bajo diversas formas de posmodernismo (Friedman, 1999; Gane, 2002; Gervilla, 1993; Harman 2001). El proceso es un cambio de las convenciones de la ciencia (estabilidad, predictibilidad, y racionalismo) a las convenciones de la humanidad, como la aceptación de la realidad diversa y subjetiva, la complejidad del mundo, la inexistencia de un orden perfecto y la búsqueda permanente de la verdad (Zinder, Acker-Hocevar y Snyder, 2000).

El verdadero científico antepone la duda a la convicción y apoya al hombre para ser dueño de sí mismo. El científico no cree sus propias teorías está dispuesto a sacrificarlas cuando entran en conflicto con nuevas observaciones de la realidad. Pero el sistema se ha pervertido y los ideólogos y las técnicos establecen verdades absolutas que venden a la gente para satisfacer sus miedos e inseguridades. Una vez grabadas las creencias, el paradigma se consolida y el cambio se hace difícil porque pone en riesgo la seguridad de la gente. Estamos, sin embargo, en el principio de un cambio general de paradigma porque las personas ya están adquiriendo la sensibilidad suficiente para detectar las transformaciones de la realidad, para darse cuenta de que hay otras perspectivas que antes no existían y que les hacen más dueños de su propia existencia.

Todo este análisis llevó inevitablemente a una conclusión: hacían falta medidas nuevas para el desarrollo de la evaluación porque era necesario medir otras cosas que hace veinte años no existían. Seguir con los modelos tradicionales era una aberración pues como dice Peter Drucker "si continúas midiendo tu eficacia y eficiencia como lo hacías antes, tu productividad continuará como antes".

La aparición de la gestión de la calidad.
Si las décadas 60 y 70 habían sido épocas de crecimiento económico y desarrollo social, los años ochenta presentan el inicio de un cambio radical. La actividad empresarial y social se multiplica, de una época de escasez se pasa a una época de abundancia, de la necesidad de producir a la necesidad de vender, mientras el nivel cultural y el nivel de vida crecen considerablemente. Las consecuencias son drásticas, la sociedad busca los mejores productos y demanda nuevos servicios. Hasta entonces las organizaciones establecían la calidad desde dentro, pero ahora son los clientes los que demandan la calidad desde su propia perspectiva, de afuera a dentro de las organizaciones. El cambio se produce en pocos años y modifica radicalmente el sentido de la evaluación.

Los modelos de evaluación anteriores quedan obsoletos porque las referencias de contraste existentes dejan de tener sentido. ISO 9000 aparece en su segunda versión en 1994 pero sólo como un arreglo de la versión anterior y un residuo de los dirigentes más resistentes al cambio. Nada más ser publicada esta versión las críticas arrecian y se comienza a elaborar algo esencialmente diferente y de acuerdo con el nuevo paradigma que aparece en el año 2000.

¿Qué es lo que ha cambiado entre una y otra generación de modelos? La respuesta es sencilla: el concepto de calidad. Hasta los años 70 este término sólo existía en el diccionario y su utilización era prácticamente nula. Miles de libros y artículos se publican sobre evaluación de centros, programas, materiales o profesores pero en sus títulos no aparece la palabra calidad. Solo el movimiento de la calidad total en los años 80 el término se introduce y se populariza, pero tiene un sentido radicalmente diferente al concepto tradicional (Municio, 2000a, 2000c). Hasta entonces la calidad venía determinada desde dentro de las organizaciones, de la administración o de cualquier grupo que tuviese el poder. Las personas consideradas como súbditos, y consumidores se limitaban a aceptar los criterios establecidos y aplicarlos.

En la década de los setenta y ochenta surge una visión radicalmente distinta de la calidad, que pasa a ser definida desde la perspectiva de las personas receptoras. Crosby (1979) la define como acomodación a las exigencias de los clientes, Juran (1988) como adecuación al uso a que se destina, Russell (1992) como características de una entidad que le dan capacidad para satisfacer las necesidades, y la norma ISO 8402 (1994) como aptitud de una entidad para satisfacer unas necesidades expresadas o implícitas.

El cambio no es una variación de lo anterior sino un giro de 360º que supone la construcción de un nuevo paradigma en el que la calidad externa, lo percibido, es lo decisivo, mientras que la calidad interna es importante para entender el producto final. La calidad está en ambas zonas pero lo determinante es el resultado porque es el que afecta a las personas y estas son las que tienen facultad de decidir si tiene o no calidad de acuerdo con sus necesidades y expectativas que manifiestan en forma de requisitos.

De acuerdo con este planteamiento la calidad deja de ser objetiva (algo determinado por el pensamiento científico) y pasa a ser esencialmente subjetiva. Ya no sirven las referencias basadas en la experiencia, la ciencia o la autoridad de alguien, la calidad se determina por respuestas, necesidades o demandas de los receptores, clientes, usuarios y demás interesados.

La calidad interna no se desecha en el nuevo planteamiento sino que, por el contrario, se la considera un factor esencial para conseguir los resultados, pero aquí se introducen dos variaciones esenciales. La primera es considerar la calidad interior formada por procesos (no por piezas aisladas como era tradicional). Los procesos dan lugar al producto y, por tanto, su estudio y evaluación se considera esencial ya que sobre ellos se puede actuar para obtener mejores resultados finales. La segunda variación es que la acción no se limita a establecer especificaciones, como hacía el aseguramiento, sino en tomar un papel activo y gestionar la calidad. De esta forma los modelos de la segunda y tercera generación descritos a continuación se caracterizan por tres cambios esenciales.

• - la calidad como cumplimiento de los requisitos establecidos por el cliente (y todos los interesados)
• - los procesos como generadores de los productos (a diferencia de otros modelos que se centran en sus componentes de forma aislada)
• - la gestión de la calidad como acción básica de los directivos (no de departamentos expertos o sólo del aseguramiento).

Calidad total (TQM) y Excelencia.
A lo largo de los años 80 bajo el título de gestión de la calidad total aparecen muchos planteamientos teóricos y modelos de uso limitado. Son intentos de dar forma al nuevo paradigma que poco a poco va diferenciándose de la visión anterior y aportando nuevas experiencias e investigaciones.

El primer cambio que se presenta es considerar que lo importante son los resultados y que estos se obtienen como consecuencia de los procesos que los producen. La evaluación se centra así tanto en los resultados como en los procesos. Los procesos constituyen el principal núcleo de investigación porque se trata de descubrir cuales son los que provocan la excelencia en las organizaciones. Los procesos constituirán en adelante la clave para el desarrollo de modelos.

El segundo cambio es la aceptación de que todo está interconectado en las organizaciones, porque el factor humano es el verdadero nexo de unión. De aquí nace la inclusión generalizada del concepto "total" al considerar que todas las partes, todas las actividades, todos los proceso contribuyen a la calidad y no sólo lo que aparentemente y de forma directa produce algo.

Sin embargo, el cambio esencial que se produce es considerar que el foco de toda actividad es el cliente y, por tanto, su satisfacción es lo esencial de la calidad. La mirada no se pone ahora en lo tangible, lo material, los productos sino en lo intangible que se añade al producto, el servicio que se presta. Esto supone que la calidad no la establece el técnico sino el cliente y la producción se subordina a lo que se demanda, que ahora comprende una gran cantidad de componentes de servicio que el técnico tradicional no incluye junto al producto. Ha variado lo que se valora y los métodos de valoración.

Esto significa que a lo largo de los años 80 y 90 que el exceso de producción y los cambios de demanda hacen poco o nada competitivas a muchas organizaciones e instituciones. No sólo hay que ofrecer otros productos y servicios sino que hay que cambiar los sistemas internos y la propia misión institucional para poder ser aceptados por la sociedad. El cambio de los modelos de valoración se hace inevitable. Ya no sirve el cumplimiento de exigencias que están basadas en criterios del técnico, del ideólogo o del directivo. El cambio global de mentalidad es lento pero progresivo.

En los años noventa el impulso al nuevo enfoque de la calidad se produce por la acción de organizaciones y entidades públicas que quieren apoyar el logro de la excelencia (el nivel óptimo de la calidad), como máxima respuesta a la sociedad. No solo es búsqueda de la calidad, sino su más alto nivel, es decir, la excelencia.

Aunque los japoneses habían creado en 1970 un modelo de evaluación con su visión de la calidad para premiar las organizaciones que sobresalían, es Estados Unidos quien lanza en 1987 el premio Malcolm Baldridge para premiar anualmente a las empresas reconocidas por su alto nivel de calidad lo que inicia un proceso en el que se han desarrollado modelos con muchas variantes. En 1996 se pone en marcha en Europa una acción equivalente con la creación de la Fundación Europea para la Gestión de la Calidad que crea también un premio que se concede anualmente (Premio de la EFQM). Tanto del modelo americano como del europeo se crean versiones nacionales, regionales y sectoriales en la mayoría de los países del mundo. Ver por ejemplo, Porter y Tanner (1996), y Mahoney y Thor, (1994).

El potencial político y económico de los impulsores de estos modelos los han generalizado en las organizaciones más avanzadas pero la dificultad de implantación los ha hecho inasequibles a pequeñas organizaciones o aquellas cuyo componente cultural burocrático, dominante en el paradigma anterior, choca frontalmente con los principios de la calidad. Por el contrario, la versatilidad de su planteamiento ha dado lugar a adaptaciones a campos muy variados. Existen modelos adaptados a la Administración, la salud o la educación (por ejemplo, el Ministerio de Educación español le considera el modelo oficial). Aunque no existen datos oficiales se estima que cerca del medio millón de organizaciones e instituciones han aplicado estos modelos.

Si fuese necesario identificar las características de los modelos de calidad se pueden señalar, dentro de su diversidad, estas cinco características para las que es necesario hacer algunas aclaraciones a la realidad a la que se enfrentan:

• 1. Orientación al cliente. Para las organizaciones de calidad los clientes son la razón de su existencia y la base de todas sus decisiones.La realidad es que muchas instituciones viven de espaldas al cliente. La valoración de lo importante o valioso por los profesores y por los estudiantes o las familias difiere considerablemente (Mc Daniel, 1992). Lo mismo sucede con las empresas, con las cuales apenas hay relación, existen pocos convenios de colaboración y los programas académicos apenas tienen que ver con sus necesidades. El papel de los profesores suele seguir las normas y cumplir con los programas y el de los directivos decidir lo que debe hacerse y controlar costes y actividades. Esto choca radicalmente con la satisfacción de la calidad, la mejora permanente y el valor añadido para el cliente.
• 2. Organización por procesos. Las instituciones de calidad deben organizarse en función del cliente y esto se consigue con una estructura de procesos, radicalmente diferente de la funcional, creada para satisfacer las necesidades de especialización del siglo XIX.Aunque pueda permanecer la organización jerárquica para algunos aspectos del funcionamiento general, por ejemplo para la investigación o la asesoría externa, la exigencia de los modelos de buenas prácticas encamina a la organización de la formación por procesos. Los procesos son la forma natural en la que están diseñados los programas y la conversión debería ser fácil y no traumática, pero la realidad muestra procesos aislados en sus propias clases sin sentido institucional ni trabajo en equipo.
• 3. Gestión del conocimiento. Las organizaciones actuales exigen un alto nivel de capital intelectual (conocimiento) para poder generar su propio desarrollo y satisfacer las crecientes necesidades sociales. Solo si esto se produce la escuela está en condiciones de seguir el desarrollo científico, económico y tecnológico del mundo.Sin embargo, la realidad muestra que en general se siguen haciendo las cosas de la misma forma que se hacían hace 400 años. A veces, el sistema no busca la eficiencia, sino que actúa como una rueda que se retroalimenta a base de bajo coste para los estudiantes, bajo coste de oportunidad, baja preparación de entrada y baja exigencia del profesor. La consecuencia es menos esfuerzos generales y desinterés general por el cambio.
• 4. Competitividad. El bienestar económico y el desarrollo tecnológico que se produce en los años 80 tiene como consecuencia inmediata el crecimiento del bienestar social y la exigencia de una respuesta más completa a las necesidades y expectativas de las personas. Las organizaciones comienzan a competir para producir mejor, más barato y más ajustado a las necesidades.Los enormes costes de la investigación actual parece que hacen imposible una acción puntera en educación. La investigación, salvo excepciones, es elemental y puede constituir una aportación al auto desarrollo pero no es exportable al exterior del centro. Hay una muy baja utilización de nuevas tecnologías, incluso los ordenadores se utilizan poco más que como editores de texto. El liderazgo en los centros públicos es casi inexistente (se sienten funcionarios) y en pocos casos la organización considera la importancia de la eficacia o del establecimiento de objetivos.La competitividad es con frecuencia un valor inaceptado que se considera ajeno a la enseñanza. Hay un gran temor a la comparación (cualquier ranking es peligroso) y, por tanto, a todo lo que suponga una evaluación con garantías. La clave de la situación, como es evidente, está en la estabilidad burocrática, en algunos supuestos ideológicos y en la permanencia de los presupuestos públicos.
• 5. Internacionalización. Los procesos de globalización afectan a todas las organizaciones ya que al competir en calidad la referencia no está en el entorno sino que viene de los lugares más variados.Como en otros aspectos la preparación para actuar en un mundo globalizado es también una de las referencias básicas para valorar la calidad de la educación desde la perspectiva de la calidad. Es fácil comprobar cual es la situación de cada institución analizando sus programas de estudio.

Los modelos de mejora.
El movimiento de la calidad presenta la ventaja para el mundo económico de ofrecer modelos competitivos que tienden a transformar la organización y paralelamente a medirse en las confrontaciones que ofrecen los premios. Pero esta propuesta no satisface a todo tipo de organizaciones porque las dimensiones, la falta de preparación de sus dirigentes o su cultura burocrática, les impiden entrar en la nueva dinámica. Por ello, aparece a lo largo de los años noventa un nuevo tipo de modelos en los que, de acuerdo con los principios de la calidad, la preocupación se centra en sobrevivir ante un mundo cada vez más competitivo. El objetivo es mejorar dentro de las propias características, ser cada día más capaces de responder a su misión y visión y, en definitiva de ofrecer un mejor servicio a la sociedad.

Este tipo de modelos adoptan dos formas diferentes. Una, habitual en evaluaciones sin normativa previa, en la que los evaluadores analizan si se siguen los axiomas de la evaluación para la mejora, se consideran los objetos esenciales de evaluación y se establecen comparaciones múltiples (que se describen posteriormente). La otra se presenta en modelos estructurados que facilitan a las organizaciones los procesos que se consideran básicos. Entre estos están el modelo de Conti (1997), la norma ISO 9004:2000 (que no tiene relación alguna con la versión de 1994 realizada con planteamiento tradicional) y el modelo RUECA (Red Universitaria de Evaluación de la Calidad), especifico para el sector educativo (Municio, 1989).

Los modelos de mejoras, como los de calidad, no condicionan la gestión, aunque en algún caso, como ISO 9000, conlleva una importante regulación de los procesos de gestión. Esto implica que los modelos de mejora están concebidos para facilitar la diversidad de las instituciones y valorar en cada una lo que en ella responde más a sus intereses y propósitos, sin dejar a un lado las exigencias de los procesos considerados "sobresalientes", es decir, aquellos que garantizan el éxito de la organización.

La posición del evaluador en la mejora.
La mayoría de las propuestas modernistas proclaman como axioma que los hombres son libres e iguales y sobre esta afirmación han construido gran parte de su andamiaje social. La realidad, sin embargo, es muy distinta y no se puede confundir el deseo con la realidad. Nacemos impotentes y dependemos de los demás para todo y sólo el proceso de educación y de desarrollo personal permite al hombre liberarse en parte de las limitaciones. Es cierto que las personas se han hecho cada vez más libres, a lo largo de la historia y a lo largo de su desarrollo individual, pero este proceso no es igual para todos, incluso algunos retroceden en el proceso de liberación (con las drogas, por ejemplo). La liberación de las ataduras (en primer lugar de la ignorancia, pero después de las programaciones mentales a que estamos sometidos), es la verdadera libertad y esto sólo se consigue por una parte y, en general, de una forma muy desigual.

Para el evaluador que piensa en la mejora, la realidad muestra que somos individualmente únicos y, en cualquier colectivo, profundamente diversos. Es una mentira demasiado burda, pero especialmente atractiva para el uso de algunos políticos, afirmar que todos somos iguales. No sólo el distinto grado de educación y de liberación personal lo refleja con precisión, sino que la biología y el contexto social-político-económico lo hace demasiado evidente para permitir cualquier duda. Esta diversidad se manifiesta también en todos los ámbitos de la vida y necesariamente se refleja en las metas de cada uno.

Estas ideas se pueden trasladar sin esfuerzo a las organizaciones que, en forma paralela a los individuos, están también condicionadas por la diversidad de su origen, su desarrollo y su contexto. Los valores se reflejan en sus sistemas de gestión, en sus fines, en sus estrategias y, sobre todo, en sus procesos. Algunos procesos y valores son de poca trascendencia, son específicos de esa actividad o son consecuencia del punto en que se encuentra su ciclo de vida, pero otros valores y procesos son esenciales y le permiten crecer y mejorar cualquiera que sea el tipo de organización y el momento en que se encuentra. Son los valores y procesos "sobresalientes" que permiten a la organización obtener sus fines, satisfacer las necesidades de la sociedad y de sus miembros, y lograr mejoras permanentes de si mismas en toda su actividad.

Para el evaluador tener en cuenta este pensamiento como punto de partida es vital ya que en otro caso puede llegar a juicios sin ninguna validez para los interesados en los proyectos o en la organización. En cada caso habrá valores diferentes sin que unos sean mejores que los otros aunque se podrá diferenciar valores y procesos cuya aplicación mejora al conjunto. Además, la mayoría de estos valores no se ponen en duda por los individuos o los grupos sino sólo su aplicación a la mejora de la realidad donde puede demostrarse su validez. El evaluador tiene, por tanto, necesariamente que trabajar sólo con valores, criterios de calidad, herramientas y modelos que mejoren de forma real aspectos que afectan al crecimiento personal e institucional y a su competitividad.

La limitación anterior significa que de nada valen los modelos y las propuestas tradicionales, llenos de racionalidad y técnicas rebuscadas si no sirven para ayudar a la sociedad que compone el entorno institucional y a los fines institucionales, y no permiten obtener mejoras visibles y aceptables para todos. Valorar la eficiencia de una máquina o la coherencia con la ideología no son más que trampas de los procesos de manipulación (optimizante una, política la otra) y casi siempre negativas para las personas. Pero esta limitación no hay que establecerla en función de la percepción individual de las personas sino ampliarla en todo aquello que necesita y asume el colectivo y a todo cuanto suponga descubrimiento de aspectos que pueden y deben mejorarse. Un evaluador, por ejemplo, no puede ocultar cualquier descubrimiento que refleje injusticias o negación de oportunidades.

La mayor parte de la metodología de la investigación y de la evaluación existente es modernistas, con diferencias en sus conclusiones pero siempre basadas en la forma de acceder al conocimiento y la naturaleza de las relaciones. Fueron desarrolladas en y por un mundo industrial de producción con entornos estables, relaciones causales aceptadas y pensando en una población pasiva, limitada por su poco desarrollo económico, social y político. Descartes, y toda la filosofía cartesiana, que es la base del desarrollo científico, justifica esta actuación cuando afirma que "o hay un fundamento estable y preciso para la existencia y el conocimiento, o no podremos escapar de la oscuridad y el caos". Este es el marco de pensamiento único dominante hasta el segundo tercio del siglo XX, que va desapareciendo poco a poco cuando la sociedad se da cuenta del fraude que supone a la realidad.

Cuando el evaluador modernista emite juicios se está refiriendo a verdades absolutas que alguien ha establecido y sobre ellas contrasta la realidad. De la misma forma que la evaluación tradicional de los años setenta llegó a la conclusión de que las evaluaciones que definía Tyler eran "cuasi" evaluaciones (Stufflebeam y Shinkfied, 1987), porque no emitían juicios sino solo comparaciones directas entre la realidad y el objetivo, ambos basados en datos concretos, las evaluaciones modernistas son, desde la nueva perspectiva, necesariamente malas y falsas. La respuesta es sencilla: la calidad nos pertenece, no se corresponde con el objeto evaluado, es subjetiva y, por tanto, es individual o debe ser compartida voluntariamente por el colectivo, nunca impuesta desde el exterior.

La idea básica es que la realidad es una construcción sin terminar por cuantos trabajan individual o interactivamente por conocerla. Cada persona construye su comprensión del mundo y actúa sobre ella más que sobre la realidad objetiva que, si existe, es comparativamente irrelevante. Para el evaluador posmoderno la búsqueda de la verdad debe ser constante y sólo puede llegar a obtenerse en situaciones concretas y limitadas, una vez que se tienen todas las informaciones y pueden descartarse sesgos y prejuicios.

El pensamiento tradicional es racional y sistémico pero el evaluador posmodernista tiene una distinta epistemología pues refleja la cultura, el entorno y las estrategias, que no son variables estables ni medibles como las medidas tradicionales de la física. Es el reconocimiento del valor de las personas y del pluralismo en la generación del progreso y la satisfacción humana. El posmodernismo es la reacción contra las convenciones de la ciencia y su utilización directa y perjudicial sobre la humanidad. No se trata de un pensamiento anti-ciencia ni indiferente, sino una búsqueda permanente de la verdad con una raíz en el escepticismo y la incertidumbre.

Durante los años 60 y 70 la UNESCO, la FAO y otras organizaciones internacionales pusieron en marcha cientos de programas sociales invirtiendo miles de millones de dólares de ayuda al desarrollo en los países del tercer mundo. Del análisis de los resultados de estos programas se puede descubrir que de forma generalizada los cambios propuestos nunca llegaron a funcionar (más allá de lo que las ayudas económicas y alguna tecnología lograban de forma coyuntural). Los elementos culturales locales y la presión del entorno hacían que más allá de la mirada de los responsables del proyecto las cosas se destruyeran en poco tiempo. Los valores y la creatividad de los afectados a los que se pretendía ayudar eran irreprimibles y subversivos y, en cualquier caso, más fuertes y permanentes que los de los "invasores" científicos que pretendían cambiarlos.

Si se analizan las propuestas de modelos tradicionales más conocidos, por ejemplo el CIPP de Stufflebeam (1983) o el de Kaufman (1983) siempre se establecen relaciones lineales y prefijadas entre las entradas, los procesos y los productos lo cual permite elaborar constructos que el ingenio del evaluador operativiza con su inventiva. A partir de aquí se fijan las relaciones y variables que a cada uno le conviene y las demás se olvidan porque no se pueden controlar. Las conclusiones de los evaluadores tradicionales siempre son satisfactorias para si mismos.

Ante estos planteamientos el evaluador posmoderno duda de que tal trabajo sirva para algo, especialmente en la relación lineal señalada. No debe olvidarse que en educación domina la variante satisfaciente-burocrática del modelo tradicional y, por tanto, se considera que los recursos son la llave milagrosa de la acción. Si no existen los recursos o son insuficientes (que además se consideran como partes de la entrada) todo está ya justificado y no es necesario buscar las causas de los resultados. Por el contrario, desde la nueva perspectiva, se utilizan los tres componentes citados pero lo importante son los resultados como parte de arranque y a partir de ellos llegar al análisis de los procesos y después a los componentes que actúan en cada caso (necesidades humanas que generan el proceso, guías que potencian y limitan las actividades, recursos utilizados para la transformación y el flujo de las actividades programadas). En todo caso el evaluador compara todos los datos disponibles para encontrar relaciones y poder contestar qué es lo que no funciona o no. No se trata solo de un cambio de metodología sino, sobre todo, de la entrada en la nueva propuesta de ingredientes diferentes: las necesidades de las personas (el alumno quiere aprender o el enfermo quiere curarse) y los resultados sociales, que incluyen el valor del producto o servicio recibido y la satisfacción de la necesidad para el receptor.

Una clara diferenciación con los modelos tradicionales es el uso o defensa de los indicadores, generalmente sin ninguna relación con la calidad y sin significado real con el programa o la institución. Se usa la palabra indicador de forma imprecisa (una evidencia o una señal de tráfico son indicadores), y se olvida que todo indicador es una relación entre dos variables que tiene que ser significativa en referencia a un objetivo. Pero lo más grave es que el indicador se toma como la medida de un valor absoluto cuando en realidad es parcial y de valorrelativo.

En el nuevo planteamiento se parte de que un programa es una construcción humana y tiene que ser válido para todos los interesados en él. Esto significa que las personas están en primer lugar y que no tiene ningún sentido un programa que se impone pero no se comprometen e implican tanto los agentes como los receptores. El cambio de sistema implica la utilización de criterios de calidad que reflejan los valores y el aprendizaje acumulado, considerados como necesarios para la mejora. Un criterio de calidad supone una definición amplía de un proceso en el que pueden delimitarse y medirse su diseño y grado de ejecución. Una vez acordado el contenido del criterio por el grupo ya es posible pasar a establecer descriptores (indicadores, escalas, índices) que permitan la medida.

La educación y su gestión, son procesos desarrollados para responder a las necesidades de las personas y de la sociedad. Las actitudes, las relaciones, las capacidades, la comunicación y la creatividad de los individuos son "materiales" para el éxito del aprendizaje. La intervención de los expertos necesita programación y trabajo organizado pero no la racionalidad y los enfoques cartesianos basados en los supuestos del agente pero olvidan la interpretación de las necesidades y la satisfacción de los sujetos.

La primera clave para entender la sociedad del siglo XXI es reconocer que más del 90% de los trabajos son de servicio o de conocimiento y no existían hace treinta años. Además, son trabajos complejos con relaciones múltiples. Las personas, deben conocer no solo su actividad directa sino todo lo que les afecta (un agente de marketing debe entender también los procesos de producción, las redes de relaciones internas, los recursos humanos, etc). Las estructuras funcionales están moribundas y los procesos son las únicas vías que interconectan todas las cosas hacía la meta final.

La evaluación tiene que basarse en la subjetividad y la interpretación. La comprensión del "texto" puede variar de una a otra persona pero el equipo hace "objetiva la verdad" al reflexionar y establecer la posición institucional. La interpretación lograda de la verdad, de la calidad puede cambiarse en pasos posteriores y por tanto no debe darse como definitivamente correcta. Hay que entender que está siempre basada en prejuicios o información incompleta. El evaluador tiene que ofrecer la visión más amplía de la información disponible, abrir los caminos y dejar a los directivos y a los clientes que tomen sus decisiones. El evaluador tiene que potenciar la trasparencia y ofrecer información de comunidad y el conocimiento necesario para modificar la realidad.

La educación, como la gestión y las actividades de alto componente humano, no son actividades de decisiones racionales y objetivas, sino de decisiones que necesitan el uso de la creatividad, iniciativa e innovación para desarrollar el saber ser y el saber hacer de las personas.

Los componentes de los modelos de mejora.
Al aproximarse a esta nueva perspectiva de evaluación parece que se anula la posibilidad de construir modelos de evaluación pero nada está más alejado de la realidad. Un examen de las evaluaciones actuales permite encontrar cuatro grupos de componentes básicos para cualquier modelo de mejora: axiomas, objetos de evaluación, referencias de comparación y perspectivas de evaluación. (Figura 1)

a) Axiomas de la evaluación para la mejora.
En primer lugar aparecen tres axiomas que definen los modelos. Aunque ambos no son específicos de estos modelos, constituyen por si mismos componentes diferenciadores

• 1. La evaluación lleva implícita la finalidad de mejorar, como eje central de la actividad.
• 2. La mejora de la calidad supone cambios institucionales y paralelamente de conducta de las personas.
• 3. La evaluación exige la autorregulación y, por tanto, la implicación de las personas en el proceso de evaluación y mejora.

La autorregulación tiene su justificación en que la calidad no puede imponerse y mucho menos en organizaciones como la educación, complejas en su tecnología, en el diseño de los procesos y en la entrega del servicio. La evaluación no es un ejercicio académico de valoración sino un proceso de detección de diferencias y, por tanto, de diagnóstico. Debe ser necesariamente un generador de mayor nivel de calidad que provoque beneficios y resultados para todos, incluyendo en primer lugar los que realizan la acción.

Considerada así, la evaluación es un análisis introspectivo que supone un compromiso de reflexión y actuación posterior. Identifica y define problemas y mide diferencias pero sólo tiene sentido si la acción aporta informaciones desconocidas y nuevas propuestas que provocan la mejora. Los miembros de la organización saben los problemas que existen dentro de ella y por qué no se resuelven y, por ello, sólo su recogida e identificación en si misma no añade nada nuevo para producir el cambio. La evaluación basada en la mejora tiene que producir nuevos enfoques y conocimientos para facilitar la transformación posterior aceptada por la gran mayoría de los miembros.

b) Objetos de evaluación.
En segundo lugar están los objetos de evaluación que, aunque pueden coincidir en otros modelos, aquí constituyen un conjunto interrelacionado y completo. La evaluación se centra en cuatro objetos.

• 1. Las metas de la institución o del programa evaluado. La misión, la visión, los valores expresan la razón de ser de la organización y su destino propuesto y, por tanto, son el primer elemento de valoración. A estos elementos habrá que añadir los propios de la gestión (objetivos, planes estratégicos, etc).Como en el resto de los objetos la evaluación tiene que analizar su existencia, la medida de su logro, la interrelación con el conjunto de la organización y las causas que influyen en su funcionamiento.
• 2. La interacción con el entorno, puesto que el entorno representa la justificación de la propia existencia de la organización. La organización actúa al servicio del entorno y de él recibe todo lo necesario para su existencia. Sin interacción con el entorno no cabe la existencia de la organización. En el entorno están de forma prioritaria los clientes (alumnos, familias, empresas, comunidad, etc), los proveedores (colegios, productores de materiales, etc), los aliados y los financiadores de la actividad.El entorno es un espacio conductual en el que actúa la organización (Municio 2001) y, por tanto, donde se hacen realidad las metas de la organización. La evaluación comprueba el grado de conocimiento del entorno (¿cómo se podría servir a lo que no se conoce?), la apertura institucional a sus necesidades, la respuesta que se produce a estas necesidades sociales e individuales y la interacción que activa la misma organización.
• 3. Las políticas, estrategias y programas utilizados para lograr sus fines e interactuar con el entorno. En definitiva se evalúa "cómo" actúa la organización. Aunque la evaluación se realiza sobre todos los aspectos de políticas y estrategias, lo esencial se centra en los aspectos de calidad que están implícitos o explícitos en ellas. Para una institución educativa los programas son lo esencial de su actividad y constituyen una representación esencial de las políticas y estrategias.
• 4. Los medios utilizados por la organización. Se entiende que estos deben ser coherentes con los otros tres objetos de evaluación anteriores y potenciar el crecimiento, la innovación, el conocimiento y los medios básicos de eficiencia y efectividad organizacionales. Entre los medios se incluyen, por ejemplo, la arquitectura organizativa, la gestión del personal y los recursos.

c) Referencias de comparación.
En tercer lugar cada uno de estos cuatro objetos de evaluación se someten al análisis y valoración desde cuatro referencias distintas que permiten mantener la individualidad y subjetividad de la institución y la comparación con la realidad externa con la cual necesariamente convive e interacciona.

Desde estos planteamientos se pueden utilizar cuatro perspectivas de comparación:

• 1. Con la misma institución. La evaluación relaciona los datos anteriores y los actuales (al menos de cuatro años) y analiza la mejora lograda, las tendencias y las causas que han producido los cambios. La comparación proporciona un diagnóstico del presente y un pronóstico hacía el futuro.
• 2. Con las posiciones de otros. Aunque posicionadas en otros entornos, las organizaciones del mismo sector tienen descriptores básicos equivalentes que permiten comparar los sistemas, los procesos, los productos, con los avances relativos diferentes y obtener nuevos conocimientos de las diferencias descubiertas. Las comparaciones pueden también efectuarse con otros sectores muy diferenciados, donde existan procesos cuya definición sea similar. Esta perspectiva es la conocida actualmente como benchmarking.
• 3. Con las percepciones de las personas. Es una comparación esencial en el proceso de evaluación porque mide los efectos de la actividad en las personas que, en definitiva, son quienes soportan la existencia misma de la institución. Esta evaluación incluye prioritariamente la satisfacción de los clientes del entorno pero también la de los miembros internos, los proveedores y cualquier otro interesado en la actividad. La información de otros entornos en contacto puede ser en muchos casos también de especial interés porque aporta lo que la organización necesitaría para ampliar su entorno.
• 4. Con otros patrones generales de la comunidad. Las organizaciones viven en sociedad y las reglas de juego aceptadas de forma general constituyen guías que proporcionan juicios positivos o negativos sobre la calidad y un efecto inevitable sobre su presente y futuro. En estas comparaciones entran las leyes locales, estatales o internacionales, en especial de educación pero también la cultura social del territorio en el que está la organización, la ética, el medio ambiente, la salud, etc.

Las cuatro referencias de comparación muestran de forma resumida las exigencias de la calidad y permiten respetar la diversidad de situaciones, la subjetividad e individualidad del diseño y la forma de gestión utilizada.

Perspectivas de evaluación.
Existe un cuarto componente formado por distintas perspectivas de análisis (resultados, clientes, procesos y conocimiento) pero este ha tomado carta de naturaleza individual en los últimos años y constituye por si mismo un modelo con gran potencia, que ha retomado otros aspectos de la mejora y los ha integrado en un nuevo esquema de gran aceptación. Este modelo se desarrolla a continuación como algo independiente.

El cuadro de mando integral/Balanced score card.
El último paso en el desarrollo de las tendencias en autoevaluación toma el nombre de Balanced Score Card (BSC) y representa un avance en muchos aspectos sobre los modelos anteriores de mejora. Pero, sobre todo, ofrece una información dinámica que permite analizar los datos como previsión del futuro.

El BSC pretende reflejar en un conjunto limitado de datos las medidas más esenciales de una organización, de una unidad o de un proyecto (presentados en forma de cuadro como si fueran los instrumentos de conducir un vehículo). Su ventaja inicial es su simplicidad y la exigencia de establecer de forma explicita y medible lo que se desea conseguir y hacer las mediciones de la realidad de forma permanente. Hay pues, un esfuerzo previo de definir lo deseado y concretarlo, algo que no siempre se hace en los sistemas de evaluación.

Habitualmente el BSC se explica en el nivel estratégico de la alta dirección de las instituciones o para los organismos de la administración pero esto no es más que consecuencia de su origen y de su mayor difusión en estos niveles. Sin embargo, el BSC puede usarse en todos los campos, en todos los niveles y en todo tipo de actividades, como la gestión de proyectos. El esquema es similar aunque los componentes de medida sean distintos, en unos casos la estrategia es el elemento determinante y en otros son los objetivos que hay que operativizar y concretar en resultados. De la misma forma, en las versiones originales los aspectos financieros eran equivalentes a los resultados y, ahora, diez años después de las primeras aportaciones, aplicado a organizaciones sociales no lucrativas los aspectos financieros son sólo una parte pequeña del componente de los resultados.

El BSC trata de reflejar en un cuadro cuatro tipos de información en una doble lectura de lo programado y lo logrado. La información incluye: los resultados, como la información básica de cualquier actividad y puede incluir cualquier dato que sea relevante para la misión de la institución o del proyecto. Entran, como es lógico, los productos y los resultados sociales; los clientes, como la medida de la satisfacción y la fidelidad de los clientes. Se entiende que los resultados no serán alcanzables si no se logra satisfacer a los clientes, es decir, responder a sus necesidades y expectativas; los procesos, como la medida del funcionamiento interno para conseguir clientes satisfechos es necesario realizar los procesos adecuados, aquellos que responden a las demandas y se realizan dentro de las más estrictas exigencias de calidad; y el aprendizaje, que refleja como las personas con sus actitudes, habilidades, conocimientos, etc. son las que tienen que crear y desarrollar los procesos, hacer innovaciones y conseguir los productos y resultados. En este nivel se valora el aprendizaje y el conocimiento disponible y cómo se potencia para que a través de él se desarrollen los procesos.

Si los cuatro tipos de información se leen en el sentido inverso al descrito se descubrirá la cadena causal que es la base del modelo. Los conocimientos permiten realizar los procesos, y estos bien desarrollados logran satisfacer a los clientes, lo cual provoca los resultados esperados. El cuadro refleja las medidas de los cuatro escalones y permite comprender por qué un escalón no se logra. El mecanismo presenta de una forma viva, los datos a todos los implicados, de forma muy diferente en las típicas planificaciones o proyectos escritos que quedan guardados en las estanterías de los directivos o la administración.

Origen y características del BSC.
Sin duda, la información del BSC no es algo novedoso porque aparece en muchos modelos anteriores, lo especial es su ordenamiento causal, su adaptabilidad a situaciones muy variadas y su sentido de herramienta proactiva, que permite actuar hacía el futuro.

Ya a principios del siglo XX, durante la revolución del Scientific Management, los ingenieros de las empresas innovadoras crearon tableros de control con indicadores de su producción. Durante los años sesenta se desarrollaron en Francia herramientas llamadas Tableau de Bord como una mejora de los cuadros primitivos y se incluía ratios de todos los tipos. También la General Electric americana creó en esos años cuadros para controlar los procesos de la empresa utilizando ocho áreas clave de resultados.

En 1992 Kaplan y Norton lanzan la idea de BSC y ponen las bases de lo que actualmente es la herramienta, ampliamente desarrollada por especialistas y consultoras. El BSC deja de ser un conjunto de indicadores y se convierte en "una herramienta de gestión que traduce la estrategia a un conjunto coherente de indicadores". Naturalmente los indicadores son distintos según el campo que se delimite y la estrategia lleva a presentarlos de formas muy variadas, pero siempre con elementos comunes en todas las actividades (Ballvé, 2002; Kaplan y Norton, 2001a, 2001b; Olve, Roy y Wetter, 2002).

La diferencia esencial del BSC radica en la forma en que se seleccionan los indicadores, lo cual tiene una importancia decisiva en el uso de la herramienta. En los modelos tradicionales son los directivos o responsables los que escogen lo que creen más conveniente según su intuición, experiencia y prejuicios, lo cual no es precisamente un mecanismo de éxito. El BSC ofrece un método estructurado de selección que permite una gran versatilidad. Esta es otra ventaja esencial del modelo porque permite relacionar de forma directa la actividad que se realiza con los indicadores que se establecen. Esto obliga a tener muy clara la actividad, la misión y los objetivos significativos, porque potencian o conducen hacia los resultados.

Con el modelo no cabe utilizar indicadores basura y estadísticas como es habitual en los modelos tradicionales. Los primeros no son significativos y sensibles al cambio y los segundos son típicos de la gestión reactiva que todavía domina en la burocracia. El modelo busca indicadores que permitan prever lo que va a suceder en el futuro, algo que descifra la cadena causal. Si la medida de nivel de conocimiento o de actitudes en un grupo humano es baja se puede predecir sin miedo a equivocarse que los procesos en los que intervienen serán defectuosos, no ofrecerán condiciones necesarias y provocaran a la larga la insatisfacción de los usuarios. Por el contrario, si se logra un aumento de satisfacción se reflejará al poco tiempo una mejora en los resultados, porque la satisfacción va por delante de los resultados. El valor proactivo del modelo permite anticiparse y actuar para mejorar.

A diferencia de otros modelos de evaluación, los grandes indicadores del BSC se construyen antes que el proyecto. Primero se establece lo que se quiere conseguir y después se crea el sistema de gestión del proyecto, es decir, no sirve observar el proyecto y después crear indicadores. El BSC requiere analizar la situación, establecer la estrategia, fijar los resultados, etc. Solo cuando este mapa general está establecido se puede diseñar el producto o la organización. Claro está que existirán indicadores operativos más pequeños pero estos nacerán por las exigencias del detalle y, siempre, como parte de otros más amplios.

Un BSC de un centro de educación refleja el modelo de institución de que se trata pues los indicadores del conjunto explican la creación de valor de esa institución y, por tanto, sus referentes principales. Puesto que es un modelo previo que representa la estrategia está marcando el camino de la gestión y permite dirigir de forma proactiva, actuando sobre las causas y no sobre las consecuencias que es lo habitual en otros modelos. Al tener todos los datos "vivos" de forma permanente es posible reaccionar antes de que se produzcan los cambios en el entorno. La mirada está puesta en lo que va a suceder y no se conduce con el espejo retrovisor, como suele suceder con otros modelos basados en la evaluación diagnóstica.

El BSC representa un modelo de visión global de la institución, al menos en un conjunto de partes que se consideran esenciales para el éxito. Incluye tanto procesos estratégicos como operativos y de apoyo, y permite incorporar cualquier tipo de iniciativas y mejoras como el capital intelectual, la gestión del conocimiento o la innovación tecnológica, valorado sus efectos en el conjunto. Los modelos de calidad (TQM y variantes), las innovaciones en los procesos (reingeniería de procesos) o la gestión del valor (EVA) han logrado éxitos parciales en la medición de la institución y los proyectos, pero en la mayoría de los casos no han afectado al conjunto sino sólo a determinados aspectos que la dirección consideraba importantes.

Los cambios bruscos del entorno dejan a las organizaciones rutinarias fuera de juego (como sucede en parte del sector educativo) pero cuantos aspiran en permanecer en la competencia tienen necesariamente que mirar hacía delante y moldear el futuro más que luchar con el presente. Mirar con varios años de adelanto es cada vez más un asunto del pasado.

La información que proporciona el BSC es una clave que debe usarse con unas reglas de juego precisas y si no se hace así su valor es solo parcial y probablemente poco importante. En primer lugar la información esta orientada a la visión (secundariamente a la misión) con un claro matiz estratégico (al entorno exterior al que sirve la institución). En segundo lugar busca una amplía implicación de todo el personal (cada grupo debe tomar su cuadro de mando y la interrelación con el general) de manera que vea reflejados sus esfuerzos y su compromiso en lo que allí aparece. En tercer lugar refleja el efecto sobre el cliente y el nivel de calidad logrado, especialmente en los procesos en los que interviene cada equipo.

Estas tres referencias desplegadas en todos los niveles de la organización o concretadas en cada equipo de un proyecto generan una actuación competitiva de éxito que permite alcanzar la excelencia. Pero, lo importante del enfoque, es que representa un vuelco en el concepto tradicional de gestión y evaluación, al asumir una posición de autocontrol de todas las partes de la organización.

Además, este despliegue del control general pretende identificar los puntos débiles de la cadena de producción de valor, marcando los actores del sistema y suborientando los puntos de evaluación. Goldratt describe la "teoría de las restricciones" mostrando como el eslabón más débil es el que condiciona los resultados finales de un proceso. Cuando se analiza un proyecto o una organización es el proceso "más débil" el que por las leyes de los vasos comunicantes afectará negativamente al conjunto de la actividad. El BSC pretende con su mecanismo de control detectar cualquier punto débil del sistema para que los propios implicados puedan actuar sobre él y corregir las causas.

Estructura del BSC.
En el marco de este trabajo el BSC se analiza desde un enfoque de herramienta para la evaluación de la situación. El BSC desglosa la visión del futuro en cuatro perspectivas que están enlazadas horizontal y verticalmente pero que se activan de forma independiente. Las cuatro perspectivas (resultados, clientes, procesos y conocimiento) se cruzan con las distintas partes de la actividad para formar un mosaico que representa al conjunto del sistema. Una división de este tipo permite que las personas se sientan más identificadas con la parte de la visión con la que están interesados o en la que pueden trabajar y desarrollar estrategias que son por si mismas partes de la general.

El BSC se construye a partir de la visión/misión/estrategia de la institución. Establece un conjunto de objetivos, indicadores y estándares organizados en las cuatro perspectivas que se describen a continuación.

La perspectiva de resultados representa la visión de los "propietarios de la organización" y mide la creación de valor que da sentido a la propia institución. Los indicadores que se incluyen en este apartado son aquellos que reflejan si la organización consigue lo que pretende, es decir, sus finalidades. Pueden ser objetivos para un grupo (por ejemplo, accionistas), para una comunidad concreta o para la sociedad en general. En definitiva cualquier organización, con animo de lucro o no, tiene como propósito esencial crear valor para la sociedad y esto es lo que recogen los resultados.

En esta perspectiva pueden incluirse por ejemplo: finalidades sociales (bienestar, servicios sociales, desarrollo cultural, etc); aspectos ambientales (contaminación, ahorro energético, etc); desarrollo institucional (rentabilidad, aumento de capacidad, crecimiento, innovación, etc); y objetivos financieros (beneficios, reducción de costes, control del riesgo, facturación, etc).

La perspectiva del cliente refleja la posición de la institución en los segmentos del sector educativo a los que ofrece sus servicios y en los que necesariamente tiene que competir. Esta perspectiva mide si los servicios que se ofrecen responden a las necesidades y expectativas de los receptores y clientes y, por tanto, los atributos de valor que la institución entrega. Si la oferta de la institución se basa, por ejemplo, en los menores costes posibles estos deberán ser más bajos que los de la competencia y dentro de los límites del valor aceptado, para lograr la aceptación.

En esta perspectiva caben indicadores directos expresados por datos observables (porcentaje de estudiantes que se inscriben en relación con estudios semejantes en otros centros, tasas de permanencia en la institución, empresas que solicitan asesoramiento, etc), por datos percibidos (satisfacción por el programa, satisfacción por los servicios, valor percibido de los estudios recibidos) o por datos indirectos (quejas, conflictos, abandono, rentabilidad por estudiante).

La perspectiva del cliente supone esencialmente medir la satisfacción de los clientes, e implicados en general, comprobar que se obtienen los mejores clientes y valorar su nivel de fidelidad. Como resulta evidente esto es imprescindible para conseguir unos buenos resultados, datos que aparecen en la perspectiva anterior.

La perspectiva de los procesos es una medida interna de la actividad de la institución y recoge los indicadores de los procesos críticos que llevan al éxito en el sector de sociedad en la que actuamos. Si la estrategia, por ejemplo, es lograr los más bajos costes posibles en los proyectos o en los servicios, los indicadores desde esta perspectiva serán relacionados con la eficiencia a través de medidas como la productividad, la innovación en los procesos, el tiempo de realización, etc.

Esta perspectiva refleja la situación de los procesos para generar en los clientes satisfacción y percepción de valor añadido, pero también desarrollo institucional (necesario para los titulares de la institución y los directivos) e impacto social (necesario para el conjunto de la población que tiene algún tipo de relación con el proyecto o actividad). Con el análisis de los datos de esta perspectiva es posible conocer y mejorar la cadena de valor de cada proceso y mejorar paralelamente la arquitectura organizativa.

El establecimiento de objetivos para los procesos internos es una de las más claras diferenciaciones del BSC con otros modelos de evaluación, ya que el mejoramiento del funcionamiento de los procesos constituye un eje central para la estrategia. Además de los objetivos específicos de cada proceso las medidas están centradas en la conformidad, efectividad, eficiencia (y costes en general), tiempo de realización, valor añadido y flexibilidad.

La cuarta perspectiva es el aprendizaje organizacional. Refleja la capacidad de renovación y crecimiento de la organización en el momento actual y a corto plazo, es decir, valora las competencias actuales y futuras. Estas competencias, que tienen las personas y la institución, son las que permiten desarrollar los procesos en las condiciones optimas y, por tanto, son la base de la satisfacción de los clientes y del éxito final. Al considerar la renovación se incluyen, por ejemplo, la participación en formación (horas / miembro de la organización), el gasto en I+D+I, la inversión en tecnología, y los programas o productos diseñados o definidos en cooperación con proveedores, socios y clientes.

Estas competencias se identifican esencialmente con el capital intelectual de la institución (humano, relacional, y estructural) y no solo se valoran por la capacidad actual sino también por la posibilidad de su generación, es decir, de aprender y crecer. Ante un proyecto la cuestión inevitable es decidir qué competencias se necesitan y, si estas no existen, determinar la posibilidad de adquirirlas. En esta perspectiva se incluyen facultamiento de los empleados, motivación, iniciativa, etc, así como desarrollo de la organización, por ejemplo, de sus sistemas de información. En consecuencia se utilizan todos los datos del componente humano de la organización: formación media, rotación, promedios de edad, porcentajes de mujeres directivos, porcentaje de directivos de distinta nacionalidad, gestor en marketing, etc.

Puesto que el BSC está ideado para generar cambios que produzcan resultados este primer nivel enfocado al componente humano parte del supuesto de que para tener éxito es necesario transformar la cultura que soporta los nuevos procesos. Los directivos deben darse cuenta del conflicto que crea la vieja forma de hacer las cosas cuando se diseñan nuevos procesos. Las culturas rutinarias y más tradicionales son un obstáculo muy importante que no se debe infravalorar.

Como cualquier sistema vivo las organizaciones necesitan revitalizarse o iniciar un proceso de agotamiento y muerte: un enfoque falso que termina en el desastre, es cambiar las apariencias de la estructura y los subsistemas sin modificar la esencia de la organización, que está en las personas. Por ello, en este nivel deben estar aquellas medidas que reflejan los signos vitales de la organización a través de las personas. Esto incluye la forma de pensar (afrontar el futuro, crear visión, comunicarse, etc) los sentimientos y emociones que mueven a las personas (implicaciones, compromisos, satisfacción) y los comportamientos (conductas que suponen actuar de forma diferente para conseguir resultados distintos. En otras palabras medidas de signos vitales (factores críticos) que residen en la cabeza, el corazón y las manos de la organización (Gibson y Billings, 2003; Phillips, J. 2002; Becker, B. 2001 ).

Algunas ventajas de la evaluación con BSC.
Además de las ventajas de su estructura el BSC presenta beneficios por la dinámica humana que genera. En primer lugar obliga al equipo a ponerse de acuerdo en una estrategia de actuación tanto en su definición como en su interpretación. Con frecuencia las personas se ponen de acuerdo en las palabras pero después las interpretan de forma diferente y no es posible efectuar una evaluación coherente. El BSC obliga a consensuar lo que se quiere hacer, como hacerlo y como medirlo. Cuando se llegan a poner por escrito las medidas se descubre si los pensamientos individuales convergen en la rigurosidad de los datos escritos. Las medidas escritas tienen que coincidir con cada propuesta porque sino es así no se contribuye al objetivo y no se está en la línea de la estrategia.

El establecimiento de las relaciones de causa-efecto permiten enriquecer la visión de los participantes, llegar al consenso y comprender cual es la parcela de la que es responsable cada uno y como su trabajo afecta al conjunto. El trabajo de control posterior se convierte en una propiedad del interesado y, por tanto en una verdadera autoevaluación. Además, el mantenimiento del sistema de seguimiento es una excelente herramienta de comunicación ya que horizontal y verticalmente todos estarán informados del desarrollo y de cómo se pueden ver afectados. La información se convierte en una fuente de formación permanente sobre la propia organización y su evaluación.

Las administraciones públicas y las instituciones sin animo de lucro, como es la educación en general, están orientadas al cumplimiento de su misión y, por tanto, encajan en el modelo, aunque no existan beneficios económicos en los resultados pero si el equilibrio presupuestario. Bajo otro enfoque convendría entender en las organizaciones no lucrativas que los indicadores de éxito están muchas veces en la alta moral o en la existencia de recursos, algo que no se comprende por la mala estructuración de las relaciones de causa-efecto.

Al aplicar el modelo a situaciones concretas hay que adaptarlo con la máxima flexibilidad. La administración es a veces el cliente y también el proveedor de fondos y el propietario de la actividad. De la misma forma en una escuela los padres son, con frecuencia, clientes y proveedores. Esto complica el análisis pero sin duda lo enriquece. No debe olvidarse, por último, que en las organizaciones sociales y la administración parte de los resultados esperados por la comunidad son a medio y largo plazo y por tanto necesitan desgloses que puedan captar los cambios significativos en los comportamientos a lo largo del desarrollo de un proyecto. Evidentemente no son adecuadas las medidas anuales típicas de la administración, especialmente marcadas por la ejecución presupuestaria.

Referencias bibliográficas.
Ballvé, A. M. (2002). Cuadro de Mando. Organizando información para crear valor. Gestión 2000, Barcelona.

Becker, B. (2001). The HR scorecard: linking people, strategy, and performance. Harvard Business School. Boston.

Conti, T. (1997). Organizational Self-Assessment. Chapman &. Hall. Londres.

Friedman, T. (1999). Tradición versus innovación. Atlántida. Barcelona.

Gane, R. (2002). Max weber and postmodern theory: rationalization versus reenchantment. Houndmills, Palgrave.

Gervilla, E. (1993). Posmodernidad y Educación: Valores y cultura de los jóvenes. Dikinson, Madrid.

Gibson, E.y Billings, A. (2002). Big change at best buy. Davies-Black, Palo Alto.

Harman, W. (2001). El cambio de mentalidad. La promesa del siglo XXI. Centro de Estudios Ramón Areces. Madrid.

ISO 9004:2000 (2001). Organización Internacional de Estandarización. AENOR. Madrid.

Kaplan, R.S. y Norton, D.P. (2001 a). Cuadro de mando integral. Gestión 2000, Barcelona.

Kaplan, R.S. y Norton, D.P. (2001 b). Cómo utilizar el cuadro de mando integral. Gestión 2000, Barcelona.

Kaufman, R. y Stone, B. (1983). Planning for organizational success. John Wiley. Nueva York.

Mahoney, F.X y Thor, C.G (1994). The TQM trilogy. Amacom, Nueva York.

Mc Daniel, O.C. (1992). The Direction of Higher Education. Ministerio de Educación y Ciencia.< Ámsterdam.

Municio, P. (1998). Evaluación de la Calidad de la Educación Superior. Un modelo de Autoevaluación Institucional. Red Universitaria de Evaluación de la Calidad. Madrid.

Municio, P. (2000a). Herramientas para la evaluación de la Calidad. CISS-PRAXIS, Barcelona.

Municio, P. (2000b). La Evaluación de la Calidad en Educación. Consudec.-Narcea. Buenos Aires.

Municio, P (2000c). Evaluación de la Calidad, en Pérez Juste, R. y otros. Hacia una educación de Calidad, Narcea. Madrid.

Municio, P. (2001). La evaluación de la interacción con el entorno en las instituciones educativas. Bordón, 53 (4). Madrid.

Olve, N. G., Roy, J. y Wetter, M. (2002). Implantando y gestionando el cuadro de mando integral. Gestión 2000, Barcelona.

Phillips, J. (2002). The human resources scorecard: measuring the return on investment. Butterworht-Heinemann.

Porter, L.J. y Tanner, S.J. (1996). Assessing Business Excelence. Butterworth-Heineman. Londres.Stufflebeaun, D.L. (1983). Teoría técnicas, procesos y casos en el planeamiento de la educación. El ateneo, Buenos Aires.

Stufflebeaun, D.L. y Shinkfield, A.J. (1987). Evaluación sistemática. Paidos. Barcelona.

Zinder, K.J., Acker-Hocevar, M. y Snyder, K.M. (2000). Living on the Edge of Chaos: Leading Schools into the Global Age. ASQ. Milwaukee, Wisconsin.

Fuente:
Para ampliar esta información, visite la página web de laUniversidad Complutense de Madrid

Para más información contacte a:
Pedro Municio
E-mail: pmunicio@atila.cece.es