Desde el inicio de las evaluaciones (año 1997), la DIPRES solicita un interlocutor permanente al interior de cada ministerio para establecer la Coordinación Ministerial de Programas, cuyo coordinador/a es designado por la autoridad ministerial.
En el Ministerio de Educación dicha responsabilidad está radicada en la División de Planificación y Presupuestos (DIPLAP), en consecuencia a la misión que esta declara en términos de conducir los procesos de planificación, formulación presupuestaria, evaluación y control de gestión de la Subsecretaría con el fin de lograr efectividad en las políticas educativas.
Su objetivo principal es coordinar todo el proceso de evaluación de programas que realiza la DIPRES, según Protocolo de Acuerdo firmado entre el Ministerio de Hacienda y la Comisión Especial Mixta de Presupuestos del H. Congreso Nacional, que acompaña a la Ley de Presupuesto de cada año.
Sus funciones se desarrollan principalmente en dos grandes ámbitos: el proceso de evaluación propiamente tal, y el seguimiento al cumplimiento de compromisos postevaluación, que adquieren el programa y el Ministerio. Actualmente, se efectúa desde la Unidad de Evaluación del Centro de Estudios de la DIPLAP.
Algunas de las tareas más relevantes de la Coordinación:
- Asegurar una adecuada participación del Ministerio desde el inicio del proceso de evaluación de programas definido por DIPRES (revisión de TDR, incompatibilidades de los evaluadores externos, entre otros).
- Contraparte institucional ante la DIPRES y evaluadores externos (panel y/o consultora) en el proceso de evaluación de los programas ministeriales.
- Entregar apoyo técnico, acompañamiento y asesoría a los programas durante todo el proceso de evaluación, incluido el establecimiento de compromisos y, posteriormente, el cumplimiento de los mismos.
- Proporcionar a la autoridad ministerial información relevante y oportuna sobre el avance del proceso evaluativo, resultados de la evaluación y cumplimiento de compromisos postevaluación suscritos por el programa y el ministerio.
Proceso de Evaluación de Programas
A continuación se describen las etapas de las evaluaciones mandatadas por la Dirección de Presupuestos del Ministerio de Hacienda, que se realizan anualmente a los programas del Ministerio de Educación, y que incluyen a los Servicios y a los programas de la Subsecretaría de Educación.
Etapa Preevaluación
Selección de programas e instituciones a evaluar: De acuerdo al marco legal que se establece en la Ley de Administración Financiera del Estado, su reglamento y en el Protocolo de Acuerdo del Congreso para la Ley de Presupuesto Anual, el Comité Interministerial compuesto por representantes de la DIPRES, SEGPRES y MIDESOL seleccionan los programas a evaluar de todos los servicios públicos.
Comunicación programas a evaluar: DIPRES informa a los ministros o jefes de servicios la cantidad de programas seleccionados y la modalidad de evaluación (EPG, EI, ECG, EPN), por medio de un oficio con copia a los programas involucrados y al Coordinador Ministerial de Evaluación de Programas. Con esto, solicita ratificar y/o designar al Coordinador y los nombres de las contrapartes técnicas de los programas.
Designación de Coordinador ministerial de evaluación de programas y contrapartes técnicas: El Ministro o Jefe de Servicio ratifica o designa al Coordinador Ministerial y envía nombres de las contrapartes técnicas de los programas a evaluar electos por las Jefaturas de División correspondiente, mediante un oficio al Director de Presupuestos.
Elaboración de los TdR y Licitación: estos son realizados por los analistas de la DIPRES, quienes solicitan información a los programas seleccionados a través de la Coordinación Ministerial de Evaluación radicada en la Unidad de Evaluación del Centro de Estudios de DIPLAP. Posteriormente, el Programa y la Unidad de Evaluación, envían sus comentarios a los TdR. La licitación de la evaluación es publicada por DIPRES.
Selección y revisión de incompatibilidades de evaluadores (Panel o Institución): Una vez adjudicada la evaluación, la DIPRES envía una nómina de evaluadores seleccionados al MINEDUC, para su revisión e informe de incompatibilidades por parte del programa como de la Unidad de Evaluación, según las bases de administración del Estado.
Etapa de Evaluación
Taller de Capacitación y MML a programas seleccionados: DIPRES realiza un taller de capacitación sobre el proceso de evaluación en general y la elaboración de la matriz de marco lógico de los programas a evaluar en la modalidad de EPG. Tiene una duración de un día y medio, y participan las contrapartes técnicas de los programas a evaluar en la modalidad de EPG y la Unidad de Evaluación en su rol de asesoría y acompañamiento. En el caso del MINEDUC, dos o tres programas en la modalidad EPG al año (más una EI y/o EPN al menos).
Entrega de información del programa (a DIPRES y Panel): El programa recopila y prepara información referida al período solicitado (4 años promedio). La Unidad de Evaluación chequea y registra la información enviada por el programa, solicita bases de datos a la Unidad de Estadísticas y, finalmente, envía toda la información a los analistas DIPRES a cargo de la evaluación, quienes la entregan al panel o a la institución evaluadora externa.
Presentación de propuesta metodológica: El panel o institución evaluadora externa presenta la propuesta metodológica al Programa, a la Unidad de Evaluación y a las jefaturas que deseen participar. DIPRES agenda y coordina la presentación; el Programa y la Unidad de Evaluación envían posteriormente comentarios por escrito a la propuesta metodológica.
Informes de avance/preliminar y final: El Programa y la Unidad de Evaluación reciben el primer informe de avance de la evaluación y envían un consolidado de comentarios correspondientes; asimismo, se realizan reuniones de trabajo entre todos los actores, se define la realización o no de un estudio complementario (en el caso de las EPG), y se entregan mayores antecedentes para continuar con el proceso de evaluación. Para los informes preliminar y final se mantiene el formato de comentarios y reuniones, hasta concluir con la versión corregida del informe final.
Etapa postevaluación
Envío informe final y Respuesta Institucional a Congreso: DIPRES envía el Informe Final de Evaluación al Ministro de Educación, a la jefatura del programa evaluado y al Coordinador Ministerial de la Evaluación de Programas, y solicita Respuesta Institucional a la evaluación. El Programa elabora la Respuesta Institucional con apoyo de la Unidad de Evaluación, la que debe ser visada por la Jefatura de División, en el caso de los programas de la Subsecretaría, o por la Dirección o Presidencia, en el caso de los programas que pertenezcan a algún servicio (JUNAEB, CONICYT, JUNJI).
En ambos casos, la Unidad de Evaluación prepara un oficio conductor para la firma del Subsecretario o de la Ministra de Educación, que acompaña la respuesta institucional del programa evaluado. El oficio señalado es visado previamente por el Coordinador Ministerial, el Jefe del Centro de Estudios y el Jefe de la División de Planificación y Presupuestos. Se realizan las gestiones pertinentes y el seguimiento al documento hasta la firma de la autoridad y posterior envío a DIPRES. A su vez, DIPRES envía al Honorable Congreso, el Informe Final de Evaluación con la Respuesta Institucional; cabe señalar que ambos documentos, quedan disponibles al público en el sitio web de DIPRES.
Definición de categorías de resultados y clasificación del programa: Una vez finalizada la evaluación y enviado el Informe de Evaluación con la Respuesta Institucional al Congreso, la DIPRES clasifica a los programas en base a los resultados de la evaluación, situación que define el tipo de compromisos que deberá asumir el programa y las consecuencias de tipo presupuestarias para el año siguiente. La Unidad de Evaluación informa a los programas y a las jefaturas correspondientes respecto de las categorías definidas por DIPRES.
A partir del año 2011 se modificó la clasificación de los programas en categorías más asociadas a los resultados de la evaluación, con el objeto de hacer más explícito su nivel de desempeño. Las categorías actuales son:
- Buen Desempeño: El programa presenta resultados positivos y significativos a nivel intermedio y final, así como también en las dimensiones de diseño, gestión y producto.
- Desempeño Suficiente: El programa tiene resultados positivos que dan cuenta de sus objetivos, sin embargo, presenta debilidades en alguna(s) de las dimensiones evaluadas.
- Desempeño Insuficiente: El programa presenta resultados insuficientes y/o muestra debilidades en las dimensiones evaluadas que no le permiten dar cuenta de sus objetivos.
- Resultados no Demostrados: La evaluación no entrega información suficiente que permita obtener resultados concluyentes respecto del desempeño del programa.
Establecimiento de compromisos institucionales derivados de los resultados y recomendaciones de la evaluación: Los compromisos institucionales se elaboran a partir de las recomendaciones del equipo evaluador externo y abordan los problemas e insuficiencias detectados. Además, constituyen la base del proceso de seguimiento posterior hasta el egreso del programa una vez se haya cumplido el total de los compromisos adquiridos. El cumplimiento de estos, se informa dos veces al año (al 31 de diciembre y 30 de junio).
En este proceso la DIPRES envía matrices que constituyen documentos de trabajo para definir los compromisos institucionales. Deben ser completadas por el programa evaluado, previo trabajo interno con la Unidad de Evaluación y jefaturas de divisiones respectivas y enviadas a DIPRES con la firma del Subsecretario. Posteriormente, se realizan reuniones de trabajo con DIPRES y contrapartes técnicas del Ministerio donde se analiza la Respuesta Institucional para proceder a establecer los compromisos consensuados entre las partes y con plazos específicos.
DIPRES envía una Matriz inicial de compromisos al programa y al Coordinador Ministerial. La unidad de Evaluación realiza reuniones de asesorías con el programa para la revisión de la propuesta de compromisos y su factibilidad de ejecución. El programa envía una contrapropuesta a DIPRES visada por la jefatura de División correspondiente y se agendan diversas reuniones hasta definir una matriz de compromisos lo más consensuada posible entre los actores involucrados. Los compromisos suscritos finalmente son enviados a DIPRES por el Ministro o Subsecretario de Educación.
Etapa Seguimiento de compromisos
Es una de las etapas más importantes y complejas, pues contempla el cumplimiento de los compromisos institucionales suscritos entre el programa (Ministerio) y la Dirección de Presupuestos, en un período, a veces, superior a tres años, lo cual implica coordinarse con distintas jefaturas y/o equipos profesionales que se modifican debido a los cambios de administración o gobierno.
Una vez suscritos los compromisos el programa y el Ministerio de Educación deben enviar reportes de cumplimiento de los compromisos dos veces al año:
- Al 30 de junio: el reporte de cumplimiento se utiliza para el proceso presupuestario y, por lo tanto la información debe ser enviada durante la primera quincena de julio, según calendario que fija DIPRES.
- Al 31 de diciembre: el reporte de cumplimiento se envía a DIPRES durante los meses de enero, febrero y hasta la primera semana de marzo, pues la información debe ser incorporada en el BGI anual del Ministerio que la DIPLAP elabora durante los meses de marzo y abril de cada año.
La Unidad de Evaluación acompaña y asesora a los programas (en promedio, once anuales) durante toda esta etapa hasta el total cumplimiento de los compromisos, definida por DIPRES como “egreso” del programa. Revisa informes de cumplimiento y medios de verificación de cada compromiso y, posteriormente, incorpora la información a la plataforma web que dispone DIPRES para tal efecto, mediante claves de ingreso, validación y envío, entregadas a la Coordinación Ministerial. Posteriormente, analiza la precalificación de los compromisos efectuada por los analistas de la DIPRES, e informa a los programas de los resultados preliminares de manera de apoyarlos en el envío de nueva información a DIPRES en el período extraordinario que ha concordado con dicha institución, y así sucesivamente hasta el nuevo informe o reporte.
El seguimiento del cumplimiento de los compromisos implica asesoría y acompañamiento a los programas en la coordinación con otras áreas del MINEDUC que apoyen la realización de los compromisos adquiridos. Por ejemplo, Informática, Estudios, Jurídica, Subvenciones, etc., hasta el egreso del programa, luego del total cumplimento de los compromisos adquiridos con DIPRES.
Las jefaturas y autoridades del programa evaluado son informadas sobre el avance y estado de la situación de los compromisos, después de la calificación de DIPRES. Asimismo, los informes de cumplimiento son públicos y se encuentran disponibles en la página web de DIPRES.