Informe especial n° 15/98 sobre la evaluación de las intervenciones de los Fondos Estructurales para los períodos 1989-1993 y 1994-1999, acompañado de las respuestas de la Comisión (presentado de conformidad con el segundo párrafo del apartado 4 del artículo 188 C del Tratado CE)

Informe especial n° 15/98 sobre la evaluación de las intervenciones de los Fondos Estructurales para los períodos 1989-1993 y 1994-1999, acompañado de las respuestas de la Comisión (presentado de conformidad con el segundo párrafo del apartado 4 del artículo 188 C del Tratado CE) Diario Oficial n° C 347 de 16/11/1998 p. 0001 - 0047 INFORME ESPECIAL N° 15/98 sobre la evaluación de las intervenciones de los Fondos Estructurales para los períodos 1989-1993 y 1994-1999, acompañado de las respuestas de la Comisión (presentado de conformidad con el segundo párrafo del apartado 4 del artículo 188 C del Tratado CE) (98/C 347/01) 1.

INTRODUCCIÓN 1.1. La reforma de los Fondos Estructurales de 1988 introdujo la obligación para la Comisión y los Estados miembros de evaluar las políticas estructurales europeas. En 1993, se reforzó esta obligación mediante la reglamentación modificada con motivo de la revisión de la reforma de los Fondos Estructurales (1994 1999), y las cláusulas normalizadas de los nuevos Marcos comunitarios de apoyo (MCA) y de los documentos únicos de programación (DOCUP). 1.2. La evaluación, instrumento indispensable para una buena gestión de los Fondos Estructurales, se define en las principales disposiciones reglamentarias (1) como una apreciación de la eficacia a tres niveles: a) el impacto del conjunto de las acciones estructurales sobre los objetivos contemplados en el artículo 130 A del Tratado; b) el impacto del conjunto de las acciones previstas en los MCA; c) el impacto específico de cada intervención operativa (programas y otras formas de intervención).

1.3. La ejecución de la evaluación consta de tres fases principales: a) la apreciación previa (ex ante) (2), durante la cual han de identificarse correctamente, por una parte, los problemas socioeconómicos existentes y los objetivos a alcanzar y, por otra, la estrategia adoptada con los medios disponibles para responder a ellos; b) la evaluación intermedia, que permite comprobar, durante la ejecución de un programa, si los objetivos siguen teniendo validez y si los resultados deseados llevan camino de alcanzarse; c) la evaluación posterior (ex post), que se emprende cuando ha concluido el programa y sirve para analizar si los resultados y efectos obtenidos pueden considerarse positivos, teniendo en cuenta por supuesto que los efectos a largo plazo de una acción estructural no pueden comprenderse hasta varios años después de su finalización.

1.4. La reglamentación, modificada en 1993, subraya la responsabilidad tanto de los Estados miembros como de la Comisión en materia de evaluación, que se inscribe en el marco de la cooperación (3). En este contexto, la Comisión ha tomado la iniciativa de la dirección y coordinación general de la ejecución de la evaluación y presenta un informe trienal de evaluación, previsto en el artículo 16 del Reglamento (CEE) n° 2052/88, sobre los progresos realizados en materia de cohesión económica y social y sobre la contribución a ellos de los fondos y la cofinanciación nacional. 2. ALCANCE DE LA AUDITORÍA 2.1.

El objetivo general de la encuesta del Tribunal (4) era comprobar los progresos realizados en materia de evaluación de las intervenciones estructurales comunitarias tanto en lo que se refiere a los sistemas y procedimientos de evaluación como desde el punto de vista metodológico. El examen se centró en las modalidades de ejecución de la evaluación tanto por parte de la Comisión como en el marco de la cooperación. Se examinaron la utilización legal y regular de los créditos del presupuesto de las Comunidades Europeas destinados a la evaluación, así como la calidad de la gestión financiera.

2.2. En el marco de la encuesta se examinaron también las técnicas de evaluación de la repercusión socioeconómica de las acciones estructurales. Aunque no se pretendía realizar una evaluación directa de los programas que produjese nuevos resultados científicos, se mencionan algunos de los resultados comprobados por expertos con el fin de captar mejor la relación existente entre los instrumentos de política económica utilizados y los resultados obtenidos. 2.3. Se realizaron encuestas específicas sobre las evaluaciones posteriores de los MCA y los programas operativos (PO) de los objetivos 1 y 2 para el período de programación de 1989 1993 y sobre las evaluaciones intermedias de los MCA, DOCUP y PO del período de programación de 1994 1999.

Se tuvieron en cuenta todas las evaluaciones posteriores de los MCA 1989 1993 del objetivo 1, así como en torno al 20 % de los informes de evaluación posterior de los MCA 1989 1993 del objetivo 2 y el 15 % de los informes de evaluación intermedios del MCA 1994 1999, seleccionados en función de su distribución geográfica y de la naturaleza de las intervenciones (MCA, DOCUP, PO). Por otra parte, de los 25 informes de evaluación relativos principalmente a aspectos macroeconómicos se analizaron 15. La encuesta se llevó a cabo entre los servicios de la Comisión y en ocho Estados miembros (Bélgica, Grecia, España, Francia, Irlanda, Italia, Países Bajos, Portugal), donde se consultó a los evaluadores y a los responsables de las administraciones nacionales.

3. RESUMEN DE LAS PRINCIPALES OBSERVACIONES 3.1. La evaluación se desplegó y difundió por impulso de la Comisión en el curso del período de programación 1994 1999, especialmente en el marco del FEDER. Ello tuvo como consecuencia el reconocimiento de dicho instrumento en el marco de la gestión y la programación. A partir de este período de programación (1994 1999) se aplica sistemáticamente la evaluación en las dos primeras fases (previa e intermedia) y también al final del período (evaluación posterior) (véanse los puntos 4.2 4.8). 3.2. La Comisión, aun conociendo sus gastos directos para la evaluación, no dispone siempre de la totalidad de las informaciones concernientes a los gastos correspondientes a la evaluación en el marco de la cooperación (véanse los puntos 4.9 4.11).

3.3. La Comisión ha contribuido decisivamente a difundir la cultura de la evaluación, aun cuando no ha ofrecido una definición suficiente sobre los indicadores ni sobre la metodología de evaluación en su programa «Métodos de evaluación de las acciones de naturaleza estructural» (MEANS). Habida cuenta de la complejidad de los aspectos metodológicos de la evaluación, no existe una única metodología aplicable a toda situación específica. Sin embargo, es importante que la Comisión esté en condiciones de ofrecer directrices metodológicas que permitan disponer de las orientaciones adecuadas para llevar a cabo evaluaciones adaptadas a situaciones concretas (véanse los puntos 4.12 4.13).

3.4. La calidad de los indicadores está estrechamente ligada a la fiabilidad de los datos resultantes del seguimiento de las intervenciones y de las bases estadísticas existentes, las cuales, al ser competencia de los Estados miembros, resultan a menudo insuficientes; los Estados miembros deberían mejorar su calidad (véanse los puntos 4.14 4.21). 3.5. Muchas evaluaciones concluyen tarde, lo que puede retrasar los ajustes de los programas. Por otra parte, los resultados de la evaluación en términos de rendimiento o de eficacia de las formas de intervención podrían tenerse más en cuenta en el sistema de toma de decisiones relativo a las reprogramaciones (véanse los puntos 4.22 4.27).

3.6. En cuanto a la objetividad de las evaluaciones, la Comisión no procede a ningún control sobre el terreno de la coherencia y la fiabilidad de los indicadores o de los sistemas que los producen (véanse los puntos 4.29 4.30). 3.7. Los procedimientos empleados por la Comisión para la celebración de los contratos de consultores en materia de evaluación siguen presentando importantes puntos débiles. La elección de los consultores no siempre está claramente justificada. Los pliegos de condiciones siguen siendo muy generales por lo que respecta a la técnica propia de la metodología, los indicadores o las obligaciones de resultado.

De ello se derivan retrasos y trastornos en la elaboración de los informes de evaluación, una calidad variable del análisis y, a veces, recomendaciones vagas (véanse los puntos 4.31 4.36). 3.8. La aplicación de las metodologías relativas a las evaluaciones posteriores de los objetivos 1 y 2 (1989 1993) tuvo que hacer frente a lagunas estadísticas, a una ausencia de objetivos e indicadores de previsiones cuantificados y a un seguimiento de los efectos ineficaz, y no siempre se ha llevado a cabo de manera suficientemente rigurosa; además, se realizó de forma imperfecta y heterogénea. Con todo, dichas evaluaciones pusieron de manifiesto la existencia de un valor añadido comunitario de los Fondos Estructurales tanto en lo que se refiere a realizaciones, resultados y efectos de los MCA, los PO y las medidas como en materia de programación, organización, seguimiento, coordinación, cooperación y adicionalidad (véanse los puntos 4.15 4.19, 5.1, 5.4 y 5.10 5.16).

3.9. Por lo que respecta a las evaluaciones intermedias de las intervenciones de los Fondos Estructurales 1994 1999, realizadas en cooperación en el marco de los comités de seguimiento, la prioridad concedida a los distintos objetivos de evaluación es variable, aunque en todas ellas ocupe un importante lugar el examen de las realizaciones físicas y financieras. La evaluación de los efectos se vio obstaculizada por problemas relativos a los indicadores y a la modelización de los efectos. Muy a menudo, no deja de ser relativa la utilidad de estas evaluaciones para el proceso de toma de decisiones, la gestión de los proyectos, la reprogramación o la preparación de intervenciones futuras (véanse los puntos 4.16 4.21, 6.5, 6.7 y 6.14 6.26).

3.10. En lo que se refiere concretamente al objetivo 2, la evaluación ha puesto de manifiesto los siguientes puntos débiles: a) la inadecuación entre la realización de los programas y la financiación comunitaria; en efecto, las prórrogas de créditos de un programa a otro siguen siendo importantes, del orden del 12 % en promedio en el paso del período de 1994 1996 a 1997 1999 (véanse los puntos 6.27 6.28); b) la sucesión de períodos de programación cortos no permite una utilización óptima de los resultados de la evaluación (véase el punto 4.23); c) siguen midiéndose insuficientemente los efectos indirectos para determinar la repercusión de las intervenciones estructurales, en particular en materia de empleo (véanse los puntos 5.12 5.15).

3.11. Las evaluaciones macroeconómicas realizadas han arrojado resultados positivos, en particular en cuanto a la repercusión de las acciones estructurales (incremento del PIB, efectos sobre la oferta y la demanda, mejora del empleo y de la convergencia, eficacia de los instrumentos de los MCA), a pesar de las lagunas existentes en los sistemas de programación, aplicación y seguimiento de dichas acciones (véanse los puntos 7.1 7.14). 3.12. Las evaluaciones sobre subprogramas o medidas siguen siendo insuficientes, pues tropiezan con dificultades técnicas derivadas de la dispersión y la falta de coherencia de gran número de medidas y subprogramas (véase el punto 7.17).

4. PROBLEMAS GENERALES Introducción 4.1. El objetivo de la evaluación es determinar los efectos socioeconómicos de las acciones emprendidas, es decir, examinar los resultados obtenidos, compararlos con los recursos invertidos y analizar su coste; y todos estos puntos deben ser objeto también de un análisis con relación a las previsiones. Ahora bien, para llevar a cabo esta tarea de evaluación, es indispensable disponer de una buena base estadística, establecer unos objetivos cuantificados sobre la base de un sistema de indicadores y desarrollar el marco metodológico y analítico; hay que apoyarse además en el análisis de las relaciones existentes entre medios utilizados, resultados finales y resultados intermedios.

El Tribunal ha detectado fallos en todos estos ámbitos que hasta ahora han limitado la utilidad de las evaluaciones realizadas en el marco de los Fondos Estructurales, aun cuando se hayan registrado verdaderos progresos que contribuyen a consolidar la dinámica de la evaluación. 4.2. Desde la reforma de 1988, la evaluación se inscribe explícitamente en el marco de la cooperación [artículo 26 del Reglamento (CEE) n° 4253/88, precisado en el Reglamento (CEE) n° 2082/93. En el curso del primer período de programación y hasta 1995, las evaluaciones se han efectuado sin embargo por iniciativa de la Comisión (5).

Dichas evaluaciones -especialmente las de carácter posterior- se han visto lastradas por estrategias de desarrollo poco precisas y por un seguimiento insatisfactorio; por lo demás, generalmente no han sido objeto de una consideración detallada y de una profunda discusión en los comités de seguimiento. 4.3. En un primer momento, la Comisión procuró sobre todo crear su propio dispositivo de evaluación para el conjunto de los MCA, que contemplaba los cinco objetivos prioritarios de la reforma (6). Entre las iniciativas de la Comisión relacionadas con el desarrollo de las evaluaciones y su metodología, cabe citar en particular la creación en 1992 del grupo técnico «Evaluación de las políticas regionales» y, en el plano metodológico, el lanzamiento en 1994 del programa «Métodos de evaluación de las acciones de naturaleza estructural» (MEANS).

4.4. Para el período de programación 1994 1999, la Comisión ha estado en la base de una nueva dinámica de evaluación, reflejada desde entonces en su aplicación sistemática a las dos primeras fases (anterior e intermedia) y finalmente a la fase posterior. 4.5. La evaluación intermedia, si bien no prevista de manera expresa en los reglamentos de los Fondos Estructurales, fue aplicada a partir de 1995 1996 en todos los MCA, DOCUP y PO del período de programación 1994 1999. Esta se inscribe en particular en el marco de la cooperación, proporcionando a los comités de segui miento una herramienta de gestión integrada y contribuyendo con ello a una amplia difusión de la cultura de la evaluación.

Para la evaluación intermedia, la Comisión preparó un mecanismo en fases sucesivas para su aplicación en los Estados miembros (7). 4.6. Sin embargo, este dispositivo no precisaba las modalidades concretas del proceso (definición del pliego de condiciones, criterios de selección del evaluador, estructura del informe de evaluación, recogida de los datos, normas de calidad exigidas, calendario, etc.). 4.7. Paralelamente, la Comisión organizó manifestaciones que completó con numerosas publicaciones (8). En dichas manifestaciones tuvieron ocasión de reunirse los profesionales de la evaluación y los gestores de los Fondos Estructurales, lo que contribuyó al desarrollo de la cultura de la evaluación y a la sensibilización de los gestores.

La evaluación se presentó esencialmente como un proceso de aprendizaje nacido de la experiencia. 4.8. La Comisión presentó en mayo de 1998 en el marco del anteproyecto de presupuesto general de las Comunidades Europeas para el ejercicio de 1999 el documento de trabajo «Balance de evaluación 1996/1997», en el que describe las actividades de evaluación realizadas en 1996 1997, ofrece una lista de las evaluaciones realizadas y en curso de realización y hace una síntesis de los resultados de las evaluaciones emprendidas en 1996 1997. 4.9. Los gastos de evaluación pueden ser o bien financiados directamente por la Comisión, o bien cofinanciados con los Estados miembros.

En las tablas 1 y 2 se indican los gastos directamente efectuados por la DG XVI en materia de evaluación durante los dos períodos de programación de 1989 1993 y 1994 1999. 4.10. En el período de 1989 1993, dichos gastos ascendieron a 10 millones de ecus, como se muestra en la tabla 1. Alrededor de las dos terceras partes se efectuaron en dos ámbitos que son responsabilidad directa de la Comisión y pertenecen a su propia iniciativa: las iniciativas comunitarias en virtud del artículo 11 del Reglamento (CEE) n° 4253/88 por un importe de 3,1 millones de ecus, y las evaluaciones transversales y temáticas, como las PYME, las telecomunicaciones, el medio ambiente o los recursos humanos, por un importe de 3,2 millones de ecus.

Los importes destinados a la evaluación de los objetivos 1 y 2 de los Fondos Estructurales siguieron siendo sin embargo relativamente bajos, habida cuenta que en el mismo período la cooperación se desarrolló escasamente en el ámbito de la evaluación. En abril de 1998, el gasto en evaluación para el período de 1994 1999 ascendía a 25,2 millones de ecus, como se muestra en la tabla 2. Este aumento con respecto al período anterior se explica por el desarrollo de la evaluación intermedia y de la metodología correspondiente en el marco de la cooperación. 4.11. Por lo que respecta a los gastos efectuados por la Comisión y los Estados miembros en este marco, que se han incrementado mucho desde 1996, la Comisión no siempre dispone de la totalidad de las informaciones correspondientes, especialmente cuando las evaluaciones se incluyen en la medida «asistencia técnica» de los programas operativos, que puede abarcar también otros gastos.

Podría preverse la concesión de un importe específico para las necesidades de evaluación desde la fase inicial de programación, lo que haría su coste más transparente. Marco de referencia 4.12. En el proceso de desarrollo de la evaluación, el programa MEANS (1995 1998), con un importe total de 2,8 millones de ecus, ocupa un lugar específico (9). El procedimiento aplicado tiene por objeto propiciar un desarrollo metodológico uniforme y coherente mediante el inventario de las metodologías utilizadas por los Estados miembros y la presentación de ejemplos válidos. Este enfoque, esencialmente incitativo y empírico, no permite a la Comisión pronunciarse sobre las modalidades concretas de aplicación de los métodos de evaluación o sobre la elección de indicadores, en particular los dirigidos a medir la repercusión socioeconómica en el campo del desarrollo regional.

Habida cuenta de la complejidad de los aspectos metodológicos de la evaluación, no existe una única metodología aplicable a toda situación específica. Sin embargo, es importante que la Comisión esté en condiciones de ofrecer directrices metodológicas que permitan disponer de las orientaciones adecuadas para llevar a cabo evaluaciones adaptadas a situaciones concretas. 4.13. Los resultados del programa MEANS han servido hasta ahora para sentar los cimientos de un nuevo procedimiento de evaluación, en particular mediante la introducción de un lenguaje común, y han permitido preparar la evaluación intermedia en el marco de la cooperación.

En las tablas 3 y 4 se muestra el procedimiento de evaluación generalmente aceptado. Ahora bien, el programa MEANS no ha respondido en profundidad a las cuestiones relativas a los aspectos prácticos y operativos de la evaluación. Así, todavía quedan por responder dos cuestiones fundamentales: por una parte, qué sistema de indicadores es más adecuado para formular un juicio global sobre un programa estructural comunitario y, por otra, qué enfoque de evaluación es el más conveniente para medir la repercusión socioeconómica de un programa estructural dado en el marco del desarrollo regional.

La Comisión no está en condiciones aún de dar instrucciones precisas sobre las técnicas concretas que deben aplicarse en cada situación concreta de evaluación. Esta laguna afecta especialmente a la ejecución de las evaluaciones intermedias de las formas de intervención del período de programación de 1994 1999. Bases estadísticas e información relativa a los objetivos perseguidos 4.14. Las evaluaciones, ya sean previas, intermedias o posteriores, tropiezan a menudo con una formulación de los objetivos demasiado general, incluso en lo que se refiere a los objetivos de medidas. 4.15. El nivel de desarrollo de las bases estadísticas existentes pone freno al seguimiento y la evaluación de los programas y las medidas cofinanciadas por los Fondos Estructurales.

Entre las lagunas observadas hay que citar, en particular, la falta de una cobertura estadística limitada a las zonas afectadas, la ausencia de estadísticas sobre determinados aspectos y una periodicidad de recogida de la información inadecuada para las necesidades de seguimiento y de evaluación. Indicadores 4.16. La existencia de sistemas de indicadores fiables y adecuados es un elemento indispensable del proceso de programación. Para atender a las necesidades de evaluación, los programas estructurales deben contener información sobre la realización financiera y material, así como sobre los resultados y el rendimiento de las acciones.

Dichos indicadores deben informar a los gestores de los efectos inmediatos o duraderos de las acciones emprendidas y, además, hacer posible una medición de los progresos realizados con respecto a los objetivos globales de los programas, como el crecimiento regional o la reducción del desempleo. 4.17. La fiabilidad de los indicadores financieros está estrechamente ligada a la de los certificados de gastos enviados a la Comisión para desencadenar el correspondiente pago comunitario. Los indicadores materiales se facilitan a menudo como un complemento de información y su fiabilidad es relativa.

Las bases de datos existentes no siempre permiten registrar la evolución material de las realizaciones y los beneficiarios finales no siempre informan a los gestores de forma periódica sobre el estado de las realizaciones concretas. En la evaluación intermedia del PO Lisboa e Vale do Tejo en Portugal se ofrecen indicadores materiales estrictamente proporcionales a los gastos, sin mencionar ninguna variación ligada a retrasos en la realización o a otras causas. Los Estados miembros deberían mejorar sus mecanismos de seguimiento y las bases de datos de apoyo a los indicadores. 4.18. La medición de los resultados y los efectos de los subprogramas y medidas, por una parte, y de la repercusión de los programas, por otra, tropieza con las incertidumbres relativas a la identificación de las cadenas de causalidad entre los distintos niveles de objetivos y entre los objetivos y las medidas y proyectos, y a la determinación de las relaciones horizontales de complementariedad y sinergia entre medidas y entre objetivos.

Así, resultan difíciles de concretar el efecto específico de una medida sobre el desarrollo regional, o la repercusión de una inversión sobre la demanda o, con mayor motivo, sobre la oferta. En este marco, la búsqueda de indicadores que constituyan un instrumento adecuado para la evaluación de los resultados y de la repercusión todavía no ha concluido en lo que concierne al MCA 1994 1999 (véase el punto 6.23). 4.19. El ejercicio de apreciación previa del MCA es indispensable para las evaluaciones posteriores, al velar por la definición y cuantificación de todos los indicadores de resultados y de repercusión para permitir un juicio sobre la repercusión prevista del programa y su comparación con los efectos reales.

En este contexto, el enfoque de la gestión por objetivos no se ha aplicado siempre de manera armonizada o satisfactoria, lo cual ha tenido repercusiones en el ámbito de los indicadores necesarios para la evaluación. Así, el MCA 1994 1999 italiano contiene un pequeño número de indicadores, lo que podría obstaculizar las evaluaciones posteriores. En cambio, el MCA 1994 1999 portugués, aprobado por la Comisión sin grandes modificaciones, contiene un número demasiado elevado, del orden de 300, lo que complicará del mismo modo el ejercicio de evaluación. Esta divergencia en la determinación de los indicadores de un MCA a otro pone de manifiesto la falta de coherencia de la programación.

La presencia de numerosos objetivos generales y poco cuantificables lleva a veces a revisar, durante la evaluación intermedia, el sistema de indicadores aprobado por la Comisión en la fase de apreciación previa por resultar insuficientemente definido y operativo. 4.20. Las intervenciones estructurales y las situaciones socioeconómicas en que se inscriben dan lugar a una gran variedad de indicadores que a menudo se determinan de forma descentralizada. La Comisión no ha elaborado listas de los indicadores que considera indispensables y representativos desde el punto de vista del desarrollo regional o para los distintos tipos de acciones, aun cuando se han comunicado listas parciales a determinados organismos nacionales o regionales y han sido ya objeto de debates.

4.21. En el marco del seguimiento debería procederse a una cuantificación mayor de los indicadores de resultados y de repercusión, sin olvidar la fiabilidad de dicha cuantificación. Puede ocurrir, en efecto, que no sea fiable, por no evitar en determinados casos el doble recuento de los puestos de trabajo creados o no permitir distinguir los efectos brutos sobre el empleo con respecto a los netos. Así se ha observado comparando el informe de evaluación intermedia del PO Brandemburgo con las estadísticas relativas a la inscripción de las personas en la seguridad social. Consideración de la evaluación 4.22.

La contribución de la evaluación a un empleo eficaz de los fondos comunitarios depende en gran medida de la calidad de su contenido, así como de la fecha de recepción de los resultados y la de la decisión dirigida a modificar la estrategia. No obstante, un cierto número de evaluaciones intermedias de los MCA, DOCUP y PO del período de programación 1994 1999 finalizaron demasiado tarde, lo que retrasó los posibles ajustes. 4.23. En cuanto a la programación del objetivo 2, la sucesión de períodos de programación más cortos que en el objetivo 1 dificulta mucho la coincidencia de las fechas en que están disponibles los resultados de las evaluaciones para extraer enseñanzas del pasado y adecuar las intervenciones siguientes y las fechas en que han de tomarse las decisiones de programación.

Existe cierto desfase entre el ciclo de la programación del objetivo 2 y su ciclo de evaluación; así, la versión final del informe de síntesis de la evaluación posterior del objetivo 2 para el período 1989 1993 se envió a la Comisión en verano de 1997, cuando estaba en curso la apreciación previa de la programación 1997 1999 y no se había iniciado aún la evaluación posterior del período 1994 1996. 4.24. Cualesquiera que sean los resultados de los programas estructurales expuestos en los informes de evaluación, a menudo no se modifica la dotación presupuestaria en favor de dichos programas o de los siguientes.

Las evaluaciones rara vez se han tenido en cuenta en el primer período de programación del sistema de toma de decisiones, dado que las reprogramaciones han solido basarse esencialmente en el grado de absorción financiera. Así ocurrió con las útiles recomendaciones hechas por el consultor principal en el marco de la evaluación posterior de los MCA objetivo 1 (1989 1993) (véase el punto 5.7). 4.25. Los aspectos más cualitativos de rendimiento o eficacia de los programas identificados en evaluaciones intermedias o en informes de ejecución no han tenido suficiente influencia en la gestión operativa de los Fondos Estructurales, ni en el proceso de responsabilización de los cooperadores afectados por el desarrollo de los programas.

4.26. Los resultados de la evaluación intermedia de los DOCUP, MCA y PO del objetivo 2 (1994 1996), así como del seguimiento, ponen de manifiesto la existencia de una inadecuación entre la financiación programada y la realización de los programas. Esta situación hace predominante el deseo de absorción de los créditos y puede conducir a una infravaloración del papel de la evaluación en el análisis de la zona considerada, en particular en lo que se refiere a la coherencia entre los objetivos, los recursos asignados y la repercusión de las intervenciones estructurales. 4.27. A menudo, las conclusiones y recomendaciones de las evaluaciones son evidentes para los gestores de las acciones de intervención, aun cuando puedan ser de utilidad para otros asociados.

Esto vale tanto para las evaluaciones posteriores (véase el punto 5.8) como para las evaluaciones intermedias en el marco de la cooperación. Objetividad de las evaluaciones 4.28. La falta de un marco de referencia preciso dificulta la aplicación de técnicas apropiadas y aplicables de manera objetiva a las situaciones específicas de evaluación, de forma que los resultados puedan ser fácilmente controlados y quede garantizada la independencia del evaluador. Ocurre, sin embargo, que el método preconizado no está motivado objetivamente, que el evaluador adecua su enfoque demasiado fácilmente a las dificultades encontradas o que selecciona los indicadores en función de la información disponible.

4.29. Tampoco aparece garantizada la independencia respecto a los gestores, en particular en el plano de la información (véase el punto 6.11), mientras que los informes de evaluación no siempre indican la fuente de información en que se basan sus afirmaciones. Esta laguna puede llevar a poner en duda la fiabilidad y validez de la información presentada en los informes de evaluación. 4.30. Mientras que la objetividad debería quedar garantizada mediante un sistema de control de la calidad de los indicadores (de realización, resultado y de repercusión) de la fiabilidad de los datos de base y del grado de aplicación de la metodología, los servicios de la Comisión analizan las informaciones y los resultados presentados en el marco de la evaluación, pero sin efectuar un control sobre el terreno o comprobar el buen funcionamiento de los sistemas de evaluación existentes en los Estados miembros.

Contratos de evaluación celebrados por la Comisión 4.31. Del examen de los procedimientos de celebración de contratos de las evaluaciones encargadas por la Comisión se desprenden los siguientes puntos débiles: procedimientos de selección insatisfactorios, pliegos de condiciones demasiado vagos, retrasos y escasa calidad de los informes. 4.32. Los elementos de apreciación o de análisis que han determinado la elección del consultor por parte de la Comisión no siempre figuran de forma clara en las actas de las reuniones relativas al procedimiento de licitación. La auditoría realizada por el Tribunal no ha podido asegurar la selección de los mejores expertos en el ámbito de competencia más apropiado.

4.33. En los casos de evaluación posterior del conjunto de los MCA 1989 1993 de los objetivos 1 y 2, la selección versó respectivamente en un consultor principal acompañado de otros consultores nacionales y en consultores coordinadores que, a su vez, subcontrataron después los estudios a otros consultores. En esta cadena de consultores, la Comisión puede perder el control de las modalidades de ejecución de la evaluación que garantizan la coherencia, la homogeneidad y la calidad de los resultados. 4.34. Con frecuencia, el pliego de condiciones resulta impreciso en cuanto a la descripción de los trabajos que deben realizarse y las obligaciones de resultado esperadas.

Los términos del contrato siguen siendo muy generales. Con frecuencia, las modalidades de ejecución de la evaluación quedan abiertas a un acuerdo posterior sobre el marco metodológico pendiente de celebrar con la Comisión. 4.35. En cuanto al calendario de entrega de los informes, a menudo se observan retrasos. Así, para la evaluación del conjunto de MCA 1989 1993 del objetivo 1, las cláusulas contractuales preveían la entrega del informe el 28 de febrero de 1995, pero de hecho no se concluyó hasta noviembre de 1995. La Comisión no había previsto ninguna sanción por la inobservancia de las obligaciones contractuales en materia de plazo y abonó el pago final del 40 % el 11 de julio de 1995 con arreglo al artículo 4 del contrato.

4.36. La ausencia de unos términos contractuales de referencia precisos y claros sobre el procedimiento metodológico a seguir y los resultados esperados hace que las reacciones de los servicios de la Comisión a los informes sean variables. Así, por ejemplo, se autorizan informes que se limitan a ofrecer simples descripciones o vagos análisis de la utilidad de las realizaciones, o están basados en afirmaciones genéricas de personas encuestadas, o incluso conducen a recomendaciones demasiado generales. En el caso de la evaluación posterior del MCA 1989 1993 Irlanda, un servicio considera que debe rescindirse el contrato con el consultor por su mala calidad, mientras que otro servicio lo aprueba.

En la evaluación posterior del MCA 1989 1993 para Portugal, los servicios competentes coinciden en precisar que el informe no contiene elementos de evaluación, sino que se limita a repetir los datos sobre las realizaciones materiales ya presentados por el Estado miembro. Del mismo modo, se observa que el informe de evaluación posterior del MCA 1989 1993 para España es demasiado descriptivo y contiene pocos análisis. En cuanto a la evaluación posterior del MCA 1989 1993 para Irlanda del Norte, el informe se considera incompleto. El relativo a la evaluación posterior del MCA 1989 1993 para Italia está mal estructurado y organizado.

Y en la evaluación del MCA 1989 1993 Grecia, falta la conclusión general, cuando se ofrecen conclusiones por capítulos. 5. EVALUACIONES POSTERIORES DE LOS MCA DE LOS OBJETIVOS 1 Y 2 (1989 1993) Introducción 5.1. A menudo, los evaluadores se enfrentan a las dificultades siguientes: a) una programación inicial formulada a menudo de manera apresurada y a falta de evaluaciones previas de los programas, especialmente de los fundamentos económicos inherentes, sobre todo en lo concerniente a las regiones del objetivo 1; b) la falta de objetivos cuantificados y de indicadores de resultado; c) lagunas estadísticas relativas a la situación socioeconómica antes de la intervención de los Fondos Estructurales en el marco del objetivo 2 y después de la intervención, especialmente en lo relativo al tejido industrial, las inversiones y el producto regional bruto.

Las herramientas estadísticas no corresponden siempre al perímetro de análisis correspondiente (barrio, distrito, cuenca de empleo); d) la falta de conclusión de ciertas acciones; e) la existencia de factores exógenos que contribuyen a explicar la evolución de la situación socioeconómica; f) el carácter heterogéneo de los proyectos y de sus objetivos, cuando la asignación de ayudas no está suficientemente ligada a las necesidades regionales o locales; g) los efectos inherentes a las medidas y al programa difícilmente identificables, en razón de la multitud de acciones que benefician a una misma región o zona; h) la dificultad de medir los efectos indirectos del programa (especialmente en materia de empleo), al no haberse instituido ningún elemento de observación sobre el particular desde el lanzamiento de los programas ni haberse llevado a cabo un estudio en profundidad sobre el particular desde su conclusión.

Evaluación posterior de los MCA del objetivo 1 (1989 1993) 5.2. La evaluación posterior de los MCA del objetivo 1 fue coordinada por un consultor central a partir de las evaluaciones posteriores de los MCA realizadas por consultores nacionales entre enero de 1994 y junio de 1995. El consultor encargado de la coordinación elaboró el procedimiento metodológico que debía aplicarse, utilizando métodos de análisis tanto macroeconómicos como de medidas y proyectos. Dicho procedimiento comprendía el análisis de la estrategia y la lógica inherente a los MCA, PO y medidas, un primer balance de las realizaciones materiales y de su repercusión, y por último un examen de los mecanismos de aplicación.

En el anexo I se ofrece una síntesis del procedimiento. 5.3. Aunque coherente en su conjunto, la metodología propuesta tiene sus puntos débiles. En efecto, prevé que el análisis de la estrategia y de la lógica inherentes a los MCA, PO y medidas se apoye en una estructura de objetivos armonizada, vinculada a una nomenclatura estándar de actividades. Este enfoque permite la comparación entre Estados miembros, pero no da lugar necesariamente a una jerarquización de los objetivos, construida a su vez a partir de las prioridades tal como las perciben los Estados miembros y de los criterios de jerarquía, complementariedad, sustituibilidad y sinergia.

Por ello, no permite identificar todas las faltas de coherencia en la estrategia propia de cada MCA y PO. Además, a menudo, los indicadores materiales y de repercusión recogidos en el documento metodológico no permiten responder a cuestiones pertinentes sobre los efectos previstos y no previstos a los que está llamada a responder la metodología. 5.4. El Tribunal ha constatado además lagunas como: a) la evolución del entorno socioeconómico de los MCA y los PO no siempre es objeto de una comparación entre la situación inicial sobre la cual debe actuar la intervención comunitaria (1988 1989) y la situación al final de la aplicación (1993 1994); a veces, los datos son demasiado antiguos, en particular los relativos a las disparidades regionales; b) a menudo, la jerarquización de los objetivos prevista en la metodología no se ha analizado suficientemente; o bien no se había establecido, o bien era parcial, por limitar el examen específico a PO y medidas elegidos o no aplicar de forma sistemática los criterios de estructuración; así ha ocurrido que la jerarquización de los objetivos y los instrumentos no ha conducido a una mejor identificación de los problemas de coherencia y pertinencia de las prioridades y de su importancia relativa; c) a veces, los ajustes efectuados a los MCA y PO no se basaron en un análisis en profundidad de las causas; d) mientras que la ejecución financiera y los mecanismos de aplicación, al igual que las realizaciones físicas, suelen tratarse bien en los informes de evaluación, los efectos de los programas o medidas no han sido objeto, en algunos casos, de investigación, con excepción de los puestos de trabajo creados, o se han formulado en términos no cuantitativos.

Los únicos efectos cuantificados proceden a veces de la aplicación de modelos macroeconómicos y conciernen al incremento del PIB, la creación de puestos de trabajo y la competitividad. Ello ha demostrado la insuficiencia de los datos facilitados por los gestores en el marco de los sistemas de seguimiento; e) los análisis de tipo bottom-up (de abajo a arriba) no han permitido, por lo general, extraer conclusiones relativas a la repercusión de los programas; f) el valor añadido comunitario sólo se expresa a veces en términos cualitativos (por ejemplo, la consideración de la lógica de programa, la aplicación de una estrategia integrada, el efecto sobre el proceso de organización); por otra parte, no siempre se examina de forma sistemática; g) los efectos esperados a largo plazo no se tratan, o sólo son tratados en términos cualitativos.

5.5. El MCA del objetivo 1 para España ha sido objeto de una evaluación posterior encargada por la Comisión y de otra emprendida por las autoridades nacionales y beneficiaria de una cofinanciación comunitaria. Elaborados en el mismo período y con los mismos objetivos, los dos estudios se desarrollaron de forma independiente y separada. 5.6. En lo que se refiere a resultados y repercusión, las evaluaciones posteriores recogen las realizaciones materiales resultantes de los MCA del objetivo 1, las repercusiones macroeconómicas de los MCA a partir de determinadas evaluaciones nacionales, y los progresos en materia de planificación, aunque en este ámbito el enfoque por programas haya tropezado con algunos obstáculos (10).

También destacan las contribuciones de los MCA en materia de estructuras organizativas innovadoras, de gestión financiera, de seguimiento, de sistemas de información, de coordinación y de cooperación, aun cuando deben realizarse progresos sustanciales en cada uno de estos ámbitos. 5.7. La síntesis efectuada en 1995 por el consultor principal recogía algunas recomendaciones útiles a las que la Comisión no pudo dar totalmente curso: por ejemplo, una mejor distinción durante la elaboración de la programación entre las intervenciones estructurales comunitarias de fomento de los factores endógenos de crecimiento y las que tienen por objetivo el reequilibrio regional o el aumento del bienestar; o bien un equilibrio entre la prioridad concedida a las inversiones en infraestructura y las características específicas regionales que convendría desarrollar, o entre la lucha contra el desempleo y la necesidad de incrementar la productividad y la competitividad; o por último, una mejor consideración del empleo en las políticas regionales.

5.8. La evaluación posterior del conjunto de los MCA 1989 1993 del objetivo 1, llevada a cabo por evaluadores nacionales, versó principalmente en la mejora de los sistemas de seguimiento y gestión de los Estados miembros, más que sobre un ejercicio real de evaluación de la repercusión de los Fondos Estructurales. Evaluaciones posteriores del objetivo 2 (1989 1993) 5.9. Las evaluaciones posteriores de los programas del objetivo 2 para el período de 1989 1993 fueron coordinadas por un evaluador externo en las 60 regiones subvencionables. Se realizó un análisis general de cada región y estudios en profundidad de 22 regiones.

El principal objetivo de las evaluaciones era analizar el impacto de las intervenciones estructurales sobre el proceso de reconversión industrial en estas regiones y extraer enseñanzas para la programación siguiente. En el anexo II se ofrece una síntesis del enfoque de evaluación. 5.10. Aunque se ha previsto un marco común, los enfoques elegidos son muy heterogéneos, en particular en lo que se refiere a las prioridades y el nivel de desarrollo del análisis, su carácter descriptivo o crítico, los métodos y las técnicas utilizadas. 5.11. El análisis de la estrategia y la pertinencia de los MCA y los PO y de las modificaciones introducidas con respecto al entorno socioeconómico rara vez lleva a reformular la estructura de objetivos, los subprogramas y las medidas en función de la lógica de desarrollo o de reconversión regional y sobre la base de los criterios de jerarquía, complementariedad y sustituibilidad.

Dicha reformulación, a un nivel elaborado, debería permitir identificar de forma más sistemática las lagunas existentes en la estrategia aplicada en cuanto a coherencia, adecuada importancia relativa de las prioridades, sinergias, complementariedades y eficacia frente al entorno socioeconómico, mientras que muchos análisis de estrategia, partiendo de la estructura del MCA y de los PO, son parciales y poco críticos respecto de esta estrategia. 5.12. En cuanto al impacto de las intervenciones de los Fondos Estructurales, los evaluadores no consiguen, a partir de una muestra de proyectos y del examen de sus resultados, de su valor añadido y de su adicionalidad, agregar las observaciones en el ámbito de la medida y de la repercusión socioeconómica del programa.

5.13. Pocas evaluaciones se han basado en materia de impacto en una auténtica combinación de los enfoques top down y bottom up. Esta combinación se ha utilizado, en particular, para la evaluación de las intervenciones del objetivo 2 en favor de Toscana. En este caso, el enfoque top down permitía estimar, al apoyarse en un modelo econométrico birregional Toscana-resto de Italia, la repercusión global del incremento de la demanda sobre la producción por sectores, sobre los niveles de consumo y sobre el valor añadido, tanto en Toscana como en el resto de Italia. El modelo también permite estimar los multiplicadores de efecto por tipos de intervención (infraestructuras, servicios a las empresas, ayudas a la inversión privada) y los efectos sobre el empleo (11).

Los efectos directos sobre el empleo se estimaron utilizando una técnica de coeficientes estándar relativos a las distintas tipologías de intervención. El enfoque top down afecta, pues, a los efectos directos a corto plazo vinculados a la demanda. El enfoque bottom up, al partir de una muestra de proyectos y medidas, puede traducir mejor los efectos a largo plazo, más estructuradores e indirectos, relativos sobre todo a la oferta y las economías externas que permiten reducir los costes de producción. Aun cuando estos efectos son más difíciles de aislar y cuantificar y este enfoque no permite agregar los efectos a escala de medidas y de programa -lo que constituía el objetivo de la evaluación en profundidad-, las consideraciones cualitativas sobre la eficacia de las medidas y el nivel de adicionalidad de las intervenciones comunitarias constituyen un complemento útil al enfoque top down.

La combinación de ambos enfoques puede aportar un valor añadido real al análisis, en particular si se apoya en técnicas de modelización o de formalización. 5.14. Son igualmente raras las evaluaciones en materia de impacto que recurren a encuestas sistemáticas -como las encuestas sobre la adicionalidad de las medidas o la aplicación de un método específico de estimación de los puestos de trabajo netos creados en virtud de las medidas mediante la comparación de un grupo experimental y un grupo de control. Sin embargo, aportan un valor añadido real a la evaluación del impacto. Se habría evaluado mejor la eficacia de las medidas y los programas si los evaluadores hubieran llevado a cabo encuestas estadísticas sobre determinados indicadores de resultado, como en ocasiones desearon poder realizar.

Así, no siempre se encuentran datos sobre el número de empresas implantadas en las nuevas zonas industriales cuya ordenación se beneficia de ayudas de los Fondos Estructurales, o sobre las transferencias tecnológicas de los institutos de investigación a las empresas. Las conversaciones con gestores de medidas y de proyectos generalmente previstas en los enfoques de evaluación rara vez permiten obtener datos precisos sobre las realizaciones, los resultados y la repercusión de las operaciones. 5.15. Los resultados en materia de creación de puestos de trabajo no son seguros en cuanto al carácter duradero de los puestos y a la parte específicamente atribuible a las acciones estructurales.

Por otra parte, los informes de evaluación producen a veces datos contradictorios. 5.16. En materia de impacto de los programas del objetivo 2, las evaluaciones posteriores permiten considerar que: a) los PO del objetivo 2, si bien muchas veces no permitieron mejorar la situación socioeconómica, al menos contribuyeron a evitar una nueva degradación de la misma, en particular en lo que se refiere al mantenimiento del empleo (12), y a sentar las bases de la reconversión; en efecto, la mayoría de las regiones tratan de diversificar su economía y su tejido industrial, liberándose en su caso de la imagen de zona exclusivamente industrial; b) a pesar del enfoque integrado, basado en el concepto de programa, los PO consisten a veces en una modificación de políticas nacionales y regionales ya establecidas, y no siempre constituyen una herramienta de programación; c) la existencia simultánea de PO del objetivo 2 y de iniciativas comunitarias ha dado lugar a confusiones y superposiciones de ayudas; d) la intervención de los Fondos Estructurales ha tenido efectos positivos sobre la programación, las modalidades de aplicación, la cooperación, las sinergias, la coordinación y la evaluación.

Con todo, a menudo se destaca la falta de sinergia y de intercambios entre gestores y acciones FEDER y FSE; e) en materia de adicionalidad, los Fondos Estructurales permiten abordar nuevos sectores, realizar proyectos que no se habrían emprendido sin ayuda comunitaria, acelerar la aplicación o realizar proyectos más ambiciosos, o incluso dar un carácter estructurador al proyecto inicial. La adicionalidad de las tipologías de medidas (ayudas a las infraestructuras, servicios a las empresas, ayudas a la inversión privada) puede resultar bastante diferente; f) los Fondos Estructurales no constituyen a menudo una palanca para la participación de los fondos privados o, al menos, no se trata este aspecto en las evaluaciones; g) en las evaluaciones se destaca que los estudios y negociaciones preparatorios, y los procedimientos administrativos para la adopción y la aplicación de determinados proyectos, así como la integración de las nuevas políticas nacionales, requieren a menudo plazos infravalorados.

5.17. En materia de gestión, se desprende de las evaluaciones que determinadas prácticas de seguimiento de los programas han resultado insuficientes y que los ajustes internos durante el período de programación estaban esencialmente encaminados a maximizar la tasa de absorción de los créditos y no a revisar los ejes prioritarios de desarrollo regional. 6. EVALUACIONES INTERMEDIAS (1994 1999) Desarrollo e integración de los principios de evaluación intermedia 6.1. La realización de una evaluación intermedia se prevé en el capítulo relativo a las disposiciones de aplicación de cada MCA, DOCUP y otras formas de intervención con objeto de reforzar el seguimiento.

Se destaca que las evaluaciones intermedias deben incluir un análisis crítico de los datos recogidos en el marco del seguimiento, explicar las posibles desviaciones de los objetivos perseguidos y estimar los resultados esperados de la intervención. Han de contener asimismo un dictamen sobre la validez de la intervención en curso y la pertinencia de los objetivos seleccionados. 6.2. En unas notas dirigidas a los Estados miembros en el ejercicio 1995, la Comisión indicaba que las evaluaciones intermedias debían «aportar a los comités de seguimiento señales adecuadas sobre el buen funcionamiento de los programas, proponer posibles acciones de reprogramación y presentar una imagen objetiva e independiente de los progresos realizados».

Proponía asimismo concentrarse, en una primera fase, en las condiciones de funcionamiento de las formas de intervención y, en particular, en los indicadores, la capacidad de gestión de los responsables y los procedimientos de selección de los proyectos. En una segunda fase y con vistas a sugerir los cambios necesarios y adecuar la programación, el informe de evaluación intermedia debía abordar la pertinencia de la estrategia y la legitimidad de los objetivos de las intervenciones aplicadas, la eficacia del programa habida cuenta de las realizaciones y los primeros resultados con relación a los objetivos, la eficiencia del programa, la aplicación correcta de las políticas comunitarias (medio ambiente, contratos públicos, etc.) y la medición de los resultados en materia de empleo y de PYME.

6.3. Por otra parte, la Comisión sugería que la evaluación fuera global y que en una fase posterior se desarrollasen evaluaciones temáticas sobre un sector o una zona geográfica concretas. 6.4. Algunos Estados miembros, en particular España (13), Francia (14), Irlanda (15) y los Países Bajos (16), definieron asimismo un marco para la evaluación intermedia. Todos ellos consideran que en la evaluación intermedia debe abordarse: a) la evolución del contexto socioeconómico; b) el análisis de la estrategia y de la coherencia interna y externa; c) las condiciones de aplicación, incluida la programación y los criterios de selección, la organización administrativa, el mecanismo de seguimiento, los circuitos de financiación de los proyectos; d) la aplicación y las realizaciones, teniendo en cuenta los resultados previstos; e) los primeros efectos obtenidos, completados con una estimación de los que cabe esperar; f) los costes, con vistas a medir la eficiencia, es decir, la relación entre medios y resultados, y presentar, en su caso, propuestas de modificación de las prioridades o las acciones previstas.

6.5. El principio de cooperación fue introducido en 1988 como un medio de garantizar la eficacia de los Fondos Estructurales, pero no desempeñó plenamente su papel en el sistema de gestión descentralizada hasta 1995 con la evaluación intermedia del conjunto de los MCA 1994 1999. En tal ocasión, se estipuló que corresponde a los comités de seguimiento «adoptar los objetivos de evaluación y las normas de calidad esperadas para garantizar la coherencia global del ejercicio, adecuar el pliego de condiciones a las peculiaridades de las regiones respetando la finalidad del ejercicio, seleccionar los evaluadores a partir de listas restringidas preparadas por responsables de la evaluación (miembro del comité de seguimiento y ponente comunitario) tras una licitación pública».

La evaluación intermedia ha contribuido realmente a reforzar la cooperación al hacerla intervenir en el análisis causal de las intervenciones estructurales. En las tablas 5 y 6 se muestra la aplicación operativa de las evaluaciones intermedias, así como el importante compromiso de los Estados miembros en el marco de la cooperación con el fin de identificar la repercusión de los Fondos Estructurales. 6.6. El enfoque de la evaluación intermedia en el marco de la cooperación también ha influido mucho en las estructuras institucionales y en las tradiciones nacionales o regionales de las administraciones responsables.

Ha permitido dar una mayor difusión a la cultura de la programación plurianual, en la que la evaluación es un elemento indispensable para hacer un balance crítico de las intervenciones estructurales y preparar los ajustes necesarios. La cooperación en materia de evaluación está especialmente bien desarrollada en el marco del objetivo 1. 6.7. Actualmente, los trabajos de evaluación intermedia aspiran a aportar respuestas globales al conjunto de los cooperadores, desde el diseñador del programa al responsable político, pasando por el gestor. Se traducen en informes muy voluminosos que incluyen información procedente del propio programa, de la apreciación previa, de los informes anuales de ejecución y de las evaluaciones intermedias o posteriores.

Ahora bien, según interlocutores entrevistados en el curso de los controles, sólo una parte de los resultados o de las recomendaciones tienen una utilidad real y sirven de ayuda a la decisión, a la gestión de proyectos, a la reprogramación o para preparar intervenciones futuras. Procedimientos de aplicación 6.8. De las 389 evaluaciones intermedias realizadas, 320 se refieren a los objetivos 1, 2, 5b y 6 (17). Su ejecución presenta un retraso considerable en varios Estados miembros. 6.9. Inicialmente, el proceso de evaluación intermedia debía constar de dos etapas diferenciadas. En la primera debían abordarse las posibilidades de evaluación, identificando los problemas correspondientes.

La segunda era la evaluación propiamente dicha y conducía a la elaboración de un informe. En la práctica, este esquema sólo se ha aplicado en raras ocasiones. 6.10. De forma general, la Comisión ha insistido en que las evaluaciones intermedias fueran efectuadas por expertos externos a fin de garantizar, por una parte, la credibilidad de una técnica en concreto y, por otra, la imparcialidad de las conclusiones sobre la conformidad de la estrategia, la coherencia entre los análisis socioeconómicos y la cuantificación objetiva de los efectos esperados. Las necesidades en materia de evaluación en el ámbito de los Fondos Estructurales han conformado en unos años un sector de evaluadores externos conocidos de la Comisión y los Estados miembros, lo que presenta la ventaja de generar más conocimientos expertos en este ámbito, pero delimita un mercado específico.

6.11. En la práctica, los controles sobre el terreno del Tribunal han puesto de manifiesto limitaciones que reducen la independencia del consultor externo. Habida cuenta del plazo limitado de que dispone el evaluador y de la dependencia existente de hecho respecto de los gestores de los programas para obtener la información necesaria, la separación entre las funciones respectivas es poco clara. Muy a menudo, los resultados obtenidos en materia de rendimiento no son más que una reproducción y una actualización de los datos del sistema de seguimiento, que se presentan como una contribución externa.

6.12. Por otra parte, no siempre se ha aplicado el procedimiento habitual de licitación abierta con publicación en el Diario Oficial para seleccionar los consultores en materia de evaluación. En los Países Bajos, se pidió a un número limitado de consultores que figuraban en una lista de posibles evaluadores que presentaran una oferta. A continuación, se realizó la selección entre esas ofertas. 6.13. Si bien la Comisión participa regularmente en las reuniones de los comités de seguimiento y puede hacer prevalecer su criterio en materia de selección de consultores, su intervención en este proceso no siempre es la misma.

Así, los servicios de la Comisión participan activamente en Bélgica, Grecia y Portugal desde el procedimiento de selección del evaluador en el marco de los grupos técnicos o del comité de acompañamiento técnico ad hoc, que preparan la elección del consultor y siguen la ejecución de la evaluación. En cambio, en Francia, sólo se informa oficialmente a los servicios de la Comisión tras la elección de las dos ofertas que se consideran mejores, acompañadas de la propuesta final, respecto de la cual el Prefecto de la región, que es responsable último en la materia, solicita conocer las posibles observaciones.

En los Países Bajos, la Comisión, que participa en los trabajos del comité de acompañamiento nacional, que dirige las evaluaciones previa, intermedias y posteriores de las regiones incluidas en los objetivos 1 y 2, y en los trabajos de los comités de seguimiento, reaccionó tarde al contenido del proyecto de informe de evaluación intermedia del DOCUP del objetivo 1 Flevoland. Prioridad concedida a los objetivos de evaluación 6.14. En la ejecución de las evaluaciones intermedias, la prioridad concedida a los objetivos de evaluación es variable, con excepción del examen de las realizaciones materiales y financieras de cada intervención, que ocupa un importante lugar en todas las evaluaciones intermedias.

A menudo, se da prioridad a desarrollos que corresponden a una necesidad regional real; así, en Córcega, se presta especial atención al tratamiento de los problemas de gestión, seguimiento y vinculación entre evaluación y seguimiento. Por lo demás, la persecución de determinados objetivos de evaluación se ha visto obstaculizada por problemas técnicos, como la medición de los indicadores para la evaluación del impacto. 6.15. A menudo, en las evaluaciones intermedias no se concede suficiente importancia a la consideración crítica de la estrategia de desarrollo regional elegida, a la viabilidad de los proyectos financiados por los Fondos Estructurales, a los criterios de selección de los proyectos, y a sus efectos e impacto con relación a los objetivos específicos y generales de los programas.

6.16. El valor añadido comunitario, cuyo análisis constituía uno de los objetivos de las evaluaciones posteriores de los MCA de los objetivos 1 y 2 para el período de programación 1989 1993, sólo se trató excepcionalmente en el marco de las evaluaciones intermedias. 6.17. La evolución del contexto socioeconómico, sobre el que actúa la intervención comunitaria y cuyo seguimiento y actualización suelen preverse en los contratos de evaluación, se estudia de forma sistemática en determinados casos (por ejemplo, a través de tableros de bordo muy elaborados para la región valona) y de forma insatisfactoria en otros, lo que influye directamente en la calidad y actualización de los análisis de puntos fuertes y débiles que suelen efectuarse en el marco de la evaluación intermedia.

6.18. El respeto y el mantenimiento en el tiempo de la coherencia interna y externa de cada programa en todos sus componentes (objetivos del programa, los subprogramas y las medidas, relaciones de complementariedad y de sinergia entre objetivos y entre medidas) sólo raras veces se examinan de forma sistemática. Así, en el PO Brandemburgo, los compromisos financieros en favor de los ejes 1.1 (inversiones productivas) y 1.2 (infraestructuras) representan para el período 1994 96 el 138 % y el 242 % respectivamente de la previsión inicial, sin que el evaluador aporte ninguna justificación en términos de estrategia de desarrollo regional.

Las sinergias se analizan en ocasiones, aunque de forma incompleta. Este aspecto merecería un tratamiento más sistemático, en particular en lo que se refiere a las sinergias entre las actividades del FEDER y las del FSE. 6.19. Del mismo modo, si bien la reorientación de las prioridades del programa y de la asignación de los medios es un objetivo explícito de la evaluación, los trabajos de evaluación no siempre dan lugar a una presentación global y coherente de las modificaciones propuestas, ni a una exposición de motivos. Tampoco se precisan siempre las consecuencias de las ampliaciones o contracciones de medidas propuestas.

6.20. En muchas de las evaluaciones examinadas se observa que el evaluador no ha sido capaz de alcanzar todos los objetivos del contrato, en particular en lo relativo a la evaluación del impacto. El tiempo y los medios disponibles tampoco han sido siempre proporcionados a los objetivos. Enfoques, métodos y técnicas 6.21. Como en los contratos los objetivos de evaluación y los enfoques que deben aplicarse siguen formulándose en términos generales, la elección de los enfoques, métodos y técnicas se deja a menudo a los evaluadores, que a veces los adecuan durante la ejecución a las dificultades encontradas.

Así ocurre que transforman en indicadores la única información disponible. 6.22. Las técnicas y métodos no siempre se desarrollan de forma que puedan responder a los objetivos de evaluación. Además, aún no se ha llegado a un consenso sobre la metodología operativa adecuada para evaluar el desarrollo regional, y la Comisión se limita a difundir «las mejores prácticas» en términos generales, sin coordinar o armonizar verdaderamente su aplicación. Esta imprecisión, sumada a las disparidades entre Estados miembros en materia de programación, aplicación o evaluación, genera unos informes de evaluación de calidad variable y hace muy difícil la comparabilidad de los resultados a escala europea.

6.23. Así, para la medición del impacto, las técnicas aplicadas presentan lagunas debidas en particular al carácter específico y a la complejidad de los efectos que deben evaluarse: a) no siempre se procede a una búsqueda en profundidad de indicadores aún más pertinentes, ya que a veces los indicadores previstos sólo sirven para medir la realización física y financiera; b) no siempre se determinan los indicadores de impacto; c) la evaluación del impacto socioeconómico o del desarrollo regional se ve obstaculizada por la multiplicación de las acciones, subprogramas y medidas (objetivo 1), mientras que muchos programas que tienen por objeto contribuir a la reconversión y la redinamización del tejido industrial (PO, iniciativas comunitarias, programas nacionales) pueden movilizarse conjuntamente.

Por otra parte, las acciones comunitarias y nacionales tienen a veces coberturas diferentes y distintas fechas de lanzamiento. Por último, a menudo no se cuantifican los objetivos y se formulan de forma demasiado general (18). A este respecto, no siempre parece clara la relación existente, por una parte, entre el diagnóstico de los problemas socioeconómicos por resolver y los objetivos del conjunto de las medidas, subprogramas y proyectos aplicados y, por otra, entre los objetivos de dicho conjunto, habida cuenta también del hecho de que los indicadores físicos y de impacto asignados a los distintos niveles de un programa no reflejan por completo las necesidades de evaluación del programa.

Del mismo modo, es difícil identificar los resultados de cada programa y separarlos de los de otras acciones privadas, regionales o nacionales; d) la modelización, que permite estimar los efectos y repercusiones esperados a partir de las realizaciones a medio camino y de las realizaciones esperadas, sigue aplicándose poco. La evaluación intermedia de determinados MCA nacionales se basa en un modelo input-output (Portugal) o en un modelo macroeconométrico (España, Irlanda), mientras que la modelización regional sigue siendo muy marginal. A este respecto, merece la pena citar el ejemplo del modelo de desarrollo para la provincia de Hainaut (Bélgica) utilizado en el marco de la evaluación intermedia.

La modelización de los efectos en el marco de las medidas tampoco está muy extendida, excepto en el ámbito de las infraestructuras de transporte. Es conveniente citar la aplicación del modelo input-output al proyecto de Expo 1998 (Portugal) en el marco de las evaluaciones previa e intermedia, aun cuando las previsiones deban considerarse con cautela; e) la estimación de los efectos sobre el empleo también es precaria. La aplicación de modelos y de otras técnicas de análisis y estudio no aportan precisiones suficientes en relación a dos aspectos: por un lado, sobre el volumen neto de empleos creados, teniendo especialmente en cuenta los nuevos empleos que podrían haberse creado al margen de la acción en cuestión, así como los efectos de sustitución; y por otro lado, sobre el grado de duración de los empleos.

Además, su aplicación no ha ofrecido por lo general indicaciones sobre los puestos creados no atribuibles a la aplicación del programa. 6.24. Algunos contratos de evaluación contemplan la realización, en el marco del enfoque de bottom-up, de encuestas a interlocutores del desarrollo económico local y a los beneficiarios finales, incluidas empresas beneficiarias de ayudas comunitarias, con el fin de apreciar cuantitativa o cualitativamente la contribución del programa comunitario. En ocasiones, los resultados de las encuestas son poco representativos, debido al número de empresas e interlocutores que responden a las encuestas, y su fiabilidad es incierta, pues no siempre son objeto de controles.

6.25. Por lo que se refiere a los indicadores de resultado y de impacto, se ha comprobado que: a) los plazos de obtención de datos y estadísticas suelen ser largos; b) los datos existentes se refieren a zonas geográficas que no se corresponden con las zonas o cuencas contempladas; c) los datos relativos a las empresas no se recogen por establecimientos, lo que falsea las estadísticas locales cuando una empresa con varias implantaciones en el territorio nacional sólo posee un establecimiento en la zona; d) muchos institutos de estadísticas no pueden segmentar los datos globales de forma más fina para enfocar una zona, una cuenca o un problema determinado.

6.26. Cuando el evaluador presenta indicadores más adecuados desde el punto de vista de la medición del impacto, ya sea para colmar una laguna o para sustituirlos por los indicadores previstos, no los determina, lo que pone en duda su carácter operativo. Además, no siempre menciona las encuestas que quedan por hacer para concretarlos, ni estima su coste. Se destaca asimismo la dificultad de cuantificar los indicadores relativos a los objetivos de programa sin información sobre series históricas. Realización de los programas del objetivo 2 (1994 1996) 6.27. Los resultados de la evaluación intermedia de los DOCUP, MCA y PO del período 1994 1996, así como el seguimiento, ponen de manifiesto una inadecuación entre la financiación programada y la realización de los programas.

A pesar de las numerosas adaptaciones de los programas de la última fase de programación 1994 1996 con la finalidad de absorber los importes de las ayudas financieras, se realizaron transferencias de crédito de la programación 1994 1996, del orden del 12 % en promedio, a la programación 1997 1999. Esta situación supone el riesgo de volver preponderante el deseo de absorción de los créditos y de infravalorar del papel de la evaluación, en particular en materia de coherencia entre los objetivos, recursos asignados e impacto de las intervenciones estructurales. 7. IMPACTO DE LOS FONDOS ESTRUCTURALES Y MODELOS DE EVALUACIÓN Impacto de los MCA y de los programas Resultados de los modelos en materia de impacto de los Fondos Estructurales 7.1.

Los modelos empleados para la evaluación macroeconómica de los Fondos Estructurales (véase el anexo III), habida cuenta de sus características específicas, estiman de modo diferente su impacto en lo que se refiere a: a) la realización de los objetivos de los Fondos Estructurales en materia de crecimiento del PIB, convergencia real del PIB per capita, empleo y desempleo; b) la observancia de las condiciones de aplicación de los Fondos Estructurales, como la adicionalidad y el desarrollo sostenible, especialmente en lo que se refiere al control de la deuda pública y de la balanza de pagos, a la distribución de la renta y al respeto del medio ambiente; c) los efectos en términos de demanda y oferta; d) la eficacia de los instrumentos de los Fondos Estructurales, como las inversiones públicas, las inversiones en recursos humanos y las ayudas a las empresas privadas.

Crecimiento del PIB 7.2. Como se muestra en la tabla 7, en el ejercicio de evaluación del impacto de los Fondos Estructurales, los resultados de los principales modelos utilizados (Hermin, OGM y DIO) indican para los países de la cohesión un incremento positivo del PIB y, por consiguiente, una mejora de la convergencia. Así, el crecimiento acumulativo de la economía de los países de la cohesión de 1994 a 1999 resultante de las acciones estructurales inscritas en los MCA sería en términos reales del PIB del 5,5 % para Portugal, 5,9 % para Grecia, 2,6 % para España y 3,3 % para Irlanda.

Estos resultados presuponen la plena observancia del principio de adicionalidad, y pueden ser modificados en caso contrario (véanse los puntos 8.11 a 8.13). Por otra parte, los distintos modelos macroeconómicos han arrojado resultados suficientemente coherentes para que pueda considerarse verosímil la repercusión de los MCA 1994 1999 sobre el crecimiento en términos reales del PIB anual. No obstante, los efectos vinculados a la demanda siguen siendo mayoritariamente dominantes a corto plazo, mientras que los efectos sobre la oferta sólo se producen mucho más tarde. Del mismo modo, según el modelo regional Helm utilizado en la región de Hainaut, la repercusión del DOCUP en términos de crecimiento anual del valor añadido total representa un aumento del 1,7 al 2,5 % si se considera el período 1994 2002.

En cambio, en el caso del Mezzogiorno, Italia, la repercusión de los Fondos Estructurales sobre el crecimiento parece muy limitado, incluso próximo a cero. El modelo QUEST de la Comisión, al introducir hipótesis sobre las anticipaciones de las empresas y de los consumidores, da como resultado estimaciones acerca de los efectos sobre el crecimiento y el empleo más fiables que en los modelos precedentes. Los beneficios que muestra este modelo relativos al potencial de crecimiento y la reducción del desempleo sólo se evidencian a largo plazo. 7.3. En términos de aceleración media del crecimiento anual como resultado de las acciones estructurales inscritas en los MCA, la tabla 8 muestra que los efectos multiplicadores de un crecimiento del 1 % del PIB por parte de los MCA generan, para el período 1994 1999, un suplemento de crecimiento anual del 0,2 % al 0,3 % para los efectos de la demanda y del 0,2 % como mucho para los efectos de la oferta.

En el plano económico, la dominancia, puesta de manifiesto por el modelo HERMIN, de los efectos sobre la demanda, que desaparecerían con el cese de la ayuda comunitaria, sólo contribuye a realizar los objetivos del artículo 130 A del Tratado si los efectos sobre la oferta se desarrollan de forma duradera y refuerzan las capacidades productivas de las regiones afectadas. En la medida en que los efectos sobre la oferta se desarrollan mucho más tarde que los que inciden sobre la demanda, es posible que los efectos multiplicadores correspondientes estén subestimados. Convergencia real en términos de PIB per capita 7.4.

Los modelos utilizados en el marco de los Fondos Estructurales muestran que el proceso de convergencia no siempre está garantizado y que algunas programaciones de MCA pueden, como mucho, reducir la divergencia en vez de desarrollar la convergencia. 7.5. Con respecto a Irlanda, Bradley (Hermin 1994) y Honohan (Hermin 1997) calculan lo que podría ser el efecto de la ayuda de los MCA 1989 1993 y 1994 1999 sobre el PIB per capita. El primero estima que la contribución de los MCA 1994 1999 a esta recuperación es modesta, mientras que para el segundo los MCA desempeñan un papel significativo en el proceso de convergencia.

Beutel (1997) predice que Irlanda alcanzará al resto de Europa incluso sin MCA 1994 1999, que aumentaría la tasa anual de crecimiento en un 0,6 %. Del mismo modo, la tasa anual de crecimiento prevista de España, Portugal y Grecia registrará aumentos, respectivamente, del 0,4 %, 1,1 % y 1 % durante el período de 1994 1999 en virtud de los Fondos Estructurales, lo que en todos los casos ha tenido un efecto positivo sobre la convergencia real en términos de PIB per cápita. 7.6. Las simulaciones predictivas efectuadas con el modelo OGM sobre la convergencia en PIB real per cápita con respecto a la media de la Unión muestran estimaciones que subrayan el hecho de que, aun cuando las tendencias proyectadas en 1995 son demasiado pesimistas para Irlanda (véase la tabla 9), la contribución neta de los MCA a la convergencia sigue siendo modesta para los países de la cohesión.

7.7. En cuanto a Hainaut, el modelo Helm toma en consideración los aspectos de la convergencia real para la evaluación intermedia y estima que la tasa anual prevista de crecimiento sería en torno a un 1,4 % o 1,6 % superior a la media europea gracias a los Fondos Estructurales, lo que permitiría una recuperación real. 7.8. Estas estimaciones ponen de manifiesto que, habida cuenta de las diferencias en las estructuras productivas regionales o sectoriales de los Estados miembros del objetivo 1, las ayudas de los Fondos Estructurales producen efectos variables. Confirman asimismo que la calidad de la programación de los Fondos Estructurales debe mejorarse, para que, con un objetivo de convergencia, las intervenciones de los Fondos Estructurales permitan mejorar las capacidades productivas de la economía.

Empleo y desempleo 7.9. En la tabla 10 se resumen los resultados de las evaluaciones de repercusión de los Fondos Estructurales sobre el empleo y el desempleo. Para todos los estudios, los MCA generan empleo neto. Los nuevos puestos se crean a menudo en el sector de los servicios no comerciales, mientras que los efectos de productividad de los MCA se concentran principalmente en el sector industrial. Por último, determinados estudios ponen de manifiesto una reducción del empleo industrial debido a un aumento de la productividad del trabajo. Eficacia de los instrumentos de los MCA 7.10. Las evaluaciones Hermin para España, Irlanda y Portugal muestran que las ayudas a la inversión pública, en particular en infraestructuras, son más productivas en términos de crecimiento que las ayudas a las inversiones en recursos humanos (exceptuando en España) y que las destinadas a las inversiones privadas.

Así se observa en la tabla 11, que muestra, por instrumentos, el aumento del PIB nacional resultante del aumento de un 1 % de la parte del MCA en el PIB acumulado del período 1994 1999. El estudio Hermin para Grecia llega también a la conclusión de que las inversiones en infraestructuras («hard infrastructure») recogidas en los MCA contribuyen más al crecimiento del PIB que las inversiones en recursos humanos. La aplicación del modelo OGM (Pereira 1991) para evaluar los efectos de la sustitución de ayudas a la inversión privada o a la inversión en recursos humanos por más ayudas a la inversión en infraestructuras arroja una mejora del crecimiento del PIB y del proceso de convergencia inducido por los Fondos Estructurales.

Obligación de adicionalidad y de cofinanciación 7.11. Los modelos han permitido asimismo evaluar la importancia de la adicionalidad y la cofinanciación pública. Así, Honahan (Hermin, 1997) estima que, sin una obligación de cofinanciación pública, la tasa de crecimiento de la economía irlandesa habría sido inferior en un 1 % a la repercusión del MCA, del mismo modo que el empleo habría aumentado en menor medida. En cambio, el mismo autor prevé una reducción más sensible de la relación deuda pública/PIB y del excedente de la balanza de pagos en ausencia de una obligación de cofinanciación pública.

En Portugal, la exigencia de cofinanciación conduce, según la evaluación Hermin, a un aumento adicional acumulado del 1,3 % del PIB, pero da lugar asimismo a una evolución menos positiva en materia de deuda pública. 7.12. La evaluación Helm para Hainaut atribuye una gran importancia a la adicionalidad. La tasa de crecimiento medio del valor añadido durante el período 1994 1999 de los tres escenarios -la política regional incluido el DOCUP, la prosecución de la política regional sin la ayuda comunitaria, la política regional previa deducción del DOCUP- se eleva según la evaluación Helm al 2,5 %, 1,7 % y 0,1 % respectivamente, del mismo modo que la tasa de crecimiento del empleo caería del 0,8 % al 0,2 %.

La situación de la industria se deterioraría también de forma considerable. La evaluación Helm permite comprobar asimismo, introduciendo variaciones en el tipo de la subvención, que un tipo determinado de ayuda a la inversión no estimula ésta en la misma medida que otro y que muchas inversiones se llevarían a cabo con niveles de ayuda más bajos. Desarrollo sostenible 7.13. En la tabla 10 se observa que los efectos de los Fondos Estructurales sobre el saldo de la balanza comercial, la balanza corriente o el déficit público no siempre se evalúan. Por lo demás, los distintos estudios llegan a conclusiones divergentes; así, la expansión económica inducida por los MCA conduce en determinados casos a mejorar la hacienda pública a través de la fiscalidad, mientras que según otros modelos los MCA generan déficit presupuestarios.

Papel de la evaluación macroeconómica en el proceso de toma de decisiones de los Fondos Estructurales 7.14. Habida cuenta de los efectos a corto plazo de los Fondos Estructurales sobre la demanda, la evaluación intermedia tiende a sobrestimar los problemas de absorción de los fondos comunitarios por las autoridades políticas e infravalorar los efectos a más largo plazo sobre la oferta. Las reorientaciones o reprogramaciones de los PO o MCA pueden así resultar equivocadas. De este modo, pueden suprimirse medidas o proyectos que no absorben suficientemente rápido los créditos comunitarios, en particular en ámbitos difíciles de aplicar como la innovación o las nuevas tecnologías, en beneficio de estructuras ya existentes de productividad mucho más baja, sin que siempre se consideren los aspectos macroeconómicos de desarrollo duradero.

7.15. En este contexto, es indispensable realizar evaluaciones macroeconómicas complementarias que integren los aspectos de durabilidad, crecimiento o convergencia antes de cualquier toma de decisión en materia de programación inicial y de su reordenación. Ahora bien, en muchos casos, como España, Grecia o los nuevos Länder alemanes, se han efectuado ya reprogramaciones en el marco de la evaluación intermedia sin un análisis global macroeconómico serio. En cuanto a las regiones del objetivo 1 en Alemania, no se ha llevado a cabo ningún análisis macroeconómico de repercusión durante la evaluación intermedia.

Repercusión en el ámbito de subprogramas, medidas y proyectos 7.16. Hay muy pocas evaluaciones en el ámbito de subprogramas y medidas, a pesar de que constituyen el motor de la programación de los Fondos Estructurales. La dispersión, la falta de definición y coherencia de muchos subprogramas o medidas, así como una cuantificación insuficiente de los objetivos específicos y relativos pueden explicar esta dificultad para medir la repercusión. 7.17. Esta laguna dificulta cualquier esfuerzo encaminado a identificar y medir la sinergia y la complementariedad de las medidas entre sí o entre distintos programas.

Por otra parte, los vínculos entre los objetivos generales del programa y los específicos de los subprogramas o medidas son a menudo poco evidentes. Así, en los informes de evaluación intermedia se pusieron de manifiesto muchos problemas de coherencia en los programas del MCA 1994 1999 del objetivo 1. 7.18. Raras son por lo demás las técnicas adecuadas para medir la repercusión de un subprograma o una medida específica. Así, los modelos macroeconómicos anteriormente descritos sólo aportan una evaluación de la eficacia de los principales instrumentos de los MCA -las inversiones públicas, las inversiones privadas y las inversiones en recursos humanos- en lo que se refiere a su contribución respectiva al crecimiento del PIB.

Los gastos en infraestructura, al ser complementarios del capital privado, parecen aumentar el rendimiento de este último y tendrían un efecto de aceleración de la velocidad de la convergencia superior a otras formas de inversión (véase la tabla 11). 7.19. No obstante, la elección de las medidas o subprogramas constitutivos de un programa y de su financiación no es neutra para el desarrollo regional en términos de crecimiento endógeno duradero. Ahora bien, los trabajos de evaluación emprendidos por la Comisión o los Estados miembros en el marco de la cooperación a escala de subprogramas o medidas son aún insuficientes para examinar las consecuencias de una medida concreta sobre otras zonas o sectores o compararla con otras medidas que persigan objetivos similares.

Además, en el análisis de la repercusión de las medidas o subprogramas deberá tenerse en cuenta también el arbitraje inicial entre crecimiento e igualdad interregional que ha predeterminado su elección, a fin de ponderar las ganancias de eficacia esperadas y obtenidas. 7.20. A escala de proyectos, se lleva a cabo un análisis costes/ventajas que en principio tiene por objetivo la aprobación de la financiación del proyecto. Este análisis es obligatorio con arreglo al artículo 5 del Reglamento (CEE) n° 2083/93 (FEDER) para los grandes proyectos cuyo coste total sea superior a 25 millones de ecus para las inversiones en infraestructuras y a 15 millones de ecus para las inversiones productivas.

Estas apreciaciones previas de los grandes proyectos forman parte de la instrucción de las solicitudes de ayuda comunitaria y determinan la dotación de financiación, pero sus evaluaciones posteriores no están contempladas en los reglamentos de los Fondos Estructurales y no pueden ser exigidas por la Comisión para comprobar la realización efectiva de las ventajas socioeconómicas esperadas a la vista de los recursos comunitarios movilizados a tal fin. Esta deficiencia en el proceso de evaluación de los grandes proyectos hace inoperante el concepto mismo de evaluación a este nivel, ya que una apreciación previa sólo puede justificarse si hay efectivamente una evaluación posterior.

Además, en estos estudios microeconómicos y sectoriales podría estimarse también la repercusión potencial de los Fondos Estructurales sobre la productividad, de forma que se conviertan en un buen instrumento para el análisis a corto o medio plazo de la repercusión. 7.21. Al efectuar la evaluación de los proyectos, hay que tomar en consideración también las sinergias y complementaridades, que todavía se evalúan de forma insuficiente o superficial. Es indispensable adecuar las complementariedades y sinergias entre proyectos para no debilitar la repercusión previsible. 7.22. En la evaluación intermedia se abordan a menudo los problemas de gestión de los programas, pero no se tienen un cuenta los criterios que han determinado la selección de los proyectos, como la durabilidad del proyecto o su contribución al desarrollo regional.

Ahora bien, el sistema de gestión de los programas debe garantizar que los criterios de selección de los proyectos se utilicen para optimizar los resultados del programa. En particular, habría que evitar los proyectos que tienen un valor añadido muy bajo en materia de desarrollo, aun cuando presenten la ventaja de consumir los créditos muy rápido. El sistema de selección de proyectos debe ser más transparente para permitir su control y garantizar su evaluabilidad. 8. CONCLUSIÓN 8.1. El ejercicio de evaluación de las intervenciones estructurales comunitarias se inscribe en las obligaciones reglamentarias derivadas de las decisiones del Consejo y actualmente es ampliamente realizado en el marco de la cooperación.

La evaluación se ha convertido en un sistema de ayuda al diseño y la gestión de las intervenciones, que contribuye a un mejor conocimiento de sus efectos y su utilidad. Para el período 1994 1999, se concluyeron más de 250 evaluaciones intermedias a escala de los Comités de seguimiento (19) en el curso del año 1997. 8.2. Con la revisión de la reforma de los Fondos Estructurales, la evaluación ha entrado en una fase de madurez que desde ahora conviene consolidar mediante un mejor encuadramiento metodológico. Todavía hay que realizar un esfuerzo importante en lo relativo a los métodos de evaluación más adecuados para medir la repercusión socioeconómica de los programas en el marco del desarrollo regional, dado que el programa MEANS no ha aportado una respuesta satisfactoria.

8.3. Debería realizarse también un esfuerzo sostenido en materia de indicadores a todos los niveles, en lo que se refiere a su pertinencia, los modos de cálculo y su coste. Asimismo, un esfuerzo de formalización debería centrarse en los aspectos cualitativos. Sin nuevos progresos en estos ámbitos, el proceso de evaluación puede estancarse. 8.4. Lo mismo ocurre en lo que se refiere a las bases estadísticas, cuya debilidad pone en duda la validez de los indicadores y condiciona mucho el proceso de seguimiento y de evaluación. 8.5. La multiplicidad actual de indicadores más o menos pertinentes perjudica la calidad de la evaluación e impide hacerla operativa.

Debería seleccionarse cuidadosamente un pequeño número de indicadores de repercusión indispensables para justificar o reorientar una política estructural teniendo en cuenta las limitaciones de la regionalización de los datos y las posibilidades materiales de recogida de información. La fiabilidad de estos indicadores debería controlarse. Es necesario mejorar la comparabilidad entre indicadores y su agregación a escala europea. 8.6. Para que la evaluación pueda tenerse plenamente en cuenta en el proceso de toma de decisiones y en la gestión operativa de los Fondos Estructurales, sería conveniente garantizar la transparencia y la objetividad de las evaluaciones, la correspondencia entre sus objetivos y las necesidades y una fecha de conclusión adecuada.

8.7. Para garantizar la objetividad de los resultados de evaluación, debe preservarse la independencia de los evaluadores con respecto a los gestores y las autoridades públicas competentes. 8.8. La utilización de un marco de referencia común facilitaría la legibilidad y comparabilidad de los informes de evaluación, así como los intercambios de experiencias. 8.9. Para cada evaluación, sería conveniente definir unos objetivos más operativos. En los términos de referencia y en el pliego de condiciones, generalmente aprobados por la Comisión, debería indicarse claramente la metodología más adecuada, dependiendo de que contemple aspectos regionales, sectoriales o nacionales o de que se centre especialmente en los efectos a corto o largo plazo.

Cualquier otra metodología debería ser objeto de un análisis de puntos fuertes/débiles en comparación con la metodología de la Comisión. Del mismo modo, el marco de referencia de cada evaluación debería incluir una lista mínima de indicadores propuesta por la Comisión para medir el rendimiento de los objetivos de los programas, a fin de garantizar una coherencia indispensable para el análisis. Naturalmente, pueden utilizarse otros indicadores de situación socioeconómica y estructural para completar y afinar el análisis. 8.10. Dada la diversidad de enfoques de evaluación existentes, la Comisión debe exigir que los evaluadores expliquen mucho mejor su enfoque en la fase de licitación, en particular el tipo de efectos o de repercusión que pretenden medir y durante qué período, para poder estimar el nivel de exhaustividad de la metodología utilizada.

Además, la evaluación debería incluir un análisis detallado de los vínculos existentes entre los objetivos de los programas y los ejes, y las medidas aplicadas para realizar dichos objetivos, así como la necesaria articulación en cascada de los objetivos/resultados/realizaciones de los programas, ejes y medidas. 8.11. En este contexto, es necesaria una mejor segmentación de la evaluación en función de sus destinatarios para aumentar la eficacia y responder mejor a sus expectativas específicas, en particular en el ámbito de las evaluaciones intermedias. Del mismo modo, debería buscarse un mejor control del gasto, ya que la Comisión no siempre conoce los gastos asignados a la evaluación en el marco de la cooperación.

8.12. La Comisión debería indicar asimismo los aspectos de la política regional que deben evaluarse más especialmente: adicionalidad, convergencia, cooperación, concentración, empleo, desarrollo económico endógeno o bienestar social. La medición del PIB per cápita no debe ser la única referencia para juzgar la eficacia de las intervenciones estructurales. 8.13. La estimación de los efectos, de la repercusión y del valor añadido comunitario debería basarse en modelos de desarrollo nacional y regional a escala de programas, así como en modelos de repercusión relativos a las medidas.

8.14. Los resultados macroeconómicos de las acciones estructurales deberían afinarse teniendo en cuenta las imperfecciones de los modelos subyacentes, los efectos secundarios provocados por esas mismas acciones y todos sus efectos sobre el bienestar social. 8.15. La modelización macroeconómica hace una distinción fundamental entre los efectos sobre la demanda a más corto plazo y los ajustes estructurales de la oferta. La programación de las intervenciones de los Fondos Estructurales debería tender más a mejorar la capacidad productiva de la economía, a fin de garantizar la permanencia de los efectos y evitar una dependencia demasiado marcada de la demanda que conduzca a una situación en que la ayuda comunitaria siga siendo indispensable a largo plazo.

8.16. Como los efectos sobre al oferta se materializan transcurrido un período más largo, la evaluación intermedia debe conceder más atención en general a los efectos sobre la demanda. La Comisión debería emprender una acción dirigida a mejorar los instrumentos necesarios para el seguimiento y la evaluación de los efectos estructuradores sobre la economía. 8.17. De los modelos macroeconómicos se desprende asimismo que una política de crecimiento económico no siempre es compatible con un desarrollo sostenible. Sería conveniente analizar más las relaciones entre la repercusión sobre el crecimiento y los efectos sobre el desarrollo sostenible, y tener en cuenta de forma sistemática esta dualidad en la programación de las intervenciones de los Fondos Estructurales.

8.18. Los efectos de la obligación de adicionalidad y de cofinanciación pública no son fáciles de determinar y no siempre se examinan. Deberían dedicarse a ello análisis sistemáticos y más profundos. 8.19. La evaluación en sí misma no pretende sustituir el proceso de decisión política, que abarca consideraciones más amplias, pero debe ser una herramienta indispensable para una gestión sana y eficaz de las intervenciones estructurales comunitarias que tenga en cuenta los resultados socioeconómicos. El presente Informe ha sido aprobado por el Tribunal de Cuentas en Luxemburgo en su reunión del 23 de septiembre de 1998.

Por el Tribunal de Cuentas Bernhard FRIEDMANN Presidente >SITIO PARA UN CUADRO> >SITIO PARA UN CUADRO> >SITIO PARA UN CUADRO> >SITIO PARA UN CUADRO> >SITIO PARA UN CUADRO> >SITIO PARA UN CUADRO> >SITIO PARA UN CUADRO> >SITIO PARA UN CUADRO> >SITIO PARA UN CUADRO> >SITIO PARA UN CUADRO> >SITIO PARA UN CUADRO> (1) Se trata concretamente de: a) el artículo 6 del Reglamento marco [Reglamento (CEE) n° 2052/88, modificado por el Reglamento (CEE) n° 2081/93], relativo a las funciones de los Fondos con finalidad estructural y a su eficacia, así como a la coordinación entre sí de sus intervenciones; b) el artículo 26 del Reglamento de coordinación de los Fondos [Reglamento (CEE) n° 4253/88, modificado por el Reglamento (CEE) n° 2082/93].

(2) La apreciación previa se denomina en ocasiones evaluación previa. En el presente informe, el Tribunal ha preferido emplear los términos reglamentarios de «apreciación previa». (3) La acción estructural comunitaria se concibe como complemento de las acciones nacionales correspondientes o como contribución a éstas. Se establece mediante una estrecha concertación, denominada «cooperación», entre la Comisión, el Estado miembro, las autoridades regionales y locales, otras autoridades competentes, los interlocutores económicos y sociales y demás organismos competentes. La cooperación se lleva a cabo dentro del pleno respeto de las competencias institucionales, jurídicas y financieras de cada parte.

(4) En sus informes anuales relativos concretamente a los ejercicios 1990 (capítulo 7), 1993 (capítulos 6, 7, 8 y 9) y 1994 (capítulo 4), el Tribunal comentaba ya la existencia de numerosas carencias en materia de evaluación para el período de programación de 1989 a 1993. (5) Se trata de las siguientes evaluaciones: a) para el período de programación 1989 1993: - apreciaciones previas de los MCA de los objetivos 1 y 5b (1990 1991), - evaluaciones posteriores de los MCA del objetivo 1 (1994 1995), - evaluaciones posteriores de los MCA objetivo 2 (1996 1997), - evaluaciones temáticas (PYME, telecomunicacio-nes); b) para el período de programación 1994 1999: - apreciaciones previas de los planes de desarrollo regional del objetivo 1, - apreciaciones previas de los programas del objetivo 5b, - apreciaciones previas de los DOCUP del objetivo 2 1994 1996, - apreciaciones previas de los DOCUP del objetivo 2 1997 1999, - análisis críticos de los DOCUP y MCA del objetivo 1 (1995) La Comisión ha encargado también evaluaciones por Estado miembro de la repercusión de las políticas estructurales europeas sobre la cohesión económica y social de la Unión.

(6) Nota de la DG XXII del 14 de marzo de 1991. (7) a) Elaboración en 1994 de los primeros términos de referencia para la evaluación intermedia de MCA y de las formas de intervención del objetivo 1. Confirman el papel de la evaluación intermedia como instrumento de ayuda a la toma de decisiones para los comités de seguimiento y su realización en cooperación. Precisan asimismo las modalidades de aplicación, en particular el perfil del equipo de evaluación y sus tareas. b) Difusión en 1995 de las «orientaciones comunes para el seguimiento y las evaluaciones intermedias» de los FE comunitarios que definen los elementos de análisis (objetivos globales y específicos, indicadores), así como el vínculo entre el seguimiento y la evaluación intermedia. c) Envío de cartas a los Estados miembros (1995) recordando la obligación de efectuar la evaluación intermedia y precisando de nuevo las modalidades de aplicación deseadas.

(8) Como las siguientes: a) la conferencia de Bruselas sobre la evaluación de la política regional europea (16 de noviembre de 1995) relativa, en particular, a los resultados de las evaluaciones posteriores del objetivo 1 1989 1993 y de las apreciaciones previas 1994 1999; b) la conferencia europea sobre los métodos de evaluación de las intervenciones de los Fondos Estructurales (Berlín, 2 y 3 de diciembre de 1996) que versó esencialmente sobre los problemas de evaluación de la repercusión en los ámbitos microeconómico, macroeconómico y temático; c) la conferencia de Sevilla de marzo de 1998 orientada a favorecer los intercambios de experiencia en materia de evaluación en el marco de la cooperación.

(9) Este programa fue gestionado conjuntamente por la Comisión y un consultor externo, cuya participación se financió con cargo a la línea B2-1 8 2 0 por un importe anual de 932 000 ecus. (10) El enfoque por programas se ha visto obstaculizado por: i) unos plazos de planificación cortos, que conducen en particular a la falta de apreciación previa; ii) falta de objetivos concretos, de indicadores cuantificados en materia de realización, resultado y repercusión; iii) limitaciones administrativas, en especial cuando subprogramas de un mismo programa dependen de administraciones diferentes, o cuando se cruzan los enfoques sectoriales y regionales; iv) puntos débiles en las normas comunitarias, que conducen en particular a autorizar en el marco de iniciativas comunitarias proyectos rechazados por los PO del objetivo 1; v) el enfoque por proyectos del Fondo de Cohesión, que tampoco juega a favor de una aplicación armónica del enfoque por programas.

(11) Ahora bien, esto no significa que se trate de creaciones de empleo, dado que el modelo econométrico se basa en la hipótesis del pleno empleo y las empresas disponen en período de coyuntura baja de sobrecapacidades de producción. (12) El octavo informe anual sobre los Fondos Estructurales constata los importantes efectos de palanca referidos a resultados brutos como la creación de empleos o de empresas. (13) Evaluación intermedia de programas operativos regionales del objetivo 2 (fase 1994 1996). Orientaciones sobre contenidos comunes a recoger en los pliegos de condiciones técnicas, 23 de mayo de 1996.

(14) DATAR, Calendrier réglementaire et administratif. (15) General Criteria to Underpin Terms of Reference for Mid-Term Evaluation of Operational Programmes/Community Initiatives. (16) Evaluatiekader voor de programma's van de Europese Structuurfondsen, Terp Advies-CBEA Pieter van Run, diciembre 1997. (17) De ellas, 36 fueron examinadas sobre el terreno y/o por la Comisión. (18) Por ejemplo: revitalización del mundo rural, reforzamiento del tejido económico en la región, modificaciones estructurales ligadas al desarrollo regional. (19) Los Comités de seguimiento están formados por representantes de las instancias nacionales competentes y de la Comisión.

ANEXO I SÍNTESIS DE LA METODOLOGÍA QUE DEBE APLICARSE EN EL MARCO DE LA EVALUACIÓN POSTERIOR DE LOS MCA DEL OBJETIVO 1 1989 1993 1. La evaluación posterior de los MCA O1 1989 1993 tenía como objetivo explícito: a) apreciar la estrategia y los objetivos seleccionados en los MCA y extraer enseñanzas para la acción futura. Analizar las consecuencias, sobre los objetivos inicialmente fijados, de la redefinición y adaptación de las intervenciones durante el período de aplicación; b) hacer un primer balance a escala de los MCA y los PO de las realizaciones materiales de las acciones significativas y proceder a una primera evaluación de su repercusión; c) analizar la eficacia de los mecanismos de aplicación y extraer enseñanzas para posibles adecuaciones en el futuro.

2. El consultor principal, encargado de la coordinación de las evaluaciones efectuadas por otros consultores para los Estados miembros, elaboró enfoques metodológicos: a) para el primer objetivo, con el fin de evaluar la lógica inherente a los MCA y PO y a los ajustes de que fueron objeto los MCA y PO desde 1989 -y más específicamente para analizar las causas de dichos ajustes, el valor añadido comunitario, la coherencia interna, la pertinencia de la estrategia con respecto a los problemas y la adecuación de las financiaciones-, debían realizarse las tareas siguientes, que corresponden a un enfoque top-down: - recogida de información y datos clave: datos financieros, objetivos previos, outputs/efectos esperados, grupos y ámbitos objetivo, principales instrumentos utilizados, número de proyectos/medidas aprobados, número de proyectos realizados; - descripción del entorno del programa y de su evolución (situación inicial - situación actual); identificación de los factores externos que influyen en la evolución del programa y en su éxito/fracaso; análisis de los problemas y las causas de base; concretar los indicadores clave del desarrollo regional, incluidos indicadores de cambio de las disparidades; - identificación de los instrumentos de política (préstamos, subvenciones, asistencia técnica); - jerarquización de los objetivos, identificación de los niveles de jerarquía y de los vínculos entre objetivos e instrumentos; b) para el segundo objetivo, los análisis que debían efectuarse obedecían a la vez a enfoques top-down y bottom-up: - análisis de los outputs y de los efectos a escala de PO, medidas y proyectos, habida cuenta de las «pérdidas sin más» y de los efectos de sustitución y multiplicación; - análisis de la eficacia relativa de medidas y combinaciones de medidas; análisis de los factores causales de éxito/fracaso; - comparación de outputs e inputs; se trataba asimismo de concretar indicadores clave y optativos; c) para el tercer objetivo, había que analizar la eficacia de los mecanismos de aplicación a escala de los MCA y los PO y de un número reducido de medidas, e identificar las mejoras aportadas y por aportar en el proceso de programación, aplicación, seguimiento y evaluación; para cada Estado miembro debían examinarse los mecanismos de toma de decisiones, de planificación, de control financiero, de aplicación, de seguimiento y de control, los circuitos financieros, la cooperación, la adicionalidad, la coordinación de los fondos, el proceso de simplificación y de armonización, de aumento de la flexibilidad y de la transparencia; se analizaría en profundidad la aplicación y el seguimiento de una pequeña muestra de medidas/grandes proyectos; d) se elegían muestras ad hoc de programas, medidas y proyectos con el objetivo, por una parte, de calcular un número limitado de indicadores físicos y de repercusión, y, por otra, de efectuar análisis en profundidad.

ANEXO II SÍNTESIS DEL ENFOQUE DE EVALUACIÓN POSTERIOR DEL OBJETIVO 2 1989 1993 La evaluación posterior de las intervenciones comunitarias en el marco del Objetivo 2 para el período de programación 1989 1993, que comprende generalmente componentes FEDER y FSE, incluía: a) análisis generales de todas las regiones y zonas O2 con el objetivo de comparar la situación socioeconómica en vísperas de la intervención de los FE en el marco del O2 y la situación socioeconómica después de la intervención; asimismo, debían de dar lugar a un análisis de la estrategia aplicada, de la jerarquía de los objetivos, prioridades y medidas, de los indicadores, de los efectos planificados y no planificados, de las sinergias entre componentes de los programas y de la integración de los distintos fondos.

Estos análisis debían basarse en el contenido de los MCA y los PO, en los informes de ejecución anuales o en los informes presentados al comité de seguimiento y en las evaluaciones previa y posterior si se disponía de ellas; b) estudios en profundidad de 22 regiones, con el objetivo de: - estudiar en profundidad los MCA, los PO y los tipos de medidas convenientes; - analizar las estructuras institucionales y las modalidades de gestión de los programas; - evaluar las repercusiones y efectos de «valor añadido» que puedan atribuirse a los MCA y los PO; - evaluar el coste y la eficacia de las repercusiones; - estudiar las contribuciones de la intervención del programa O2 en el proceso de desarrollo regional.

Las evaluaciones en profundidad obedecen al enfoque de bottom-up, siendo el objetivo -a partir de un examen del proceso de elección de las operaciones, de su tipología, del proceso de gestión, de su repercusión y efecto de valor añadido, de las sinergias y de la adicionalidad- ascender y agregar el conjunto de medidas y finalmente el conjunto de programas. ANEXO III CARACTERÍSTICAS DE LOS MODELOS MACROECONÓMICOS UTILIZADOS PARA LA EVALUACIÓN DE LOS FE 1. Los principales modelos utilizados para la evaluación macroeconómica en el ámbito de los FE son: a) modelos econométricos, como HERMIN (1);

HELM (2) y QUEST II (3); b) modelos de equilibrio general calculable, como OGM (4) y BBM (5); c) modelos input-output, como DIO (6) y FIDIMI (7); d) análisis estructural residual. Las características de la aplicación de estos modelos en los casos examinados se presentan esquemáticamente en las tablas III 1 y III 2. En la tabla III 3 se ofrece la modelización de las características de los MCA. 2. Por otra parte, la posibilidad de simular la evolución de la economía de los países del O1 en un intervalo temporal de más de 10 años y sobre bases multisectoriales permite comprender el cambio estructural generado por los FE y evaluar la solidez del proceso de recuperación que la ayuda comunitaria debe sostener y reforzar.

3. En el marco de su encuesta, el Tribunal encargó un análisis (8) para estimar en qué medida estas técnicas de escala macroeconómica son adecuadas para medir la repercusión de las intervenciones estructurales y pueden contribuir de forma eficaz al proceso de toma de decisiones y de estrategia de la programación. 4. De este ejercicio se desprende que las consideraciones relativas a los factores endógenos o exógenos que condicionan el éxito de los programas estructurales varían en función de las metodologías y enfoques conceptuales utilizados. En efecto, los modelos macroeconómicos tienen por objeto representar los mecanismos del sistema económico de un país o una región y captar o simular los efectos de un choque exógeno como el constituido por la intervención de los programas estructurales.

Ahora bien, no existe una representación única y completa de la realidad económica. 5. El modelo econométrico HERMIN, que tiene en cuenta las características específicas de cada Estado miembro y agrega los efectos a escala nacional, parte de la hipótesis de que las economías no operan a pleno rendimiento de su capacidad de producción y que, por consiguiente, los efectos multiplicadores y aceleradores derivados de los aumentos de la inversión generan una expansión de la producción y del empleo, y parece dar resultados satisfactorios en términos de efectos sobre la demanda. En cuando a los efectos sobre la oferta, el descenso del desempleo induce, según el modelo, un aumento salarial habida cuenta de la relación de Phillips, limitando al mismo tiempo el efecto sobre la inflación; por otra parte, los efectos sobre la productividad se tienen explícitamente en cuenta modelizando los efectos de las economías externas que el incremento y la mejora del capital humano y del capital físico público y privado tienen sobre la productividad.

Esta consideración es, sin embargo, distinta de un país a otro. El modelo sólo proporciona datos parciales en materia de desarrollo sostenible, pues no considera, en particular, los aspectos de variación del tipo de cambio con el fin de garantizar el equilibrio de la balanza de pagos, o variaciones de transferencias fiscales. 6. El modelo macroeconométrico HELM, que fue aplicado para la evaluación intermedia del DOCUP 1994 1999 O1 de la provincia de Hainaut (Bélgica), es de los pocos que tiene específicamente en cuenta el enfoque regional del desarrollo, considerando los efectos del crecimiento endógeno ligados a la productividad a largo plazo, aunque la mejora de la productividad debida a la intervención de los FE esté en gran medida limitada al sector industrial y afecte solamente a la productividad del trabajo.

Partiendo del mismo tipo de premisa que el modelo HERMIN en cuanto a la utilización de las capacidades de producción y los efectos multiplicadores y aceleradores de las inversiones sobre la demanda, indica efectos globales y agregados del DOCUP sobre la economía de Hainaut, como la inversión acumulada generada, el valor añadido o el empleo en los sectores de la industria de fabricación y de los servicios comerciales durante el período de 1994 hasta el horizonte de 2002 o 2005. Hay que señalar que el modelo HELM tiene bien en cuenta las exportaciones regionales, pero no las importaciones procedentes de otras regiones, lo que puede sobrestimar los efectos sobre la demanda.

Además, la demanda se ve reforzada por el hecho de que no se tienen en cuenta ni los ajustes salariales vinculados al descenso del desempleo, ni el aumento de los costes ni las limitaciones de capacidad. El modelo HELM aporta asimismo pocas indicaciones sobre la evolución del desempleo o la oferta de empleo. Por último, se basa en datos estadísticos históricos que no han sido comprobados con otras series de datos pertinentes. 7. Los modelos de equilibrio general calculable se aplican más concretamente a escala nacional. Ponen de manifiesto los efectos de las intervenciones estructurales comunitarias sobre la oferta a largo plazo.

El modelo OGM, que ha adoptado un marco de crecimiento endógeno intertemporal, considera que los mercados de los factores de producción están en equilibrio y que la economía opera a pleno rendimiento de la capacidad de producción. Los cambios en la demanda no tienen ningún efecto sobre la producción y el empleo, y los programas de los FE sólo pueden estimular el crecimiento aumentando la productividad; estos efectos de productividad se especifican claramente en la función de producción. El modelo tiene por objetivo determinar un óptimo para el país maximizando una función de bienestar social intertemporal.

Partiendo de la hipótesis de una situación sin incertidumbres, los agentes económicos, al anticipar perfectamente el volumen de fondos que les será concedido y el período a lo largo del cual se escalonará la ayuda, deben poder tomar decisiones óptimas de consumo e inversión con relación a estos datos. Por último, el modelo OGM prevé a largo plazo el equilibrio de la balanza de pagos y el equilibrio presupuestario. 8. El modelo BBM prevé para determinados sectores que los mercados de trabajo estén en equilibrio y, por tanto, que los efectos de la demanda no influyan sobre la producción y el empleo, mientras que en otros sectores se considera que una expansión de la demanda genera crecimiento.

El modelo incorpora asimismo efectos de productividad ligados a los cambios tecnológicos que inducen reducciones de inputs. 9. El modelo de entradas-salidas DIO trata de representar las relaciones entre todos los recursos de que dispone una economía y todos los consumos finales. Identifica así interdependencias entre los distintos sectores de un país, vinculados entre sí sobre la base de los consumos intermedios. El enfoque de entradas-salidas maximiza los efectos de las intervenciones estructurales sobre la demanda e ignora los que afectan a la oferta (efectos sobre la productividad y sobre los salarios, ajuste de la inflación).

El desarrollo sostenible no se aborda. El modelo FINIMI es una combinación de modelo de equilibrio general y de modelo de entradas-salidas y permite analizar los efectos en el norte de Italia de intervenciones comunitarias realizadas en el sur de Italia. 10. Entre otras técnicas existentes para evaluar los efectos de las políticas regionales, Eurostat se basa sobre todo en el análisis estructural-residual para evaluar la repercusión de los FE en determinadas zonas subvencionables del O1 o el O2. Este análisis se centra en identificar el residuo, que viene dado por la diferencia entre la situación real y la situación contrafáctica surgida de la aplicación de las tendencias nacionales estimadas.

No obstante, en la repercusión así determinada intervienen tanto los resultados del programa en curso de evaluación, como otras acciones políticas nacionales y europeas, así como la trayectoria anterior de la política regional. Además, los estudios efectuados por Eurostat en 1997 comprenden datos sobre indicadores que, en el mejor de los casos, son de 1993, lo que relativiza mucho el valor de sus conclusiones. 11. El modelo QUEST II intenta analizar las economías de los Estados miembros, y sus interacciones con el resto del mundo, especialmente con Estados Unidos y el Japón. El modelo se interesa especialmente por la transmisión de los efectos de la política económica en el plano nacional e internacional.

Fue concebido inicialmente como instrumento de simulación más que de previsión. Actualmente, el modelo QUEST II integra más los efectos de la oferta que el precedente y toma más en consideración las interacciones en términos de stocks. No obstante, QUEST II toma poco en cuenta las implicaciones en términos de cambio del comportamiento de los agentes económicos. >SITIO PARA UN CUADRO> >SITIO PARA UN CUADRO> >SITIO PARA UN CUADRO> (1) HERMIN: Modelo econométrico que se basa en el modelo original HERMES (Harmonised Econometric Research for Modelling Economic Systems) pero con la peculiaridad de ser de tamaño mínimo (Min), de ahí (HER)MIN.

(2) HELM: Hainaut Economic Lead-in Model. (3) QUEST II: A Multy Country Business Cycle and Growth Model - Economic Papers n° 123 - Octubre de 1997. DG II - Asuntos económicos y financieros. (4) Optimal Growth Model (OGM) de Pereira (1991 y 1995). (5) Bourguignon, Branson and de Melo model (BBM) de Lolos y Zonzilas (1992). (6) Dynamic Input-output model (DIO) de Beutel (1995, 1996 y 1997). (7) FIDIMI Consulting Company, Evaluación de la repercusión macroeconómica del MCA Objetivo 1 - Italia y mecanismos de aplicación. (8) El Tribunal se benefició de los servicios de un evaluador externo altamente especializado en el ámbito de los modelos macroeconómicos y de la economía europea.

RESPUESTAS DE LA COMISIÓN I COMENTARIO GENERAL La Comisión reconoce que el procedimiento de evaluación, en gran parte por su carácter innovador, es todavía un tanto aproximativo en cuanto al contenido y a la utilización que de él pueda hacerse, pero recuerda que en pocos años se han obtenido ya resultados considerables. Consciente de las dificultades que falta superar, la Comisión ha desplegado grandes esfuerzos, tanto desde el punto de vista de la organización como de la metodología, con objeto de aproximarse a una situación lo más satisfactoria posible, mediante el diálogo permanente con todos aquellos que, en los distintos países de la Unión, reflexionan y llevan a cabo investigaciones en este ámbito.

La evolución del procedimiento de evaluación de las intervenciones de los Fondos Estructurales consta de tres fases principales, vinculadas con los tres períodos de programación: Período 1989 1993: El Consejo no aprobó los Reglamentos de la primera reforma de los Fondos Estructurales hasta el mes de diciembre de 1988; los planes nacionales presentados a principios de 1989 sólo reflejaban parcialmente las exigencias en materia de enfoque estratégico, selección de los objetivos por alcanzar y cuantificación del impacto que de ellos se esperaban. Por este motivo, los trabajos de evaluación posterior intentan paliar estas carencias mediante la comparación de los resultados obtenidos con objetivos reconstituidos.

Esta considerable tarea comporta sus propios límites, que se reflejan en los informes sobre las intervenciones en las zonas de los Objetivos 1 y 2. No obstante, constituye el primer intento de análisis coherente del impacto de la reforma en la cohesión económica y social. Período 1994 1999: Tanto a petición de algunos Estados miembros como de la Comisión, tras esta primera experiencia se procedió a reforzar la normativa en materia de seguimiento y evaluación, fijándose para ello tres fases: previa, intermedia y posterior. El éxito de la fase intermedia es incuestionable. Con un alcance por primera vez superior a la simple aplicación de los reglamentos, las evaluaciones intermedias fueron organizadas por y a escala de cada Comité de seguimiento, con lo que se favoreció la aproximación entre evaluador y beneficiarios de la evaluación.

Los informes elaborados se presentaron y fueron objeto de debate en cada Comité, confiriendo al procedimiento una función a la vez pedagógica y operativa a la que los trabajos organizados y llevados a cabo por la Comisión no pueden pretender sin dificultad. Es posible que exista algún desacuerdo en cuanto a los métodos aplicados, la selección de los evaluadores, el coste de los trabajos y el grado de detalle de los resultados, aunque la coordinación y la dirección general corrieran a cargo de la unidad de coordinación de la evaluación de los servicios de la Comisión y de los corresponsales nacionales del Grupo Técnico de Evaluación.

No obstante, y a pesar de determinadas diferencias vinculadas al margen de maniobra de que dispone cada Estado miembro en el marco de la subsidiariedad, la Comisión considera que este modo de proceder cumple una función esencial para la difusión de una verdadera cultura de la evaluación. De este modo se demostró a los beneficiarios que disponen de un instrumento operativo para gestionar mejor las intervenciones financiadas tanto por fuentes nacionales como comunitarias. Las evaluaciones futuras se beneficiarán al máximo de este estado de ánimo, ya que la calidad de sus conclusiones depende tanto de la calidad de la información que poseen y comunican los gestionadores como del grado de pericia de los evaluadores independientes.

Período 2000 2006: El objetivo de las nuevas propuestas de reglamentos consiste, en particular, en reducir más aún los factores que pudieran limitar el alcance del procedimiento de evaluación, ya que la intención primera es incrementar la eficacia en cuanto a la utilización de los Fondos Estructurales. Para ello se propone, en particular: - incorporar realmente la evaluación previa en los planes que los Estados miembros deberán presentar con una cuantificación rigurosa de los objetivos que se pretenda alcanzar; - tener en cuenta los resultados de evaluaciones ya realizadas, bien sean temáticas, bien específicas por programa, del período anterior; - establecer un vínculo estrecho entre una nueva programación intermedia y las conclusiones de las evaluaciones intermedias.

Para garantizar mayor eficacia en la utilización de los Fondos Estructurales, la Comisión propuso que el 10 % del importe de los Fondos Estructurales se atribuya en la fase intermedia en función de los resultados obtenidos, ya que los criterios de resultado están íntimamente relacionados con la calidad de la programación, del seguimiento y de las evaluaciones previa e intermedia. Por último, en un sentido más estrictamente metodológico, la Comisión tiene la intención de publicar antes del próximo otoño el conjunto de los trabajos realizados en el marco de MEANS (1) que le permiten garantizar una armonización mayor del procedimiento de evaluación en la Unión.

Dicha publicación incluirá: - la descripción detallada de un pliego de condiciones y de la metodología de una evaluación previa, intermedia o posterior; - la presentación de los distintos métodos de evaluación que existen en las publicaciones especializadas y las modalidades de uso de cada uno; - el análisis de los sistemas de indicadores por ámbito de intervención. Armonización de conceptos y relación indicativa de los indicadores; - la metodología de las evaluaciones temáticas y su organización; - un glosario multilingüe de los principales conceptos de evaluación; - la presentación de las experiencias nacionales o comunitarias más innovadoras.

Las siguientes observaciones demuestran que, en determinadas ocasiones la Comisión comparte las observaciones del Tribunal. Pero siempre es conveniente tener en cuenta las dificultades y los límites inherentes a cualquier procedimiento de evaluación, aunque progresivamente se vayan superando unas y ampliando los otros. No obstante, en cualquier caso conviene tener siempre presente que la evaluación es ante todo un instrumento técnico de ayuda a la toma de decisiones o a la gestión y no está destinada a suplantar al estamento político de toma de decisiones. Su objetivo consiste en dilucidar, siempre de modo parcial, las consecuencias de las opciones posibles o ya decididas.

Además, la evaluación deberá mantener la necesaria flexibilidad en cuanto a los métodos adoptados con objeto de tener en cuenta contextos que siempre difieren entre una evaluación y otra. Por último, la Comisión recuerda que desde que en 1988 se inició la reforma de los Fondos, las responsabilidades recíprocas de las administraciones nacionales y de la Comisión en materia de gestión de los Fondos Estructurales y, en particular, en materia de evaluación se han ido precisando cada vez más. En efecto, los Estados miembros se ven cada día más obligados a asumir la principal responsabilidad y llevar a cabo su propia evaluación.

II COMENTARIOS ESPECÍFICOS 2. ALCANCE DE LA AUDITORÍA 2.3. La auditoría del Tribunal no incluye países como Alemania y el Reino Unido, dos Estados miembros cuyas actitudes respecto de la evaluación difieren particularmente. 3. RESUMEN DE LAS PRINCIPALES OBSERVACIONES 3.2. La Comisión considera marginales en términos de coste los casos de evaluación para los que pudiera no disponer de elementos presupuestarios. Como la evaluación intermedia se halla en pleno auge y se realiza en el ámbito descentralizado, el volumen de gasto que se le dedica está también en plena evolución. Los importes que se dedican a evaluación se liquidan por país, objetivo y tipo de intervención.

También se han publicado datos sobre la evaluación en el balance anual de la Comisión sobre este tema. La Comisión seguirá actuando con miras a obtener la identificación sistemática del gasto que se dedica a la evaluación en los importes otorgados a la asistencia técnica y cuya gestión corresponde a la cooperación. 3.3. Los reglamentos y el principio de subsidiariedad no otorgan a la Comisión las competencias necesarias para una dirección específica en términos de metodología de evaluación y de indicadores. Con objeto de impulsar la evolución de las prácticas nacionales y de mejorar la calidad de la evaluación, la Comisión: - organizó el programa MEANS y publicó ocho pliegos de cuestiones metodológicas; - organizó tres conferencias europeas sobre técnicas y práctica de la evaluación; - publicó documentos tales como, por ejemplo, el marco de referencia de las evaluaciones previas y una guía de evaluación de grandes proyectos; - creó los Grupos Técnicos de Evaluación con la participación de los Estados miembros y organizó varios seminarios.

3.5. Resulta difícil organizar de modo objetivo la articulación entre la evaluación posterior y las distintas fases de programación de las intervenciones estructurales. Una verdadera evaluación posterior debería realizarse dos o tres años después de finalizar la programación. Para resolver esta dificultad la Comisión impulsa que se lleven a cabo evaluaciones intermedias y evaluaciones temáticas. De este modo las evaluaciones temáticas realizadas en 1992 y en 1993, por ejemplo, permitieron disponer de elementos para preparar la programación de 1994 1999. Para preparar la programación posterior al año 2000 se dispondrá de evaluaciones intermedias, ya que éstas ya se han llevado a cabo, y en la actualidad se están elaborando balances de evaluación de cada objetivo, que profundizan y actualizan las evaluaciones intermedias.

También se han iniciado ya, además, cuatro evaluaciones temáticas. Por otra parte, la Comisión ha incluido dicho dispositivo en sus propuestas de modificación de los Reglamentos. 3.6. Conviene distinguir entre objetividad de las evaluaciones y suficiencia y calidad de los datos. La cuestión de los datos aparece con mucha frecuencia en el marco de la evaluación. Pocos informes no insisten en esta dificultad. No obstante, se aprecia una sensible mejora de la situación, en particular gracias a las exigencias de la evaluación. La Comisión no está satisfecha del estado de la cuestión relativa a los datos, pero esto no debe considerarse como una crítica de la evaluación sino de los sistemas de seguimiento.

La Comisión insiste en que el problema de la pertinencia de los datos de control y de los indicadores es una cuestión que depende fundamentalmente de la auditoría del seguimiento. La Comisión continúa actuando con miras a mejorar la situación y piensa seguir la observación del Tribunal relativa a una evaluación más sistemática de la fiabilidad de los datos. Las actividades realizadas para la auditoría y el control también debieran permitir incrementar la mejora de la situación, perceptible sobre el terreno desde hace algunos años. 3.7. Los servicios en cuestión respetan los procedimientos de celebración de contratos que establecen las Directivas correspondientes y el procedimiento elaborado por la CCAM.

No obstante, es imposible negociar el mandato antes de la firma del contrato. Esto requiere a veces ciertos esclarecimientos que estorban la gestión de los calendarios, aunque tal problema es marginal. Además, no se puede culpar únicamente a los servicios de la Comisión de este problema. Tanto la competencia de los consultores como la calidad de los datos disponibles pueden ser causa de los defectos de algunos informes de evaluación: a partir de los mismos términos de referencia, ciertos informes de un país pueden ser excelentes mientras que, en otros casos resultan insuficientes. 3.8. La Comisión comparte la opinión del Tribunal sobre las dificultades con que tuvieron que enfrentarse las primeras evaluaciones que se organizaron en un clima particularmente poco entusiasta en los Estados miembros.

Las evaluaciones posteriores de los Objetivos 1 y 2 corrieron a cargo de consultorías de renombre internacional y de expertos de alto nivel a partir de una metodología común. A pesar de estas limitaciones, la segunda parte del punto 3.7 justifica tanto la iniciativa como la utilidad del ejercicio. Las críticas del Tribunal se refieren a las evaluaciones de 1993 1994, pero desde entonces y por iniciativa de la Comisión se han llevado a cabo muchos trabajos con objeto de desarrollar las metodologías. La crítica del Tribunal sobre la evaluación posterior del Objetivo 2 también resulta pertinente en parte.

No obstante, conviene mantener una visión más pragmática en cuanto a la posibilidad de conseguir una medición cuantitativa exacta del impacto o del valor añadido comunitario. 3.9. La evaluación intermedia se centró en el análisis de la ejecución de las intervenciones. La evaluación de los efectos se hará preferentemente en el marco de los balances y evaluaciones posteriores. Dichas evaluaciones sin embargo no siempre guardan relación con la elaboración de modelos econométricos - con frecuencia muy costosos - que no siempre son los más adecuados para medir el impacto. La evaluación es un instrumento de ayuda a la gestión y, como tal, no constituye sino un sistema de ayuda relativa al proceso de toma de decisiones.

3.10. La Comisión ha podido comprobar que la distribución en dos fases de programación del Objetivo 2 no corresponde de modo satisfactorio a las necesidades de las zonas interesadas y complica la aplicación de los programas. Las propuestas de la Comisión de marzo de 1998 referentes a la reforma de los Fondos Estructurales proponen una fase única de programación para el Objetivo 2, como es ya el caso de los demás objetivos. 3.11 3.12. Con el fin de evitar que se multiplique la evaluación de programas y subprogramas difícilmente gestionable, un enfoque más selectivo en ciertos sectores clave pudiera ser una solución más adaptada.

La Comisión comparte la opinión del Tribunal sobre la conveniencia de reducir el número de medidas y subprogramas e, incluso, el número de programas. En el marco de la reforma de los Fondos, ha hecho propuestas concretas en este sentido. 4. PROBLEMAS GENERALES Introducción 4.1. En distintas ocasiones la Comisión ha lamentado que algunos Estados miembros no hubiesen cuantificado lo suficiente sus objetivos. La falta de una gestión por objetivos del gasto público nacional entorpece también el desarrollo de los sistemas de gestión basados en indicadores. Se trata, por consiguiente, menos de un fallo del marco metodológico o analítico que de un problema vinculado con la elaboración de los programas o el grado de desarrollo de las estadísticas nacionales.

4.3. La Comisión recuerda que: - desde 1994 transmitió a los Estados miembros unas «directrices comunes para el seguimiento y las evaluaciones intermedias»; - en diciembre de 1994 la Comisión presentó al Grupo Técnico de Evaluación -responsables de la evaluación de los Estados miembros- un documento marco sobre la finalidad, el contenido y el proceso de aplicación de las evaluaciones intermedias. Tras esta primera concertación hubo cuatro reuniones más del mismo grupo; - en 1995 la Comisión puso a disposición de las administraciones un documento MEANS titulado: «Organizar la evaluación intermedia en el marco de la cooperación» de la que tres capítulos de los cinco que la componen tratan de «Elaboración del pliego de condiciones y de los concursos», «Selección de los evaluadores» y «Gestión de la calidad de la evaluación»; - en 1996 y antes de que se recibieran las primeras evaluaciones, la Comisión puso a disposición de las administraciones un documento MEANS sobre «Apreciación de la calidad de los informes de evaluación» con un baremo detallado.

4.5. No obstante, cabe recordar que algunas evaluaciones se llevaron a cabo en el marco de la cooperación incluso durante el período 1989 1993. Lo que significa que tanto los Estados miembros como los Comités de seguimiento participaron de modo activo en varias evaluaciones -tanto temáticas como posteriores- iniciadas por la Comisión. 4.10. El Tribunal observa la escasez de los fondos destinados a la evaluación de los Objetivos 1 y 2 durante el primer período de programación. Como prácticamente ningún Estado miembro procedió a realizar evaluaciones, de hecho sólo la Comisión tomó la iniciativa de efectuar una primera evaluación del conjunto de los MCA del Objetivo 1 y de 15 DOCUP del Objetivo 2 al principio del período.

Además de las evaluaciones temáticas que abarcan asimismo el período 1989 1993, la Comisión realizó una evaluación posterior para el conjunto de los MCA y DOCUP de los Objetivos 1 y 2 del período 1989 1993. 4.11 La cuestión relativa al conocimiento del coste se evoca en el punto 3.2. Sólo algunas evaluaciones lanzadas por iniciativa de un Estado miembro y financiadas por la asistencia técnica pudieran no estar incluidas en el marco financiero de las evaluaciones establecido por la Comisión. No obstante, sólo representan importes marginales en comparación con el conjunto de los demás trabajos.

Marco de referencia 4.12 4.13. Los documentos MEANS se pensaron en tanto que textos pedagógicos destinados a unas administraciones cuyo nivel de pericia se halla con frecuencia en plena evolución desde el punto de vista técnico. La Comisión consideró prioritario realzar el nivel medio de evaluación en lugar del de los peritos especializados. Bases estadísticas e información relativa a los objetivos perseguidos 4.14 4.15. La Comisión comparte la opinión del Tribunal. Indicadores 4.16 4.21 El Tribunal reconoce el esfuerzo de la Comisión en favor de la evolución de la cuestión de los indicadores.

Para ello, en 1993 se reforzaron las disposiciones reglamentarias y se lanzó con cada Estado miembro el ejercicio de cuantificación de las disparidades. Al proceder a la evaluación previa, la cuestión de la cuantificación de los objetivos se consideró como una prioridad y se alcanzaron progresos -las intervenciones de 1994 1999 están mucho mejor cuantificadas que las anteriores. La primera tarea de las evaluaciones intermedias consistió en mejorar los indicadores y su grado de eficacia. La Comisión hace hincapié en que el problema no consiste solamente en completar o reducir el número de indicadores, sino antes bien en la dificultad de los sistemas de seguimiento para garantizar la cuantificación periódica de los indicadores acordados y que ya existen en los programas.

Tampoco se trata de falta de coherencia en la programación, pero en virtud de la subsidiariedad las autoridades regionales y locales tienen derecho a decidir sus propias prioridades y la envergadura de la programación en su país. No obstante, como consecuencia de la presión y de las exigencias de la evaluación se va progresando en este ámbito. El análisis de la Comisión es que, ya que la simple dirección metodológica es insuficiente, habrá que tomar iniciativas más contundentes en el marco de la reforma de los Fondos. Consideración de la evaluación 4.23. En efecto, la doble fase de programación no facilita la articulación entre evaluación y programación y por estos motivos, entre otros, la Comisión propone para el futuro una sola fase de programación.

Sin embargo, la programación 1997 1999 se benefició de la evaluación posterior del período 1989 1993 y de una apreciación previa de los DOCUP, que se llevó a cabo por iniciativa de la Comisión, sobre cuestiones de su competencia y relativas a las prioridades de la Unión. En cuanto a la evaluación posterior del período 1994 1996, la Comisión considera que las evaluaciones realizadas en el marco de la nueva programación y las evaluaciones temáticas relativas a los PME e I + D cubren una parte considerable de la cuestión. La Comisión está discutiendo en la actualidad con los Estados miembros del lanzamiento, durante el segundo semestre de 1998, de una evaluación balance relativa al período transcurrido desde 1994.

Dicha evaluación (balance) cobraría todo su valor en el marco de la futura programación. 4.24 4.27. La Comisión está elaborando un informe, país por país, sobre la calidad de la evaluación y su contribución a la adaptación de las intervenciones. Los aspectos esenciales de la revisión intermedia se recogerán en un breve informe. Los elementos de que dispone la Comisión no corroboran las afirmaciones del Tribunal, que se refieren a situaciones muy diversas y a cientos de programas. Con ocasión de la presentación del informe sobre la revisión intermedia, la Comisión tiene intención de proceder a un balance.

Por ahora, la posición del Tribunal parece prematura. La Comisión recuerda asimismo que las evaluaciones no sólo son útiles para los gestores, sino que también permiten rendir cuentas a la autoridad presupuestaria y, en particular, al Parlamento Europeo y a los ciudadanos. Objetividad de las evaluaciones 4.28 4.30. En estos apartados el Tribunal no parece tener lo suficientemente en cuenta la complejidad de la cooperación, a pesar de las posiciones positivas que expresa en los puntos 6.5 6.7. El debate sobre la objetividad e independencia de las evaluaciones es más amplio que las meras cuestiones vinculadas a la existencia de un marco de referencia preciso de aplicación de metodologías y de control de datos in situ.

Afectan más a la calidad de la evaluación el grado de profesionalidad, la ética de la profesión y la interferencia de los Estados miembros, entre otras cosas. El Tribunal omite mencionar que en el documento MEANS N 5 sobre la apreciación de la calidad de los informes de evaluación se mencionan explícitamente -tres de los ocho criterios seleccionados- la adecuación de la metodología, la fiabilidad de los datos y la credibilidad de los resultados. La Comisión ha emprendido un esfuerzo para mejorar constantemente las normas y el grado de exigencia, sin perder de vista las realidades sobre el terreno.

En este sentido, la Comisión piensa ir más lejos aún en la apreciación del funcionamiento in situ de los sistemas de evaluación. Contratos de evaluación celebrados por la Comisión 4.31 4.32. La Comisión aplica las normas y procedimientos de celebración de contratos establecidos en el marco de la CCCC. Los consultores, por ejemplo, se seleccionan a partir de los criterios de selección y de atribución que se publican en el DO. La aplicación de dichos criterios y los resultados del ejercicio forman parte del informe que se presenta al CCCC. En cuanto al grado de precisión de los contratos, no hay que olvidar que la Comisión compra un peritaje y es la primera interesada en que los contratos se redacten de tal modo que los consultores contratados puedan aplicar plenamente sus conocimientos en la materia.

4.33. El método aplicado para el Objetivo 1 no resulta apropiado para el Objetivo 2, que consta de 60 programas. Teniendo en cuenta el importe en cuestión y el número de equipos, éste conduciría a una fragmentación del concurso contraria tanto a la letra como al espíritu de la Directiva relativa a los procedimientos de adjudicación de contratos públicos de obras. En dichos casos la Comisión respetó las normas y se mostró celosa de no ceder el control de las modalidades de aplicación de la evaluación. Se organizaron para estos fines unos «comités de control» de acompañamiento de la evaluación y se celebraron reuniones periódicas con los equipos de evaluación.

Tras lo cual se procedió a validar los informes con los servicios gestores. 4.34. La definición del pliego de condiciones depende de las necesidades y de las peticiones de información del mandante. Al mandante corresponde definirlas y las unidades encargadas de la evaluación velaron por el contenido. Los términos del contrato, salvo el contenido del mandato, se normalizaron por iniciativa del CCCC. Como ya se ha dicho, no existe una metodología habitualmente aceptada para la evaluación de programas. En este contexto y para no perder el control del enfoque elegido, la Comisión debate sobre la metodología y su pertinencia respecto de las cuestiones planteadas y la posibilidad de aplicar las técnicas propuestas.

Los enfoques metodológicos generales forman parte del pliego de condiciones, pero las especificaciones y los instrumentos técnicos se deciden previo debate. 4.35. En este caso concreto, la Comisión, previo acuerdo de los consultores de la evaluación, intentó mejorar la calidad del informe mediante un encuentro-debate sobre el contenido y las enseñanzas con todas las unidades y funcionarios interesados. El informe final se entregó en mayo de 1995 (tres meses después de la fecha prevista), se aceptó previa consulta oficial en junio de 1995 y se pagó en julio de 1995. El informe en el que el Tribunal basa su crítica no es más que una puntualización del consultor que no supuso un presupuesto adicional.

4.36. La Comisión recalca que los términos de referencia se estructuraron en torno a tres cuestiones principales y claramente definidas: la pertinencia de la estrategia, el balance y eficacia de las realizaciones y la eficacia de los mecanismos de aplicación (páginas 2 4 del documento). La Comisión explica en el punto 4.12 su posición respecto de la cuestión de las metodologías. Se procede a la consulta de los distintos servicios y el servicio gestor asume sus responsabilidades y decide si acepta o no el informe. 5. EVALUACIONES POSTERIORES DE LOS MCA DE LOS OBJETIVOS 1 y 2 (1989 1993) Introducción 5.1.

La Comisión comparte las observaciones del Tribunal relativas a las dificultades relacionadas con la elaboración de los programas de la primera generación, con que tuvieron que enfrentarse estas evaluaciones. Evaluación posterior de los MCA del Objetivo 1 (1989 1993) 5.4. Algunas de las observaciones del Tribunal merecen ciertos matices. a) Si los datos relativos a las disparidades regionales «son demasiado antiguos», la crítica recae sobre las oficinas de estadística y no en la metodología de la evaluación. b) Los evaluadores adoptaron las técnicas de muestreo habitualmente utilizadas en el marco de la evaluación, así como el estudio de casos para determinadas profundizaciones.

Bien utilizadas, estas técnicas suministran enseñanzas pertinentes. e) El Tribunal toma nota de que los análisis de tipo bottom-up no siempre permitieron extraer conclusiones relativas a la repercusión de los programas. No obstante, es imposible medir la repercusión en las políticas comunitarias, la mejora de la gestión, la transparencia, etc., mediante análisis top down, ni a partir de modelos econométricos. g) El Tribunal emite críticas relativas a cuestiones que no se incluyen en el mandato de evaluación. 5.7. La Comisión confirma que, en el marco de su responsabilidad de rendir cuentas a la autoridad presupuestaria, así como en el marco de las tareas realizadas para el informe sobre la Cohesión Económica y Social, las evaluaciones en cuestión se utilizaron plenamente.

5.8. Uno de los tres objetivos del mandato de evaluación era, efectivamente, emitir sugerencias relativas a la mejora del sistema de seguimiento y de gestión. También se analizó la pertinencia de la estrategia y se elaboró un balance de la realización que permitió analizar la eficacia de las intervenciones. Evaluaciones posteriores del Objetivo 2 (1989 1993) 5.13. La aplicación sistemática de modelos econométricos no siempre se justifica, ya sea porque en ciertos casos el nivel de la ayuda es bajo, ya sea porque se carece de series estadísticas regionalizadas. La mayor parte de las apreciaciones sobre política figuran en el informe relativo a la Cohesión Económica y Social; la Comisión sugirió algunas adaptaciones en el marco de la nueva propuesta de reforma de los Fondos Estructurales a partir del año 2000.

5.16. La Comisión ya incluyó en sus propuestas para los nuevos reglamentos algunas de las recomendaciones de dicha evaluación. 6. EVALUACIONES INTERMEDIAS (1994 1999) Desarrollo e integración de los principios de evaluación intermedia 6.1 6.20. La Comisión comparte la opinión del Tribunal sobre esta parte del informe y somete a la atención del Tribunal algunas aclaraciones: - Al punto 6.15: La Comisión considera que la apreciación crítica de la estrategia de desarrollo, la repercusión en los objetivos y la viabilidad de los proyectos corresponden específicamente ya sea a la evaluación previa, ya sea a la evaluación posterior. - Al punto 6.16:

El objetivo del mandato relativo a las evaluaciones intermedias es adaptar las intervenciones y mejorar la gestión. El análisis del valor añadido comunitario se integrará mejor en las evaluaciones-balance y en las evaluaciones posteriores. No obstante, el análisis de la repercusión de las prioridades comunitarias en la adaptación de las intervenciones suministra en numerosas ocasiones información útil en cuanto al valor añadido comunitario. - Al punto 6.18: A través de la evaluación intermedia la Comisión ha intentado percibir -en la medida de lo posible- la sinergia entre las acciones financiadas con cargo a los distintos Fondos, especialmente en países con programaciones separadas como ocurre con los DOCUP alemanes del Objetivo 1.

Para ello, los evaluadores nombrados para las acciones del FEDER realizaron la síntesis de las evaluaciones realizadas con cargo a cada Fondo. La Comisión reconoce que la evaluación de la región que menciona el Tribunal es especialmente floja, pero en sí misma no es representativa del conjunto de evaluaciones realizadas en este país. Es cierto, por ejemplo, que la evaluación intermedia no analiza los cambios del plan financiero indicativo ocasionados por la solicitud de cambio del P.O. por el Land de Brandenburgo. En cuanto al porcentaje elevado de absorción de los créditos por dichas acciones, las sucesivas adaptaciones de las medidas se llevaron a cabo en los Comités de seguimiento del 12.6.1996 y del 5.8.1996.

Enfoques, métodos y técnicas 6.21 El Tribunal critica la formulación imprecisa de los objetivos de las evaluaciones intermedias en los contratos. La Comisión formuló efectivamente sus directrices pero, en determinados casos, éstas no se aplicaron en el ámbito descentralizado. La eficacia y la eficiencia se evalúan a partir de enfoques bottom up. En el caso de los grandes MCA, para los que se planteaba la cuestión de distinguir las consecuencias de la nueva programación en las repercusiones globales, se utilizaron técnicas derivadas de la modelización econométrica en Irlanda, España, Grecia, Portugal e Italia.

6.22. La Comisión movilizó las mejores consultorías a escala Europea y de los Estados Unidos parar descubrir los mejores enfoques posibles para evaluar programas. Las dificultades metodológicas objetivas y, con frecuencia, la insuficiencia de los sistemas de seguimiento, limitan la comparabilidad de los resultados a escala europea. 6.23. En general, las evaluaciones intermedias no pretenden medir la repercusión de los programas. Se trata de una opción deliberada ya que dichas repercusiones no se concretan en la primera fase de las intervenciones, cuya secuencia es en primer lugar la realización, luego los resultados y por último las repercusiones.

La cuestión de la estimación de la repercusión global de los grandes MCA se menciona en el punto 6.21. 7. REPERCUSIÓN DE LOS FONDOS ESTRUCTURALES Y MODELOS DE EVALUACION Repercusión en el ámbito de los MCA y de los programas 7.1 7.15. En esta parte del informe, el Tribunal presenta los resultados de los distintos modelos econométricos y macroeconómicos, sin explicar ni su alcance ni en qué consisten, lo que podrá crear cierta confusión. Estos datos figuran ya en el informe sobre la Cohesión Económica y Social de modo estructurado y en el contexto apropiado. Repercusión en el ámbito de los subprogramas, medidas y proyectos 7.16 7.19.

El Tribunal parece criticar que no haya evaluación de los subprogramas o medidas, pero es que la evaluación, generalmente bottom up, del programa tiene que basarse forzosamente en la evaluación de las medidas y subprogramas. Asimismo, los objetivos de las evaluaciones temáticas en curso lanzadas por la Comisión son, precisamente y de modo horizontal, ciertas categorías de medidas o de subprogramas, como en el caso de las medidas PME, I & D, medioambientales, etc. 8. CONCLUSIÓN 8.1 8.19. La Comisión considera que las conclusiones del Tribunal representan una crítica constructiva sobre cuestiones a propósito de las cuales la Comisión procura avanzar desde hace años y sobre las que sigue trabajando.

La Comisión admite que el Tribunal puede indicar los puntos débiles a la vez que reconoce los progresos realizados. La acción de la Comisión a cargo de los Fondos Estructurales, reforzada por el ejercicio SEM 2000, desemboca en el desarrollo de una cultura de la evaluación sin precedentes. Escasas son las regiones que no hayan efectuado evaluaciones y no estén comprometidas en este proceso. Tanto el principio de subsidiariedad como las dificultades y la heterogeneidad de los contextos, tanto geográficos como temáticos, son factores que también es conveniente tener en cuenta. (1) Programa plurianual de análisis y de propuestas sobre metodologías de evaluación.