Evaluación ex post a un programa municipal de reciclaje

Ex-post evaluation of a municipal waste recycling program
Claudia Andrea Fernández Chávez
Universidad Privada del Norte
claudiafernandez1090@gmail.com
Jorge Carlos Alejandro Fernández Chávez
Universidad Privada del Norte
jorfercha@hotmail.com
Julia Otilia Sagástegui Cruz
Universidad Privada del Norte
julia.sagastegui@upn.edu.pe

Los programas de reciclaje se crean para mejorar la calidad del ambiente y proteger la salud de las personas, fomentando a su vez una cultura de reciclaje y un mejor aprovechamiento de los residuos sólidos entre los ciudadanos. Sin embargo, estos programas contienen planes que usualmente no se logran cumplir a cabalidad.

Por ello, este artículo tuvo como objetivo realizar una evaluación ex post del «Programa de segregación en la fuente y recolección selectiva de residuos sólidos municipales en el distrito de Trujillo» para el periodo 2016-2017. Esta es la base para determinar oportunidades de mejora y asegurar que la experiencia sea replicable en las siguientes implementaciones de este programa pues, a la fecha, no existe un documento que evalúe sus resultados de manera integral.

El diseño de la investigación fue no experimental, de tipo descriptivo y cualitativo, utilizando como técnica el análisis documental. Se concluyó que de los cinco criterios evaluados, en el año 2017 solo se cumplió el criterio de eficacia, mas no los criterios de pertinencia, eficiencia, impacto y sostenibilidad en ambos años.

Palabras clave: evaluación ex post, evaluación de programa, programa de reciclaje, eficiencia, sostenibilidad

Waste recycling programs are created to improve the quality of the environment and protect people’s health, while promoting a culture of recycling and a better use of solid waste among citizens. However, these programs contain plans that are usually not fully achieved.

Therefore, this article aimed to conduct an ex-post evaluation of the «Segregation program at the source and selective collection of municipal solid waste in the district of Trujillo» for the 2016-2017 period. This was the basis to determine opportunities for improvement and also to ensure the experience replicability in the next implementations of this program since, so far, there is no document that evaluates its results in a comprehensive manner.

A descriptive and qualitative non-experimental research design was applied, using documentary analysis as a technique. It was concluded that, of the five criteria evaluated, the criterion of effectiveness was met only in 2017, but not the criteria of relevance, efficiency, impact and sustainability in both years.

Keywords: ex-post evaluation, program evaluation, recycling program, efficiency, sustainability

1. Introducción

Desde las últimas décadas, se vienen creando políticas dirigidas a mejorar la gestión de residuos sólidos urbanos con el propósito de tener ciudades más limpias y en armonía con el medio ambiente. Es así que, bajo la Ley Nº 27314, se propone implementar de forma progresiva los programas de segregación y recolección selectiva de residuos sólidos (en adelante, el Programa), delegando su implementación a las municipalidades distritales. Esto se llevó a cabo bajo un modelo de gestión compartida, incluyendo actores directos como domicilios, municipalidades, asociaciones de recicladores y empresas comercializadoras de residuos sólidos; y actores indirectos como el Ministerio del Ambiente (Minam) y el Ministerio de Economía y Finanzas (MEF), entre otros, a fin de generar un sentido de responsabilidad mutua. Esta iniciativa ha logrado involucrar a 249 municipios, distribuidos en las 25 regiones del Perú. En ese contexto, la Municipalidad Provincial de Trujillo, a través del Servicio de Gestión Ambiental de Trujillo (Segat), implementó un proyecto piloto en el año 2008 que continuó hasta el 2017.

     Cabe mencionar que ese año se realizó por primera vez el Estudio situacional de reciclaje, documento que presenta los resultados del Programa durante los periodos 2012-2016. Dicho estudio concluyó que la cantidad de residuos sólidos recolectados por el Programa, la razón por la cual se creó, no alcanzó el porcentaje establecido en su planificación; asimismo, el estudio recomendó que dicho porcentaje debería estar en concordancia con las metas establecidas en el Plan Nacional de Acción Ambiental (Planaa), proyectadas hasta el año 2021, fecha en la que se conmemora el Bicentenario del Perú. Si bien dicha evaluación se enfocó en la eficacia del Programa, Ballart (1992) considera que puede ser insuficiente y que un programa también debe ser juzgado en función de su coste, ya que puede ocurrir que esté produciendo escasos resultados a causa de los costes en que ha incurrido.

     Bajo esta premisa, este artículo tuvo como objetivo cubrir el vacío metodológico detectado en el Estudio situacional del reciclaje y evaluar los resultados del Programa con una metodología integral, encontrándose así la metodología de la evaluación ex post, cuya finalidad es determinar la pertinencia, eficiencia, eficacia, impacto y sostenibilidad. Esta ha tenido gran aceptación por parte de entidades de la cooperación internacional como la Organización para la Cooperación y el Desarrollo Económico (OCDE), pues evalúa desde un punto de vista amplio y de forma integral (JICA & MEF, 2012). Además, se espera que esta evaluación sea un instrumento de gestión referente para futuras implementaciones del Programa, ya que permitirá a los funcionarios de la entidad ser más responsables respecto al desempeño de las inversiones del Gobierno e identificar oportunidades de mejora en la gestión.

     La investigación se ha estructurado de la siguiente manera: para el marco conceptual se presentan los antecedentes relacionados a una evaluación ex post y al tipo de Programa evaluado; luego, se introducen los conceptos asociados y la base legal del Programa; y, para finalizar, se presenta la teoría de Ballart (1992), que pone las bases de una evaluación de programa, aunque es Martínez (2014) quien logra sintetizar su definición. Otros autores, como Bañon (2002), Feinstein et al. (2017) y Ligero (2011), hacen referencia al proceso que sigue la evaluación, definiendo los tipos y criterios de la misma, entre otros elementos. En la siguiente sección se presenta la metodología, le sigue la relativa a los resultados y la discusión, finalizando con las conclusiones y limitaciones del estudio.

2. Marco conceptual y contexto

2.1. Antecedentes

En este acápite se presentan estudios previos relacionados a una evaluación ex post, tanto en el contexto nacional como latinoamericano.

     Montero (2017) realizó en su investigación la Evaluación ex-post de resultados de los proyectos de inversión pública ejecutados por la Municipalidad Provincial de Zarumilla 2010-2015. Esta investigación enfoca la evaluación en cinco criterios: pertinencia, eficiencia, eficacia, impacto y sostenibilidad. Si bien los proyectos de inversión tienen un tiempo de ejecución determinado y podría suponerse que los cinco criterios de evaluación ex post solo se aplican a estos, las fuentes de información utilizadas por Montero para la aplicación de los indicadores que propone pueden también encontrarse en los informes del Programa municipal de reciclaje. Asimismo, en la literatura sobre la evaluación de programas también se considera válida la evaluación con dichos criterios. A continuación, se presentan algunos indicadores utilizados por Montero en la evaluación ex post como referencia e insumo para la presente investigación:
  • Para el criterio de pertinencia: Validez del objetivo central del proyecto dentro de las políticas y prioridades del sector
  • Para el criterio de eficiencia: Índice de costo = (gasto ejecutado) / (gasto estimado) – 1 Índice de componentes = (componentes ejecutados) / (componentes planificados) – 1
  • Para el criterio de impacto: Índice de cobertura = (personas atendidas) / (personas estimadas por atender) – 1
  • Para el criterio de sostenibilidad: Porcentaje de capacidad operacional actual del servicio o producto
La investigación concuerda, además, con el propósito del presente artículo, pues Montero (2017) detectó que no existía un estudio que evaluara los resultados y permitiera corroborar si los proyectos formulados y ejecutados respondían a una visión estratégica de desarrollo, o simplemente eran proyectos con debilidades en el análisis técnico y económico, lo que generaba su sobredimensionamiento e insostenibilidad y los convertía en poco rentables socialmente. Por ello, planteó recomendaciones para mejorar los resultados de la ejecución de proyectos.

     Díaz et al. (2018) realizaron en su investigación la Evaluación del Programa de Incentivos a la Mejora de la Gestión Municipal en la Municipalidad Distrital de Barranco: 2012-2017 a fin de determinar si se promovían los criterios de eficiencia y eficacia; o, en todo caso, si se pueden identificar oportunidades de mejora a partir de la evaluación. Si bien Díaz et al. no se enfocan en aplicar los cinco criterios de evaluación, realizan un análisis más profundo y específico al Programa de Incentivos (PI), el cual está ligado al cumplimiento de metas del Programa municipal de reciclaje y es una de las fuentes de información consideradas en la evaluación al criterio de pertinencia en esta investigación.

     Este trabajo concluyó que hubo incumplimiento de metas, el presupuesto que manejaron en la municipalidad fue deficiente, la cantidad de recursos con los que contaron fue insuficiente y los costos generados por las metas fueron mayores a los que esperó la municipalidad. Asimismo, existió una alta rotación de personal debido a que las remuneraciones no fueron del todo atractivas; la municipalidad no contó con todos los documentos o instrumentos de gestión; y, por último, existió una débil vinculación entre los objetivos del Plan de Desarrollo Local Concertado y del PI.

     Agama (2018), en su investigación Análisis del programa de segregación en la fuente de los residuos sólidos en el distrito del Rímac, Lima, año 2018, buscó analizar la eficacia del Programa. Si bien Agama no aplica los cinco criterios de evaluación, busca conocer la incidencia que tuvo la gestión en los resultados de este programa y los factores que intervinieron en su cumplimiento, por lo que se consideró en el presente artículo.

     Agama (2018) concluye que el Programa fue eficaz; sin embargo, determinó que existen factores que afectan su funcionamiento, por ejemplo, factores administrativos como el alto influjo político en las decisiones estratégicas asumidas por la Gerencia Municipal que inciden en el progreso del Programa, o la gestión de los recursos económicos asignados por el MEF a los programas y proyectos. También señala la influencia de factores sociales que producen la reasignación de recursos y el recorte del presupuesto, como el incremento de problemas sociales; y de factores económicos como la falta de personal especializado en la gestión de residuos sólidos, o la falta de asignación del incentivo económico del MEF al municipio por la mejora de la gestión municipal, una de las metas instauradas en el PI, entre las que se encuentra el Programa.

2.2. Programa de Segregación en la Fuente y Recolección Selectiva de Residuos Sólidos Municipales

Este sistema, implementado por las municipalidades a nivel nacional, busca el reaprovechamiento de los residuos sólidos desde la fuente de generación, donde la población es el principal actor de desarrollo a través de la separación de sus residuos, su almacenamiento y la posterior entrega al personal encargado de realizar la recolección con la finalidad de reducir la cantidad y peligrosidad de aquellos dispuestos inadecuadamente, impulsando una cadena formal de reciclaje y generando un incremento de la conciencia ambiental en la ciudadanía. A su vez, la cantidad de toneladas de residuos recuperados que van a la cadena de reciclaje genera un ahorro en el costo del servicio de transporte, transferencia y disposición final de los mismos en los rellenos sanitarios (Minam, 2015). Su implementación ha logrado involucrar a 249 municipios, distribuidos en las 25 regiones del Perú, lo que ha producido una reducción significativa de la contaminación ambiental, mejorando tanto la calidad de vida y educación ambiental de la población como la generación de nuevas oportunidades de empleo formal.

     Al ser una recolección selectiva, solo comprende los residuos sólidos inorgánicos, los cuales no pueden ser degradados o desdoblados naturalmente; o bien, si esto es posible, sufren una descomposición demasiado lenta. Y al ser de ámbito municipal, el Programa solo abarca las viviendas o establecimientos comerciales, industrias y otros cuyos residuos no presenten características de residuos sólidos peligrosos.

     Para este tipo de Programa, el Minam cuenta con una Guía metodológica para elaborar e implementar un Programa de segregación en la fuente y recolección selectiva de residuos sólidos municipales, el cual tiene por objetivo orientar de forma sencilla la planificación, diseño, implementación y sistematización de los avances y resultados mediante una serie de pautas metodológicas. Asimismo, el MEF, en su PI, también cuenta con un modelo para la elaboración y presentación del informe de implementación del programa de segregación en la fuente de residuos sólidos.

     En ese contexto, la Municipalidad Provincial de Trujillo, por medio del Segat, inició su implementación a través de un proyecto piloto en el año 2008, el cual se siguió implementando hasta el 2017. Ese año se realizó por primera vez el Estudio situacional de reciclaje, documento que presenta los resultados del Programa durante el periodo 2012- 2016, el cual concluyó que la cantidad de residuos sólidos recolectados por el Programa no alcanzó el porcentaje establecido en su planificación. De igual forma, este estudio recomendó que dicho porcentaje debería incrementarse año tras año, en concordancia con las metas establecidas en el Planaa, planificadas hasta el año 2021.

2.2.1. Base legal del Programa

La base legal que se presenta a continuación incluye información relacionada a la gestión y el manejo de residuos sólidos, la cual presenta una serie de objetivos y metas correspondientes a los periodos de estudio (años 2016 y 2017) del Programa.

Ley N° 27314, Ley General de Residuos Sólidos - Modificatoria por Decreto Legislativo N° 1065 Las municipalidades provinciales son responsables por la gestión de los residuos sólidos de origen domiciliario y comercial. A su vez, deben implementar de manera progresiva programas de segregación en la fuente y recolección selectiva de los residuos sólidos en todo el ámbito de su jurisdicción. Además, las autoridades deben establecer directa o indirectamente beneficios económicos para las personas o entidades que desarrollen acciones de minimización, segregación de materiales en la fuente para su reaprovechamiento, o de inversión en tecnología y utilización de prácticas, métodos o procesos que coadyuven a mejorar el manejo de los residuos sólidos en los diferentes sectores económicos y en las actividades vinculadas con su generación (Minam, 2004).

Decreto Supremo N° 014-2011-Minam - Plan Nacional de Acción Ambiental (Planaa) - Perú 2011-2021
Este es un instrumento de planificación ambiental nacional a largo plazo formulado a partir de un diagnóstico situacional ambiental y de la gestión de los recursos naturales, y presenta la visión del país en materia ambiental al 2021, estableciendo un conjunto de objetivos y metas prioritarias como parte de la propuesta del Plan Bicentenario. Las metas definidas como prioritarias responden a la magnitud de los problemas ambientales y de gestión de los recursos naturales identificados, los cuales reflejan los cambios esperados al 2021 en materia de: agua, residuos sólidos, aire, bosques y cambio climático, diversidad biológica, minería y energía, y gobernanza ambiental que, por su repercusión en la calidad de vida y el desarrollo del país, resultan de vital importancia (Minam, 2011). En lo relacionado al Programa, se estableció lo siguiente (ver tabla 1):

Ordenanza Municipal Nº 016-2008-MPT - Plan Integral de Gestión Ambiental de Residuos Sólidos (Pigars) para la Provincia de Trujillo 2010-2020

Este es un instrumento de gestión ambiental que fija objetivos y metas a largo plazo, así como el desarrollo de planes de acción de corto y mediano plazo, a fin de establecer un sistema sostenible de gestión de los residuos sólidos en la ciudad de Trujillo. En lo relacionado al Programa, se estableció lo siguiente (ver tabla 2):

Ley N° 29332 - Programa de Incentivos a la Mejora de la Gestión y Modernización Municipal (PI) Esta es una herramienta de incentivos presupuestarios vinculada al Presupuesto por Resultado (PpR) a cargo del MEF, lo cual implica una transferencia de recursos a las municipalidades por el cumplimiento de metas en un periodo determinado. Dichas metas son formuladas por diversas entidades públicas del Gobierno central y tienen como objetivo impulsar determinados resultados, cuyo logro requiere un trabajo articulado con las municipalidades.

     En lo relacionado al Programa, se establecieron los siguientes indicadores y metas (ver tabla 3). Cabe señalar que, hasta el 2016, el indicador propuesto para el cumplimiento de la meta del PI fue «el número de viviendas empadronadas». En el año 2017, este indicador cambió por «toneladas de residuos sólidos municipales recuperados» (ver tabla 4).

2.3. Evaluación de programa

Existe una variedad de interpretaciones en función de los investigadores, su propósito o según el momento de la evaluación; sin embargo, una evaluación de programa supone la recolección sistemática de información sobre el mismo con el fin de valorar sus metas, fundamentos, coherencia y planificación para su puesta en acción (Martínez, 2014).

     Estas valoraciones deben servir como un instrumento que permita la rendición de cuentas sobre la gestión y los resultados de un programa en los diferentes niveles de responsabilidad, tanto para quienes han aportado los recursos utilizados como para la ciudadanía, pues tienen derecho a saber en qué se están empleando los fondos públicos y, más aún, el grado de eficacia y eficiencia con que se están asignando y gestionando dichos fondos (Bañon, 2002). Por otro lado, sirven como instrumento para aprender de la experiencia, extrayendo lecciones que puedan aplicarse con el fin de mejorar el diseño y la implementación en intervenciones futuras (Feinstein et al., 2017). Esto constituye una estrategia de aprendizaje y mejora continua no solo del programa, sino de las personas en la misma institución en la que se desarrolla y de la sociedad a la que sirve.

     Es imprescindible que, al hablar de la evaluación de un programa, se pueda distinguir de otras prácticas de análisis que no se corresponden con esta, como el seguimiento y monitoreo, pues son conceptos con los que a menudo se confunde la evaluación. De hecho, ambos conceptos suelen ser citados conjuntamente sin establecer ninguna distinción entre los mismos, pues son complementarios, lo que no quiere decir que sean iguales. El seguimiento se hace de forma interna, permanente y continua, y no implica enjuiciamiento sistemático, algo que sí hace una evaluación. Además, así se realice un buen seguimiento de un programa, eso no significa que se haga evaluación del mismo; aunque, cuanto mejor sea el seguimiento, más facilitará una posible evaluación. En conclusión, el seguimiento de un programa es condición necesaria, aunque no suficiente, de su evaluación (Bañon, 2002).

     Otro punto importante de una evaluación de programa es que tiene un ámbito distinto en función de las cuestiones que intenta responder. Ballart (1992) distingue cuatro clases de evaluación:
  • Según el propósito específico: evaluación formativa o de proceso, y evaluación conclusiva o de resultados.
  • Según la naturaleza del estudio: evaluación descriptiva y evaluación analítica.
  • Según la relación de los evaluadores con la institución que encarga la evaluación: evaluación interna y externa.
  • Finalmente, la metaevaluación.
Lo mencionado anteriormente concuerda con Feinstein et al. (2017), quienes definen cuatro tipos de evaluación:
  • Según el propósito: evaluación formativa y evaluación sumativa.
  • Según el momento: evaluación ex ante y evaluación ex post.
Una vez clarificado el por qué y el para qué se quiere evaluar, es crucial definir los criterios de evaluación que determinan y guían el estudio, orientando la recopilación y el análisis de la información, y permitiendo la identificación y definición de las variables que se van a valorar (Bañon, 2002). Esto conlleva a considerar diferentes criterios, como la relevancia o pertinencia de lo que se evalúa, la eficacia y la eficiencia. A su vez, se incorporan criterios explícitos como la sostenibilidad de los resultados, el desarrollo institucional y la coherencia. Sin embargo, la sostenibilidad puede incluirse en la eficacia puesto que, si los resultados no son sostenibles, la eficacia sería solo de corto plazo. Finalmente, la coherencia puede incluirse en el criterio de la relevancia o pertinencia de la intervención (Feinstein et al., 2017)

     En el contexto del Sistema Nacional de Inversión Pública (SNIP)1, la evaluación ex post se define como una evaluación objetiva y sistemática sobre un proyecto concluido cuya finalidad es determinar la pertinencia, eficiencia, eficacia, impacto y sostenibilidad del mismo. Originalmente, estos cinco criterios fueron propuestos en 1991 por el Comité de Asistencia para el Desarrollo (DAC, por sus siglas en inglés) de la OCDE a fin de evaluar el valor que tiene un proyecto para el desarrollo, desde un punto de vista amplio e integral (JICA & MEF, 2012). Esta propuesta ha tenido gran aceptación y ha sido asumida por los principales actores de la cooperación internacional. Y es que el éxito de los modelos preordenados radica en utilizar un mismo formato para evaluar sin importar quién sea el evaluador, pues unifica el lenguaje y disipa incertidumbres al momento de iniciar el trabajo en tanto solo hay que disponer los criterios preestablecidos y los mecanismos propuestos (Ligero, 2011).

Los modelos de criterios tienden a centrarse en la dimensión de resultados. Así, entender la finalidad de los cinco criterios para una evaluación ex post permite identificar y recopilar todas las fuentes de información necesaria:
  • Pertinencia: se centra principalmente en la coherencia de los objetivos del programa con las necesidades del contexto regional, local y las políticas del país (JICA & MEF, 2012).
  • Eficacia: se entiende como el grado en que se alcanzan los objetivos propuestos. Un programa es eficaz si logra los objetivos para los que se diseña, mientras que una organización eficaz cumple la misión que le da razón de ser (Mokate, 2001).

    • Fórmula para medir la eficacia:
    resultados alcanzados/resultados esperados

  • Eficiencia: medida en que los recursos/insumos (fondos, tiempo, etc.) se han convertido económicamente en productos (outputs). Si se ha permitido alcanzar un resultado relevante, pero a un costo muy alto, la evaluación deberá poner en evidencia esta deficiencia. Puede haber otros medios más eficientes para alcanzar los mismos resultados, u otros fines a los cuales pueden —o podrían— asignarse los recursos (Feinstein et al., 2017). Asimismo, Ballart (1992) considera que conocer la eficacia de un programa es insuficiente, pues este también debe ser juzgado en función de su coste ya que, por otro lado, puede ocurrir que esté produciendo resultados escasos por los costes en los que ha incurrido.

    • Fórmula para medir la eficiencia:
    Resultados alcanzados/costo alcanzado * tiempo alcanzado
    --------------------------------------------------------
    Resultados esperados/costo esperado * tiempo esperado

  • Impacto: los efectos generados por el programa pueden ser positivos y negativos, previstos o imprevistos. Muchos programas tienen impacto cero debido a su ineficacia. La evaluación puede ayudar a fundamentar un cambio de orientación parcial o total (Ligero, 2011).
  • Sostenibilidad: en términos macro, algo es sostenible cuando cumple las necesidades del presente sin comprometer la capacidad de las futuras generaciones para satisfacer sus propias necesidades. Para Ligero (2011), la sostenibilidad busca valorar el mantenimiento de la propia intervención y de sus resultados a largo plazo.
El SNIP establece una lista de preguntas para cada criterio que sirve de insumo al momento de recopilar información sobre los resultados del Programa, de cara a su medición. A continuación, se presenta un extracto (ver tabla 5):

Las preguntas son también la definición del criterio; sin embargo, no tienen que atender al hecho de que sean medidas o no. En cambio, el indicador es el recurso que permite medir el concepto definido a través de aproximaciones. Este debe ser una variable medible y registrable que aporte una información que conteste a las preguntas (Ligero, 2011).

     Esta secuencia de pasos —establecer los criterios, preguntas e indicadores de evaluación— se conoce como operacionalización y finaliza en el diseño o búsqueda de las fuentes de extracción de información para cada uno de los indicadores. Estas fuentes de datos y las técnicas de investigación pueden considerar lo siguiente: entrevistas, cuestionarios, tests (de conocimientos, habilidades, actitudes, valores, preferencias), archivos, documentos producidos a raíz del programa, estadísticas oficiales, observaciones y evaluaciones de expertos, entre las que destacan las entrevistas personales y los cuestionarios, el análisis de archivos y ficheros administrativos, y la observación (Ballart, 1992).

     Por último, cabe señalar que el recurso a los datos del Programa por medio de archivos y documentos presenta ventajas con respecto a otras fuentes de información no solo porque existe un ahorro de tiempo y dinero, sino porque evita que se produzcan cambios de comportamiento en las personas observadas, de ser el caso.

3. Metodología

Este trabajo está basado en un tipo de investigación cualitativa cuyo enfoque permite identificar particularidades, buscando la causa de los fenómenos hallados en la realidad y centrándose en su análisis e interpretación. Además, es de tipo no experimental, transversal y descriptiva, describiendo la variable «evaluación ex post» sin manipularla.

     Igualmente, es una investigación de tipo documental basada en el análisis minucioso de la información escrita sobre un determinado tema, teniendo como objetivo examinar el cumplimiento, las fases y perspectivas del estudio. Es así que la investigación documental está directamente relacionada a la investigación cualitativa, puesto que permite el análisis de dos periodos de evaluación ex post a un programa municipal de reciclaje, que son las principales fuentes de información. La presente investigación se realizó con la siguiente metodología (ver figura 2):

Si entramos en mayor detalle, las diferentes partes del proceso de la metodología aplicada incluyen lo siguiente:
  • Definición del problema: en base al análisis de una realidad problemática, esta investigación da respuesta a un problema cuya base radica en la mejora de la ejecución del programa evaluado.
  • Diseño de la investigación: establece la estructura general del plan que estamos usando para dar respuesta al problema de investigación. Además:
    • La técnica empleada para la recolección de datos fue el análisis documental y el instrumento, la ficha documentaria validada por el juicio de expertos.
    • Los hallazgos en esta investigación son auditables, teniendo en cuenta que el segundo investigador obtuvo iguales resultados al realizar el mismo análisis. Además, distingue una validez interna que sirvió de guía en esta investigación para dar con resultados creíbles, para lo cual se realizó una triangulación de la información entre todos los informes documentales recibidos, contrastándolos.
    • La población estuvo conformada por siete informes de gestión sobre la ejecución e implementación del «Programa de segregación en la fuente y recolección selectiva de residuos sólidos municipales en el distrito de Trujillo» durante el periodo 2016-2017.
  • Recolección de datos: la documentación recibida del Programa se contrastó con el marco conceptual, con base en los criterios para evaluación ex post.
  • Análisis de datos: se elaboraron los indicadores para los cinco criterios de evaluación de programas, partiendo de la información obtenida previamente, y en coherencia con el marco conceptual y el contexto encontrado sobre dichos criterios.
  • Comparación entre lo planificado/logrado: comparación respecto a la meta establecida del Programa y/o con estándares existentes.
Además, los indicadores y su medición para cada criterio de evaluación son los siguientes:

Pertinencia

Eficacia

Eficiencia

Impacto

Sostenibilidad

4. Resultados y discusión

4.1. Evaluación del criterio de pertinencia

Según los resultados presentados en la tabla 6, la columna «Pertinencia global» muestra que el criterio no se cumplió al 100 %: para el año 2016 se obtuvo un 86 % y el 2017 un 40 %. Dichos porcentajes se obtuvieron promediando los resultados de dos indicadores: «% de pertinencia del objetivo del Programa» y «% de pertinencia de las metas del Programa». Para promediarlos, se utilizó la fórmula de la media armónica.

     El «% de pertinencia del objetivo del Programa» se cumple al 100 % para ambos años; sin embargo, el «% de pertinencia de las metas del Programa» se cumple solo al 75 % en el 2016 y al 25 % en el 2017. A continuación, se presentan las metas que no estuvieron alineadas a las políticas y prioridades del sector y no lograron un cumplimiento al 100 %:

Para el año 2016
  • La meta del Programa fue de 8,2 % de residuos sólidos recolectados; sin embargo, en el Planaa se planteó una meta del 50 % de los residuos sólidos reutilizables reciclados.
Para el año 2017
  • La meta del Programa fue 2,2 % de residuos sólidos recolectados; no obstante, en el Planaa se planteó una meta del 60 % de los residuos sólidos reutilizables reciclados.
  • La meta del Programa fue 5,8 % de familias del distrito de Trujillo inscritas en el Programa; sin embargo, en el Pigars se planteó la meta de que el 40 % de familias del distrito de Trujillo se incorporaran al Programa para el 2020.
  • La meta del Programa fue recolectar 325 toneladas de residuos sólidos; no obstante, en el Plan Estratégico Institucional se planteó como meta recolectar 540 toneladas de residuos sólidos.
Ahora, cabe resaltar que evaluar este criterio conlleva a centrarse principalmente en la coherencia de los objetivos del programa con las necesidades del contexto regional, local y las políticas del país (JICA & MEF, 2012). Al respecto, ver la tabla 6.

4.2. Evaluación al criterio de eficacia

Para el 2016, la «eficacia global» fue de 48 %. Este porcentaje se obtuvo promediando los resultados de dos indicadores, para lo cual se utilizó la fórmula de la media armónica.

     De los dos indicadores evaluados en este criterio, solo uno prioriza el Programa: «cantidad de viviendas empadronadas» (22 766) y no la «cantidad de residuos sólidos reaprovechables programados» (1210 toneladas). Así, al no priorizarse este último, no se cumple el 100 % de eficacia.

     El caso contrario se da el año 2017, en el que la «eficacia global» es de un 121 %; sin embargo, esto se debe a que el indicador priorizado ese año por el Programa cambia a «cantidad de residuos sólidos reaprovechables programados» y la meta planteada se reduce a 325 toneladas.

     Esta reducción en las metas de los dos indicadores del Programa para el año 2017 se debe al cambio introducido por el PI del MEF, que generó una caída en el crecimiento que alcanzaba año a año el Programa. Esto reviste especial importancia, pues el Programa en realidad debería incrementar dicho porcentaje anualmente, en concordancia con las metas establecidas en el Planaa y proyectadas hasta el año 2021 (Minam, 2011).

4.3. Evaluación al criterio de eficiencia

En los resultados consignados en la tabla 8 se observa que para el año 2016 se obtuvo un índice positivo de 0,64; no obstante, a pesar de que el presupuesto ejecutado fue menor al programado, ello no refleja eficiencia, pues no se logró cumplir una de las metas programadas: «residuos sólidos reaprovechables recolectados».

     En cambio, para el año 2017, a pesar de obtener también un índice positivo de 0,83 por el cumplimiento de sus metas, el Programa presentó un sobrecosto respecto a lo programado. Para estos casos, Feinstein et al. (2017) considera que si un proyecto ha permitido alcanzar un resultado relevante, pero a un costo muy alto, la evaluación deberá poner en evidencia su deficiencia, ya que puede haber otros medios más eficientes para alcanzar los mismos resultados. Por otro lado, si bien Ballart (1992) sostiene que un programa puede estar produciendo resultados escasos por los costes en los que ha incurrido, en esta investigación se evidencia lo contrario.

En los resultados consignados en la tabla 9 se observa que, en el año 2016, el costo por tonelada del «servicio de recolección general» fue de S/ 67, mientras que el costo del «servicio de recolección del Programa» fue de S/ 1206. Asimismo, en el año 2017, el costo por tonelada del «servicio de recolección general» fue de S/ 79, mientras que el costo por tonelada del «servicio de recolección del Programa» fue de S/ 233.

     Esto quiere decir que el «servicio de recolección del Programa» no generó un ahorro a la entidad, pues si bien uno de sus fines principales es la recuperación de los residuos sólidos reaprovechables y su inserción en la cadena de reciclaje, también se busca que el costo por su recolección genere un ahorro para el «servicio de recolección general» (Minam, 2015).

4.4. Evaluación al criterio de impacto

Los resultados consignados en la tabla 10 para el ítem «impacto global» muestran que el criterio no se cumplió al 100 %: para el año 2016 se obtuvo un 8 % y el 2017 un 6 %. Dichos porcentajes se obtuvieron promediando los resultados de dos indicadores: «% de cobertura de residuos sólidos inorgánicos reaprovechables recolectados» y «% de cobertura de viviendas participantes». Para promediarlos, se utilizó la fórmula de la media armónica.

     Se consideró la «cobertura» como indicador de este criterio, en referencia a la investigación de Montero (2017). Los resultados no alcanzaron el 100 %, ya que el Programa priorizó el cumplimiento de la meta establecida por el PI asignado cada año a fin de acceder dicho incentivo. Sin embargo, la gestión del Programa no se enfocó en cumplir las metas establecidas por el Planaa (ver tabla 1) y el Pigars (ver tabla 2). Esto concuerda con lo señalado por Ligero (2011), pues menciona que muchos programas tienen impacto cero debido a su ineficacia, lo cual se evidencia en la evaluación.

4.5. Evaluación al criterio de sostenibilidad

Para evaluar el último criterio, se consideró el presupuesto alcanzado por el Programa, así como el monto de transferencia del PI por meta alcanzada. Se observa que el presupuesto alcanzado por el Programa en 2016 fue equivalente al 64 %; asimismo, para el año 2017, el equivalente fue de 23 %. Sin embargo, las decisiones políticas de la entidad conllevaron a que dicho monto fuese priorizado y reasignado a otras actividades ajenas al Programa, lo que generó un recorte en la programación de su presupuesto para el año 2017. Para Ligero (2011), la sostenibilidad busca valorar el mantenimiento de la propia intervención y de sus resultados a largo plazo; no obstante, cabe reiterar que el Programa no se implementó en 2018.

5. Conclusiones, limitaciones y futuras investigaciones

La investigación planteó como objetivo principal la realización de una evaluación ex post al Programa, la cual se enfoca en cinco criterios de evaluación: pertinencia, eficacia, eficiencia, impacto y sostenibilidad (JICA & MEF, 2012). Los resultados evidencian que, de los cinco criterios evaluados durante el periodo 2016 y 2017, el Programa solo cumplió el criterio de eficacia el año 2017, mas no los cuatro criterios restantes de pertinencia, eficiencia, impacto y sostenibilidad; mientras que el año 2016 no logró cumplir al 100 % ninguno de los cinco criterios.

     Esto se debe a que el Programa planifica sus metas y objetivos en concordancia con las metas y objetivos del PI que establece el MEF pues, de cumplirse la meta, este transfiere un monto económico al Programa. Este monto, a su vez, permite que el Programa pueda sostenerse e implementarse en el siguiente año. Sin embargo, según la base legal del Programa, este no solo debe responder a metas establecidas por el PI, sino también a las metas establecidas por el Planaa, el Pigars de Trujillo y el Plan Estratégico Institucional, los cuales tienen proyecciones de mediano y largo plazo.

     El cumplimiento del criterio de pertinencia es el más crítico en la evaluación del Programa, pues es la base para el desarrollo del mismo. Así, la evaluación demuestra que la falta de integración de todas las metas establecidas por las políticas y prioridades del sector en el Programa no ha permitido que en más de 10 años este tenga un crecimiento gradual en la recolección de los residuos sólidos reciclables.

     De igual manera, los resultados de esta investigación presentan los diferentes niveles de responsabilidad, la rendición de cuentas sobre la gestión y los resultados del Programa a diferentes actores interesados, en especial la ciudadanía. Esta, como menciona Bañon (2002), tiene derecho a saber en qué se están empleando los fondos públicos y, más aún, el grado de eficacia y eficiencia que se está asignando y con que se están gestionando dichos fondos.

     Pese a todo lo presentado, esta investigación posee algunas limitaciones. En primer lugar, no se encontraron investigaciones previas sobre evaluaciones ex post a programas municipales de reciclaje. Por ello, se recurrió a buscar investigaciones sobre evaluaciones ex post de proyectos, donde la literatura puede adaptarse al tipo de Programa evaluado. En segundo lugar, si bien los indicadores presentados se encuentran alineados a las definiciones y preguntas que cada criterio de evaluación intenta responder, estos podrían tener un mayor análisis de los resultados, según la información sistematizada que la entidad tenga sobre el Programa y la facilidad en el acceso a la información que estén dispuestos a brindar.

     Finalmente, esta investigación es un aporte para las futuras evaluaciones a los programas municipales de reciclaje, como parte de sus instrumentos de gestión pública. Queda claro entonces que realizar el seguimiento y monitoreo de sus resultados no es suficiente, también se debe realizar una evaluación integral que permita la retroalimentación del Programa a fin de realizar mejoras en las intervenciones por venir.

Bibliografía

Agama, N.
(2018)-Análisis del programa de segregación en la fuente de los residuos sólidos en el distrito del Rímac, Lima, año 2018 [tesis de maestría, Universidad César Vallejo]. https://hdl.handle.net/20.500.12692/21289

Ballart, X.
( 1992)-¿Cómo evaluar programas y servicios públicos? Aproximación sistemática y estudios de caso. Madrid: Ministerio Administraciones Públicas.

Bañon, R.
( 2003)-La evaluación de la acción y de las políticas públicas. http://orga.blog.unq.edu.ar/wpcontent/ uploads/sites/28/2014/03/Bustelo_ metodologia_evaluacion.pdf

Diario Oficial El Peruano
(2015)-Anexo Nº 2: Metas del Programa de Incentivos que deben cumplir las municipalidades al 31 de julio de 2016. En Aprueban los procedimientos para el cumplimiento de metas y la asignación de los recursos del Programa de Incentivos a la Mejora de la Gestión Municipal del año 2016 (p. 25). https://cdn.www.gob.pe/uploads/ document/file/255152/229257_ file20181218-16260-dk94s6.pdf

Diario Oficial El Peruano
(2016)-Anexo Nº 3: Metas del Programa de Incentivos que deben de cumplir las municipalidades al 31 de diciembre de 2017. En Aprueban los procedimientos para el cumplimiento de metas y la asignación de los recursos del Programa de Incentivos a la Mejora de la Gestión Municipal del año 2017 y aprueba otras medidas (p. 37). https:// www.mef.gob.pe/es/normatividad-sp-9867/ por-instrumento/decretos-supremos/15242- decreto-supremo-n-394-2016-ef-1/file

Díaz, S., Romero, R., & Salas, R.
(2018)-Evaluación del Programa de Incentivos a la Mejora de la Gestión Municipal en la Municipalidad Distrital de Barranco: 2012- 2017 [tesis de maestría, Universidad del Pacífico].

Feinstein, O., Ligero Lasa, J. A., Rein, M., Schon, D., Majone, G., Weiss, C. H., Carden, F., Alkin, M. C., Ballart, X., Vedung, E., Mayne, J., & Picciotto, R.
( 2017)-La evaluación de políticas. Fundamentos conceptuales y analíticos. Buenos Aires: CAF. http://scioteca.caf.com/ handle/123456789/1008

Ligero, J. A.
(2011)-Dos métodos de evaluación: criterios y teoría del programa. Madrid: CEU, Ediciones del Centro de Estudios de la Cooperación al Desarrollo, Fundación Universitaria San Pablo. http://hdl.handle. net/10637/4157

Mejía, C.
(s.f. )-Indicadores de efectividad y eficacia. Documentos Planning. http://www. planning.com.co/bd/valor_agregado/ Octubre1998.pdf

Martínez Mediano, C.
( 2014)-Evaluación de Programas. Conceptos [video]. Madrid: Universidad Nacional de Educación a Distancia. https://canal.uned. es/video/5a6f7090b1111fdb638b4570

Ministerio de Economía y Finanzas (MEF)
(2012)-Pautas Generales para la Evaluación Ex Post de Proyectos de Inversión Pública. Lima: JICA. https://www.mef.gob.pe/ contenidos/inv_publica/docs/Evaluacion_ExPost/InstrumentosMetodologicos/PAUTAS_ GENERALES_EVAL_EX_POST.pdf

Ministerio de Economía y Finanzas (MEF)
( 2016)-Guía para el cumplimiento de la meta 2. https:// www.mef.gob.pe/contenidos/presu_publ/migl/ municipalidades_pmm_pi/guia_cumplimiento_ meta02.pdf

Ministerio de Economía y Finanzas (MEF)
(2017)-Guía para el cumplimiento de la meta 17 (Versión 2). https://www.mef.gob.pe/contenidos/ presu_publ/migl/municipalidades_pmm_pi/ guia_cumplimiento_meta17.pdf

Ministerio de Economía y Finanzas (MEF)
(2017 )-Reporte de transferencia por cumplimiento de metas [base de datos]. Programa de Incentivos a la Mejora de la Gestión Municipal. http://apps5.mineco.gob.pe/planincentivo/ Navegador/Default.aspx

Ministerio del Ambiente (Minam)
( 2004)-Ley Nº 27314, Ley General de Residuos Sólidos, Modificada por D. S. Nº 1065. https:// sinia.minam.gob.pe/normas/ley-generalresiduos- solidos

Ministerio del Ambiente (Minam)
( 2011)-Plan Nacional de Acción Ambiental - PLANAA PERÚ: 2011-2021. http://www.minam.gob. pe/wp-content/uploads/2013/08/plana_2011_ al_2021.pdf

Ministerio del Ambiente (Minam)
(2015)-Guía metodológica para elaborar e implementar un Programa de Segregación en la Fuente y Recolección Selectiva de Residuos Sólidos Municipales. https://redrrss.minam.gob.pe/ material/20150302175316.pdf

Mokate, K.
( 2001)-Eficacia, eficiencia, equidad y sostenibilidad: ¿Qué queremos decir? Instituto Interamericano para el Desarrollo Social. https://publications.iadb.org/publications/ spanish/document/Eficacia-eficiencia-equidady- sostenibilidad-%C2%BFQu%C3%A9- queremos-decir.pdf

Montero, Y.
( 2017)-Evaluación ex-post de resultados de los proyectos de inversión pública ejecutados por la Municipalidad Provincial de Zarumilla 2010- 2015 [tesis de titulación, Universidad Nacional de Tumbes].

Municipalidad Provincial de Trujillo
( 2009)-Plan Integral de Gestión Ambiental de Residuos Sólidos - PIGARS para la Provincia de Trujillo 2010-2020. Ordenanza N° 016-2008- MPT. Recuperado de http://sial.segat.gob.pe/ documentos/plan-integral-gestion-ambientalresiduos- solidos-pigars-provincia

Servicio de Gestión Ambiental de Trujillo
(2016)-Implementar un programa de segregación en la fuente y recolección selectiva de residuos sólidos domiciliarios en un 33.4 % de viviendas urbanas del distrito de Trujillo. http://sial.segat.gob.pe/sites/default/ files/archivos/public/docs/programa_de_ segregacion2016.pdf

Servicio de Gestión Ambiental de Trujillo
( 2016)-Cuadro de necesidades de bienes y servicios. Año presupuestal 2016.

Servicio de Gestión Ambiental de Trujillo
( 2016)-Informe ejecutivo de evaluación del presupuesto institucional (del año fiscal 2016) al segundo semestre.

Servicio de Gestión Ambiental de Trujillo
(2017)-Plan Estratégico Institucional - 2016-2018.

Servicio de Gestión Ambiental de Trujillo
( 2017)-Informe de Implementación del Programa de Segregación en la Fuente y Recolección Selectiva de Residuos Sólidos Municipales en el distrito de Trujillo. http://sial. segat.gob.pe/documentos/programasegregacion- fuente-recoleccion-selectivaresiduos- solidos-3

Servicio de Gestión Ambiental de Trujillo
(2017)-Cuadro de necesidades de bienes y servicios. Año presupuestal 2017.

Servicio de Gestión Ambiental de Trujillo
(2017)-Informe ejecutivo de evaluación del presupuesto institucional (del año fiscal 2017) al segundo semestre.

Servicio de Gestión Ambiental de Trujillo
(2017)-Estudio situacional del reciclaje.

Yin, R.
(2018)-Case Study Research and Applications: Design and Methods. Thousand Oaks, California: SAGE.