Guía que establece la Equivalencia entre la Teoría de Cambio y el Árbol de Problemas y Objetivos: La Teoría de Cambio para el Diseño y Evaluación de Instrumentos Financieros de CTI (Tercer documento del Modelo de Evaluación de Impacto de Instrumentos Financieros en CTI) Documento de Trabajo Guía que establece la Equivalencia entre la Teoría de Cambio y el Árbol de Problemas y Objetivos: La Teoría de Cambio para el diseño y evaluación de Instrumentos Financieros de CTI Tercer documento del Modelo de Evaluación de Impacto de Instrumentos Financieros en CTI Consejo Nacional de Ciencia, Tecnología e Innovación Tecnológica – CONCYTEC Dirección de Investigación y Estudios – DIE Jhon Moises Collantes Rios, especialista. Contenido 1. Introducción 5 2. Estado del Arte 6 2.1. Estado del arte del árbol de problemas y objetivos 6 2.2. Estado del arte de la Teoría de cambio: 7 2.3. Estado del arte de la metodología para la equivalencia entre teoría de cambio y el árbol de problemas y objetivos 9 3. Importancia de desarrollar la equivalencia 12 4. Marco teórico 14 4.1. Instrumento Financiero de movilización nacional e internacional en CTI 16 4.2. Instrumento Financiero de “Equipamiento para Investigación Científica” 17 4.3. Instrumento Financiero de Incentivos para la producción de CTI 17 4.4. Instrumento Financiero de “Organización de eventos de CTI” 18 4.5. Instrumento Financiero “Tesis para optar el título profesional, el grado de Maestro o el grado de Doctor” 19 4.6. Instrumento Financiero para becas de postgrado 19 4.6.1. Aplicación de la Teoría de Cambio 21 4.7. Instrumento Financiero Investigación Científica 24 4.7.1. Aplicación de la Teoría de Cambio 25 4.8. Instrumento Financiero para Innovación y Transferencia Tecnológica 28 4.8.1. Aplicación de la Teoría de Cambio 29 5. Metodología 31 5.1. Hipótesis 32 6. Resultados 34 7. Conclusiones y Recomendaciones 35 Bibliografía 36 Anexo 1: Análisis de vinculación con la política pública 37 Anexo 2: Guía metodológica resumida 38 Índice de Figuras Figura 1: Análisis descriptivo-comparativo ....................................................... 12 Figura 2: Equivalencia entre Metodologías 1 ................................................... 14 Figura 3: Equivalencia entre Metodologías 2 ................................................... 15 Figura 4: Árbol de Problemas y Objetivos ........................................................ 20 Figura 5: Cadena de Resultados ...................................................................... 21 Figura 6: Resultados esperados dirigidos a postulantes .................................. 22 Figura 7: Resultados esperados dirigidos a instituciones ................................. 24 Figura 8: Árbol de Problemas y Objetivos ........................................................ 25 Figura 9: Cadena de resultados ....................................................................... 25 Figura 10: Resultados esperados - Postulantes ............................................... 26 Figura 11: Resultados esperados – Instituciones ............................................. 27 Figura 12: Árbol de Problemas y Objetivos ...................................................... 28 Figura 13: Cadena de resultados ..................................................................... 30 Figura 14: Resultados esperados ..................................................................... 30 Figura 15: Estructura del árbol de problemas y objetivos ................................. 32 Figura 16: Estructura de la Cadena de Resultados .......................................... 32 Figura 17: Ficha Técnica .................................................................................. 41 1. Introducción En la actualidad, el Perú destina tan solo el 0.13% del PBI en investigación y desarrollo e innovación, muy por debajo de lo que destinan otros países de la región, ubicándolo en el puesto 761 en el ranking mundial de innovación. Por otro lado, si bien el presupuesto asignado al Consejo Nacional de Ciencia, Tecnología e Innovación Tecnológica (CONCYTEC) ha tenido importantes aumentos en el tiempo (para el año 2018 el presupuesto institucional modificado (PIM) ascendió a 175.1 millones de soles, mientras que para el 2019 este llegó a 186.6 millones de soles2), este aún es limitado por lo que resulta necesario que los recursos sean destinados a programas con el mayor impacto en la población objetivo. En línea con lo anterior, el CONCYTEC, a través de la Dirección de Investigación y Estudios (DIE), viene impulsando la inclusión de una teoría de cambio análoga al marco lógico (pero mucho más desarrollada) que permita la formulación, diseño e implementación de un Modelo de Evaluación de Impacto que evidencie los efectos causales de los diferentes instrumentos financieros en Ciencia, Tecnología e Innovación (CTI) otorgados por el Fondo Nacional de Desarrollo Científico, Tecnológico y de Innovación Tecnológica (FONDECYT). En ese sentido, la DIE ha elaborado 3 documentos que son parte del modelo y que servirán como guía para la formulación, diseño e implementación de dicho modelo: (i) Estructura del modelo para realizar Evaluaciones de Impacto de Instrumentos Financieros de CTI, (ii) Guía de Indicadores de Línea de Base y (iii) Equivalencia entre la teoría de cambio y el Árbol de Problemas y Objetivos. El presente documento realiza el análisis y desarrollo de la equivalencia entre la teoría de cambio y el árbol de problemas y objetivos como parte del diseño de las evaluaciones de impacto de instrumentos financieros en CTI (IF-CTI). El documento se estructura de la siguiente manera: en primer lugar se presentará el estado del arte de la metodología para la equivalencia entre la teoría de cambio y el árbol de problemas y objetivos como parte del diseño de las evaluaciones de impacto de IF-CTI. En la siguiente sección se discutirá la importancia de desarrollar dicha equivalencia. Luego, se desarrollará el marco teórico que guiará el desarrollo de la mencionada equivalencia. Después, se desarrollará la metodología donde se responderán a las interrogantes, así como las hipótesis para desarrollar la equivalencia. De forma seguida, se presentarán los resultados e interpretación obtenidos de realizar la equivalencia y las conclusiones y recomendaciones derivadas de estas. Finalmente, a manera de anexo se elaborará un análisis de la vinculación de los resultados obtenidos con la contribución que tendría en los instrumentos de políticas públicas existentes en CTI a fin de validarlos y de sugerir algunos cambios pertinentes. Asimismo, en un segundo anexo se elaborará la guía metodológica para comprender el desarrollo de la equivalencia entre la teoría 1 Índice Global de Innovación 2020 2 Consulta amigable, MEF de cambio y el árbol de problemas y objetivos como parte del diseño de las evaluaciones de impacto de IF-CTI. 2. Estado del Arte Hoy en día, uno de los principales objetivos de las políticas públicas es establecer cuáles son los impactos causales que tiene su aplicación sobre la población objetivo que buscan atender. Esto debido a los recursos monetarios limitados con los que se cuenta desde el Estado, así como la priorización de aquellas políticas que resulten ser mejores en términos de costo-beneficio y/o costo- efectividad. En la literatura internacional se presentan dos herramientas muy útiles para el diseño de evaluaciones de impacto de políticas públicas, y en particular para instrumentos financieros en Ciencia, Tecnología e Innovación (IF-CTI): el árbol de problemas y objetivos y la teoría de cambio. En las siguientes subsecciones se desarrollará el estado del arte de cada una de estas herramientas, así como la equivalencia que existe entre ambos métodos. 2.1. Estado del arte del árbol de problemas y objetivos Para poder solucionar un problema primero se debe partir de la identificación de este de una manera adecuada; en este sentido, lo primero que se debe hacer es identificar el problema central mediante una forma en la que se pueda expresar de manera clara, concisa y resumida lo que se desea resolver. Muchas veces lo más común es encontrar como problemas a que todos aquellos que son representados por la frase “falta de ….” pero que en si no son uno como tal, por lo que es recomendable hacerse la pregunta “¿por qué hace falta tales cosas?” para así poder relacionarlas, ordenarlas y priorizarlas mediante su análisis en detalle que nos sirva para identificar el problema principal, sus causas y cuáles son sus efectos de tal manera que se pueda representar mediante una lógica causal (Ortegón et al, 2005). Es así como Silva (1994) propone como alternativa para la solución de problemas el uso del árbol de problemas debido a su sencillez, flexibilidad, eficiencia y efectividad. Este árbol de problemas es un esquema de la realidad negativa actual, la cual busca ser cambiada mediante una acción o un proyecto; esta herramienta permite además analizar los aspectos negativos de una determinada situación existente, seleccionar el problema principal e identificar la relación de causas y efectos mediante la identificación del marco lógico y de su visualización en forma de diagrama (Comisión Europea, 2004) Para esto, mediante una lluvia de ideas se debe identificar el problema central, el cual debe ser una situación real de carencia o déficit que afecte a una determinada población objetivo bien definida, y debe de presentarse como una negativa. Luego, se debe identificar los efectos o consecuencias de ese problema central. Si los efectos identificados son importantes, este problema central requerirá de una solución para lo cual es necesario identificar las causas ya sea las que estén directamente relacionadas, que irán inmediatamente debajo del problema central, como las demás que irán debajo de estas mediante interrelación (Ortegón et al, 2005) Una vez que se han identificado los elementos, la forma de expresar este diagrama es colocando el problema principal al medio como si fuera el tronco, las causas en la parte inferior como las raíces y los efectos en la parte superior como las hojas, siendo la lógica de esto que cada problema es la consecuencia de los que aparecen debajo de él y a su vez, causante de los que están encima, mostrando así la relación entre causas y efectos (Martínez & Fernández, 2014) Por último, a partir de la experiencia, investigaciones o intervenciones previas y según el análisis de la relación de causas-efectos encontradas, se pueden elaborar las hipótesis de la intervención que se planea realizar centrándose en las causas para así poder iniciar la elaboración del diseño del proyecto que buscara resolver los efectos negativos que se producen (Román, 1999; Martínez & Fernández, 2014). La metodología del Árbol de Problemas y Objetivos viene siendo usada por la Dirección de Políticas y Programas de CTI (DPP) para el diseño de los distintos IF-CTI debido a la facilidad que representa su diseño. Estos diferentes instrumentos son remitidos a las unidades3 de FONDECYT. Sin embargo, esta metodología tiene una serie de limitaciones que impiden tener en cuenta otros aspectos claves a la hora de diseñar un instrumento financiero como lo es la identificación de la lógica causal y posterior identificación de los efectos e impactos del programa en la población objetivo. Debido a ello, en la siguiente subsección se plantea el estado del arte de otra metodología muy popular que puede ser utilizada para el diseño de evaluaciones de impacto de los IF-CTI. Una vez planteado dicho estado del arte, se mostrará la equivalencia entre ambas metodologías, centrándose en las ventajas y desventajas que cada una presenta. 2.2. Estado del arte de la Teoría de cambio: Como señalan Gertler et al. (2016) y Roggers (2014), la teoría de cambio describe el mecanismo causal de cómo una intervención (un programa, una política, una estrategia, un proyecto o una organización) logrará el objetivo esperado mediante el análisis de las condiciones y supuestos necesarios. Dicho análisis implica comparar a dos grupos (de investigadores, de instituciones, de empresas, etc.), de los cuales uno de ellos recibirá el instrumento financiero (grupo de tratamiento), mientras que el otro no (grupo de control) a través de diversas metodologías que permitan eliminar cualquier tipo de sesgo en la medición. En general, la teoría de cambio parte del análisis de la línea base del contexto y los problemas, para una vez que son trazados, 3 Las unidades del FONDECYT relevantes son: Unidad de Desarrollo, que se encarga de desarrollar las bases y las plataformas de postulación, la Unidad de Selección y Evaluación, que se encarga de desarrollar todo el proceso de evaluación y selección de los beneficiarios, y la Unidad de Seguimiento y Monitoreo, que se encarga de mantener el contacto con los beneficiarios durante la ejecución del instrumento. determinar la secuencia lógica de los cambios que son necesarios entre las partes interesadas y las condiciones contextuales para lograrlo en un determinado plazo (Vogel, 2012). Todo este proceso ayuda a realizar una planificación, implementación y medición de impactos más rigurosos, además de facilitar la toma de decisiones y en las discusiones entre las partes interesadas del proyecto, pero su eficacia es mayor cuando se utiliza desde el diseño de la investigación. El Banco Mundial recomienda usar la cadena de resultados como una de las distintas formas de plasmar la teoría de cambio debido a que permite describir, de una forma clara y sencilla, los mecanismos a través de los cuales una secuencia de insumos, actividades y productos, relacionados directa e indirectamente con el instrumento a evaluar, interactúan, así como establecer las vías por las que se obtendrán los impactos esperados. Los principales elementos de la cadena de resultados son: a. Insumos: los recursos de que dispone el proyecto, que incluyen el personal y el presupuesto. b. Actividades: las acciones emprendidas y el trabajo realizado para transformar los insumos en productos. c. Productos: Los bienes tangibles y servicios que producen las actividades del programa y que recibe la población objetivo con el fin de generar un cambio. d. Resultados: los resultados que se espera alcanzar una vez que la población se beneficie de los productos del proyecto e. Impactos: (también llamados resultados finales) son los objetivos finales del proyecto, los cuales pueden estar influidos por múltiples factores y se alcanzan normalmente después de un largo período. Los componentes de la cadena de resultados antes descritos pueden ser agrupados en tres partes principales: a. Implementación: está compuesta por todas las partes que son 100% atribuibles al programa y a la institución que se encargar de implementarlo. Permiten medir el desempeño del programa. b. Resultados: se compone por los resultados e impactos que no dependen al 100% del programa sino también de cómo reaccionen los beneficiarios del programa al estar expuestos a este. Permiten medir la efectividad del programa c. Suposiciones y riesgos: hacen referencia a los riesgos o posibles sesgos que pueden afectar la realización de los resultados esperados y a cualquier estrategia para enfrentar dichos riesgos. Se espera que al utilizar una metodología de evaluación de impacto rigurosa se minimicen dichos riesgos a través de algunos supuestos. En general, la teoría de cambio, a través de los diferentes puntos de vista y suposiciones sobre el proceso de cambio explícito que se determina, tiene como beneficio el comprobar que los cambios propuestos son apropiados mediante la implementación del dialogo entre las múltiples partes interesadas; además, se puede emplear tanto en la planificación estratégica, programática, como de políticas con el propósito de determinar cuál es la situación actual según las necesidades y oportunidades, qué situación se pretende alcanzar y lo que se debe hacer para efectuar la transición entre una y otra para así trazar metas más realistas, establecer las responsabilidades y una visión común sobre las estrategias que deben aplicarse para lograr las metas trazadas (Vogel, 2012; Roggers, 2014). En base a lo anterior, el primer paso para establecer una teoría de cambio consiste en identificar algún problema o necesidad clave y relevante que requiera cierto tipo de intervención (en este caso, la intervención sería el instrumento financiero en CTI tanto para becas, investigación científica e innovación tecnológica (Roggers, 2014). Una vez que se han identificado dichos problemas o necesidades se debe analizar cuáles son las causas directas e indirectas de estos ya que, en una lógica causal, si atacamos las causas de un problema, este debería desaparecer o reducirse. Es en esta etapa que resulta necesario tener una visión de la realidad previa a la intervención que se quiere realizar mediante el instrumento, lo cual se obtiene a través de una encuesta de línea de base u algún otro medio de recojo de información a través de fuentes secundarias (bases de datos previamente identificadas). Luego, el hecho de atacar las causas del problema implica plantear una o varias soluciones que pueden ir en paralelo (independientes entre sí) o en conjunto (buscando sinergias entre ellas). Una vez que se han establecido las posibles soluciones es que se debe formular una teoría de cambio que acompañe el desarrollo, implementación, monitoreo y evaluación de la política (en este caso, un instrumento financiero). Es importante señalar que en el 2020 se ha optado por esta herramienta para el diseño de la evaluación de impacto de IF-CTI (Proyecto de Aceleración de la Innovación) que ofrece el CONCYTEC/FONDECYT. Sin embargo, para el diseño como tal de dicho instrumento se utilizó la herramienta del árbol de problemas y objetivos. Aun así, es posible encontrar algunos elementos de dicha herramienta que puedan ser útiles para complementar y mejorar los alcances que tiene la teoría de cambio, por lo que resulta pertinente establecer la equivalencia entre ambas herramientas para encontrar espacios de mejora para la teoría de cambio. Por ello, en la siguiente subsección se desarrollará el estado del arte de la metodología que se usará para establecer dicha equivalencia. 2.3. Estado del arte de la metodología para la equivalencia entre teoría de cambio y el árbol de problemas y objetivos Desde hace varios años, el FONDECYT ha venido implementando diversos IF- CTI con el objetivo de corregir las diversas brechas existentes en el Perú respecto a otros países. Después de la revisión de las bases y convocatorias de diversos IF-CTI (becas, investigación científica e innovación y transferencias tecnológicas), se evidenció que la metodología utilizada en estos casos para sustentar, diseñar e implementar cada instrumento era el árbol de problemas y objetivos junto con el marco lógico. Sin embargo, también se evidenció que esta no necesariamente establecía un mecanismo claro que permita conocer los efectos causales de la intervención; mientras que mediante el uso de la teoría de cambio, a través de la cadena causal de resultados, si permite entender los mecanismos por los cuales el IF-CTI responde a uno o varios problemas previamente delimitados que buscan generar cambios en la población beneficiaria y que, al hacer uso de esta metodología, permite conocer dónde se encuentran los efectos esperados y en dónde no, lo cual permitirá tomar acciones correctivas para asegurar el cumplimiento de los objetivos propuestos. Tal como se menciona previamente, debido a que la metodología del árbol de problemas y objetivos no permite establecer ex-ante los indicadores de línea de base (al momento de la convocatoria), de seguimiento (durante la implementación de la intervención), de resultados (al finalizar la intervención) y de impacto (luego de un tiempo razonable desde el término de esta), se propone que en convocatorias futuras se sigan las recomendaciones recogidas en las guías metodológicas4 para la evaluación de impacto y se elaboren en base a la teoría de cambio debido a que esta metodología si nos permite establecer estos indicadores en diversos momentos, establecer en qué momento se recogerán los datos, determinar cuál será el área encargada de realizar dicha tarea o las fuentes de donde se obtendrá la información. Sin embargo, si bien se recomienda el uso de la teoría de cambio por sobre el árbol de problemas y objetivos, es pertinente realizar un análisis descriptivo- comparativo entre ambas herramientas de modo tal que se puedan identificar las ventajas y desventajas de cada uno de estos métodos, así como espacios de mejora en uno de ellos a partir de las ventajas que pueda tener el otro método. El análisis descriptivo-comparativo proviene de la investigación científica aplicada y se ha extendido hacia las ciencias sociales, siendo actualmente uno de los métodos científicos más utilizados por los investigadores ya que se basa en estudiar dos o más individuos, grupos, posturas, metodologías, etc., con el objetivo de identificar las diferencias entre estos para encontrar las razones detrás de estas diferencias. Como señala Pacheco (2019), este es un método versátil ya que puede ser utilizado como complemento de otros métodos y es muy efectivo para el estudio de muestras pequeñas como es el caso de la comparación entre el árbol de problemas y objetivos y la teoría de cambio. Debido a que no se dispone de datos estadísticos de cada una de estas herramientas se analizarán aspectos cualitativos de las mismas. Según Nohlen (2003), el objetivo de utilizar este método se basa en la generalización empírica y la verificación de hipótesis ya que entre las ventajas que ofrece se encuentra el comprender cosas desconocidas a partir de las ya conocidas, la posibilidad de explicarlas e interpretarlas, moldear los nuevos conocimientos y sistematizar la información haciendo diferencia con casos similares. 4 Este documento en sí constituye la guía metodológica que establece la equivalencia entre la teoría de cambio y el árbol de problemas. Las otras guían se refieren a la estructura del modelo de evaluación de impacto de IF-CTI y a la guía de indicadores de línea de base que es parte del modelo antes mencionado. La secuencia para desarrollar el análisis comparativo parte en establecer una estructura teórica que sirva de apoyo o referencia para elaborar la hipótesis en base a estudios, trabajos o experiencias previas sobre el tema que se va a trabajar; esta estructura debe definir las características y propiedades de las metodologías a comparar y que a la vez debe permitir identificar las semejanzas y diferencias; luego se debe definir los criterios asumidos para la selección del objetivo de estudio y el justificar el porqué de la selección, y por último se procede a realizar el análisis de las metodologías en función a las variables sobre las que se quiere medir el impacto, estableciendo así ventajas, desventajas, limitaciones, etc. (Gómez &De León, 2014). En la Figura 1, se presenta el resultado del análisis descriptivo-comparativo. Se puede apreciar que la teoría de cambio presenta muchas más ventajas y menos desventajas que el árbol de problemas y objetivos. Más aún, si bien cuantitativamente la teoría de cambio es superior (por el número de ventajas y desventajas), cualitativamente también podemos tener la misma conclusión por las implicancias que se desprenden. Por mencionar algunas de ellas. La teoría de cambio permite establecer una lógica causal entre los productos y los resultados e impactos, además que es el método más utilizado y recomendado para realizar evaluaciones de impacto. Figura 1: Análisis descriptivo-comparativo Ventajas Desventajas Identificación del problema central de Dificultad en la identificación de la manera clara, concisa y resumida. lógica causal y posterior identificación de los efectos e impactos del Las causas y los efectos están Árbol de problemas programa en la población objetivo directamente relacionados y objetivos No distingue fácilmente entre Método más sencillo y flexible. resultados e impactos. Se complementa muy bien con la No contempla un esquema de metodología del marco lógico. seguimiento y evaluación períodico Es un método ampliamente usado y Tiende a ser muy lineal, es decir, que recomendado en evaluaciones de los insumos conllevan a los resultados impacto. y de esta forma hacia los impactos. Sin embargo, si hay múltiples dimensiones Permite hacer la comparación entre de análisis puede que dicha relación dos poblaciones o grupos no se cumpla. Determina la secuencia lógica de los Hay mayor riesgo de fracaso si algunos cambios que son necesarios entre las elementos no son tomados en cuenta Teoría de Cambio partes interesadas y las condiciones en el diseño (causas no contempladas, contextuales para lograr objetivos en por ejemplo). un determinado plazo Establece las vías por las que se obtendrán los resultados e impactos esperados. Permite atribuir las diferencias encontradas entre los grupos a la aplicación de la política pública. Fuente: Elaboración propia 3. Importancia de desarrollar la equivalencia Para saber que metodología es la más apropiada para el diseño de las evaluaciones de impacto de IF-CTI mediante el uso de una guía metodológica, es necesario poder evaluar tanto al árbol de problemas como a la teoría de cambio bajo ciertos parámetros que nos permitan realizar una correcta comparación. Respecto a las ventajas que ofrece cada metodología, el árbol de problemas identifica problemas reales, permite un mayor entendimiento de la problemática, te permite desglosar el problema, las causas y sus efectos, así como el hallar una relación causal entre estos, y facilita el análisis de riesgos y de objetivos. Por otro lado, la teoría de cambio sigue la lógica causal ya que permite ver qué debió de haber sucedido para que ocurra tal situación, identifica más fácilmente si las acciones que se realizan son suficientes para generar un cambio en el problema, identifica las actividades esenciales para lograr cada uno de los cambios previstos y permite la medición de los resultados en distintas etapas. Si bien cada una de las metodologías tiene sus propias ventajas y permiten, en cierto modo, alcanzar el objetivo de diseñar e implementar los IF-CTI que ofrece el FONDECYT, resulta conveniente establecer y desarrollar la equivalencia entre ambas metodologías por diversos motivos (ver Figura 1). En primer lugar, durante varios años el árbol de problemas y objetivos ha sido la principal herramienta usada por las distintas áreas encargadas de diseñar e implementar los IF-CTI del CONCYTEC y FONDECYT, respectivamente. Esto implica que existe un vasto aprendizaje adquirido y un know-how (conocimiento práctico) valioso que debería tenerse en cuenta en caso se plantee un cambio de directiva sobre cómo se diseñan los IF. Debido a esto, al modificar dicha herramienta y más aún, reemplazarla por la teoría de cambio, debería incluir un análisis profundo de la equivalencia entre ambas técnicas en el que se resalte claramente que una (teoría de cambio) es muy superior a la otra (árbol de problemas y objetivos). En segundo lugar, el plantear la equivalencia entre las dos metodologías permitirá despejar las dudas que se tengan a la hora de adaptar las bases y convocatorias IF-CTI que actualmente existen, así como el correcto desarrollo de los nuevos IF-CTI que el CONCYTEC tenga planeado crear. Finalmente, conocer la equivalencia es, en sí misma, una herramienta interesante ya que permite vislumbrar los espacios de mejora que tiene cada una de estas herramientas e identificar los puntos positivos de una herramienta e incluirlas en la otra, de modo que la metodología que finalmente se escoja tenga las ventajas de ambas herramientas. En este caso particular, la equivalencia permitirá identificar aquellos espacios de mejora de la teoría de cambio que puedan ser complementados por elementos del árbol de problemas y objetivos. 4. Marco teórico Para el diseño de una Evaluación de Impacto de IF-CTI, se realizó una revisión bibliográfica extensa de cada tipo de IF con el objetivo de formular una teoría de cambio específica a cada uno. Primero, se basó en el desarrollo del árbol de problemas y objetivos para entender el contexto en el que se desarrollaba la problemática a tratar, la cual nos permitió establecer las causas más importantes y, sobretodo, las causas directas que afectan a este problema general. El plantear posibles soluciones que buscan corregir estas causas nos permitiría desarrollar la cadena de resultados, propia de la teoría de cambio, explorando cada elemento que lo conforma para así tener un análisis más detallado, específico y completo. A partir de estas posibles soluciones, tal como se muestra en la Figura 2, se puede complementar el árbol de problemas con la cadena de resultados mediante la identificación de los insumos que son parte del IF (es decir, de los recursos que dispone el proyecto), de las actividades que se deben realizar para transformar los insumos en productos, los productos que se van a lograr, los resultados a esperar y los impactos que se pueden obtener. Esta clasificación, además de poder realizarse como lo mencionado previamente, puede hacerse según los resultados a obtener ya sea a corto, mediano y largo plazo. Es importante tener en cuenta que estos deben ser medibles y que se debe establecer una forma de verificación, además de prever que puede haber factores externos que afecten la evaluación (las suposiciones y riesgos). Figura 2: Equivalencia entre Metodologías 1 Fuente: Adaptación de Crespi (2016) Por otro lado, en la Figura 3 se muestra que las soluciones que plantea el árbol de problemas y objetivos están relacionadas a los productos de la teoría de cambio. Más aún, la solución/producto resulta ser el IF-CTI en sí. Asimismo, las causas que se identifican del árbol de problemas y objetivos serán aquellas variables sobre las que esperamos encontrar resultados (generalmente de mejora) desde la óptica de la teoría de cambio. En el mismo sentido, el problema central que se ha identificado en el árbol de problemas está relacionado a los impactos de la teoría de cambio ya que es el fin mayor que se tiene al momento de realizar la teoría de cambio. Finalmente, los insumos y procesos no son capturados por el árbol de problemas y objetivos, por lo que esta herramienta resulta ser inferior en cuanto a alcance a la teoría de cambio. Figura 3: Equivalencia entre Metodologías 2 Fuente: Adaptado de Crespi (BID-2016) Una vez establecido los indicadores por cada IF-CTI, se recomienda el uso de fichas técnicas para realizar una correcta medición de los resultados obtenidos. Estas fichas sirven para unificar la información y entre sus elementos debe tener un nombre técnico especifico, una breve descripción en la definición para evitar que ocurran errores de medición en cualquier momento de la evaluación, indicar mediante marcadores que tipo de indicador se puede medir con ese instrumento (como línea de base, seguimiento, resultados o impacto), debe permitir señalar en qué parte de la cadena de resultados actuará (si a nivel de necesidades o problemas, insumos o actividades, productos, resultados o resultados finales), definir la forma de cálculo, la fuente en donde se encontrará este indicador (ya sea mediante bases de datos ya existentes o de elaboración propia), debe tener información de la entidad responsable de la información, la periodicidad de recojo de la información la cual puede variar según cada indicador, y por ultimo las desagregaciones. Si bien la mayoría de los indicadores pueden ser obtenidos de fuentes secundarias de fácil acceso (CTI-Vitae/RENACYT, RENATI, Scopus, Registro de Patentes), algunos de ellos no se encuentran disponibles en ninguna base de datos por lo que requerirán ser recolectadas a través de una encuesta al momento de la convocatoria, pero esto implicará destinar recursos adicionales para el diseño del cuestionario y el recojo de la información. A continuación, se mencionarán algunos ejemplos de informes realizados por el CONCYTEC que tienen como objetivo diseñar e implementar diversos IF-CTI. Como se puede notar, todos estos IF utilizan el árbol de problemas y objetivos para identificar el problema central, las causas y las soluciones a implementar. Sin embargo, en ninguna de estas se identifican los insumos, los procesos, los productos, los resultados ni los impactos, y menos aún se establecen indicadores medibles para cada uno de estos procesos ni las fuentes de las cuales se pueden obtener. Para el caso particular de los IF-CTI relacionados a becas de posgrado, investigación científica e innovación y transferencia tecnológica, se presentará un ejemplo del mismo análisis pero utilizando la teoría de cambio de modo tal que se pueda ver la equivalencia con ejemplos prácticos. 4.1. Instrumento Financiero de movilización nacional e internacional en CTI En este Instrumento Financiero, mediante el uso de la metodología del árbol de problemas y objetivos, se encontró como problema central al débil intercambio de experiencias y conocimiento científico, tecnológico e innovador y su difusión entre investigadores nacionales e internacionales. Como causas a la baja capacidad del recurso humano para el desarrollo de actividades de I+D+i, la baja difusión de resultados de investigación científica, tecnológicas o de innovación tecnológica, al insuficiente entrenamiento en manejo de equipos y transferencia de conocimientos o tecnologías, y a la insuficiente articulación entre centros de I+D+i nacionales e internacionales; mientras que se determinaron como consecuencias a la insuficiente masa crítica de investigadores y recursos humanos calificados, débil visibilidad de investigadores peruanos en eventos nacionales e internacionales, bajo número de publicaciones en revistas indexadas, capacidades limitadas en el manejo de uso de equipos sofisticados y baja conexión e insuficientes trabajos colaborativos entre centros de I+D+i nacionales e internacionales Mediante esta metodología se pudo determinar como objetivo general el promover el intercambio de experiencias y conocimiento científico, tecnológico e innovador y su difusión por medio de la movilización nacional o internacional de investigadores e innovadores en CTI, y como objetivos específicos el fomentar capacidades de recursos humanos para el desarrollo de actividades de I+D+i a través de subvenciones de pasantías, promover la difusión de los resultados de las investigaciones científicas y de innovación tecnológica en conferencias, congresos y simposios a nivel nacional e internacional, promover la actualización continua en materia de ciencia, tecnología e innovación tecnológica de investigadores, profesionales y estudiantes de pregrado y posgrado y a facilitar la interacción entre investigadores e innovadores permitiendo el intercambio de información científica y tecnológica, de conocimientos y experiencias durante y después de la ejecución de las pasantías. En este caso el Instrumento Financiero tuvo como población objetivo a las personas naturales peruanas que tengan interés en incrementar el fortalecimiento, difusión de capacidades, entrenamiento y vinculación de actividades de I+D+i mediante pasantías o ponencias en eventos, ambas tanto a nivel nacional como internacional. 4.2. Instrumento Financiero de “Equipamiento para Investigación Científica” En el caso de este Instrumento Financiero, se pudo identificar, mediante el árbol de problemas y objetivos, como problema central la ausencia de centros y laboratorios de investigación que cuentan con equipamiento científico o aquellos que cuentan con equipamiento obsoleto, lo cual no permite la realización de proyectos de investigación de alto nivel. Esto era causado por el insuficiente financiamiento para la adquisición de equipamiento científico de tecnología de punta, por los insuficientes investigadores y técnicos adecuadamente capacitados para el manejo de equipamiento científico de tecnología de punta, por la débil articulación y coordinación entre centros nacionales de investigación científica y tecnológica, a la débil articulación con centros internacionales de investigación científica y tecnológica, y a la alta concentración de las subvenciones de equipamiento para centros de investigación de Lima. Las consecuencias de estos problemas identificados era tener centros de investigación nacionales con equipamiento científico obsoleto o con falta de ellos, la falta de investigadores y técnicos con capacidad de operar equipos científicos con tecnología de punta, el equipamiento de punta adquiridos por centros nacionales de investigación que no son compartidos con grupos de investigación nacionales que los necesitan, que el equipamiento de punta que no sean usados adecuadamente por falta de una guía y la baja producción de nuevos conocimientos en las regiones del interior del país. Debido a esto, se planteó como objetivo general la adquisición de equipamiento científico multiusuario en universidades o institutos de investigación fortaleciendo la generación de conocimiento científico y tecnológico a través de la investigación colaborativa, y como objetivos específicos el incrementar la calidad de las investigaciones realizadas en el país, el promover la creación de redes interinstitucionales nacionales e internacionales de investigación científica y tecnológica que produzcan proyectos de investigación colaborativos, el capacitar y/o entrenar recursos humanos en el manejo de equipamiento científico de tecnología de punta y fortalecer la investigación básica y aplicada en los sectores productivos estratégicos regionales que respondan al desarrollo del país. 4.3. Instrumento Financiero de Incentivos para la producción de CTI Para este Instrumento Financiero, a través de la metodología del árbol de problemas y soluciones se pudo establecer los insuficientes incentivos y reconocimientos para la producción de CTI como problema principal, el cual fue causado por los deficientes incentivos para atracción y retención de talento, a las reducidas fuentes alternativas de financiamiento para producción científica en CTI y a la deficiente cultura que promueve la CTI, trayendo como consecuencia una reducida masa crítica de investigadores e innovadores en el Sistema Nacional de Ciencia, Tecnología e Innovación Tecnológica, un reducido número de producción en CTI y la resistencia a la innovación, emprendimiento tecnológico y vocación científica en el país. Esta metodología también permitió identificar como objetivo general el estimular, reconocer e incentivar el liderazgo, la trayectoria comprobada en actividades de CTI, la excepcional contribución y/o la excelencia de la producción de CTI desarrollada de manera grupal o individual en disciplinas específicas, y como objetivos específicos el incrementar la visibilidad de recursos humanos especializados en CTI, las entidades y la aplicación del conocimiento generado en áreas de interés del país, el fomentar la difusión de las actividades de CTI producidas en el país mediante el reconocimiento a los resultados de investigadores peruanos, innovadores y/o gestores tecnológicos, tales como publicaciones de artículos científicos, patentes, transferencia de tecnología, entre otros, y el mejorar el posicionamiento de los indicadores de CTI de Perú en los rankings internacionales especializados. Asimismo, este Instrumento Financiero fue dirigido a investigadores, innovadores y/o gestores tecnológicos, con grado de bachiller y/o título profesional y/o grado de maestro y/o de doctor, afiliados a una entidad peruana y/o extranjera que realicen actividades de CTI en el Perú como: innovación tecnológica, producción científica, gestión tecnológica, patentes, transferencia de tecnología y/o publiquen artículos científicos a nivel nacional o internacional en disciplinas específicas. 4.4. Instrumento Financiero de “Organización de eventos de CTI” Mediante el análisis del árbol de problemas y objetivos se estableció que, debido a la poca difusión del conocimiento generado en CTI a la comunidad científica, empresas y tomadores de decisión, a los pocos eventos para difundir el conocimiento generado en CTI con impacto nacional e internacional, al limitado financiamiento para la organización de eventos de CTI para la difusión y transferencia del conocimiento y de las tecnologías generadas, el problema central era la baja difusión y transferencia de conocimiento científico y tecnológico entre los actores del SINACYT para atender los desafíos nacionales priorizados: competitividad y diversificación industrial, salud y bienestar social, ambiente sostenible y seguridad alimentaria. Debido a esto, se encuentran bajos niveles de liderazgo de investigadores peruanos en trabajos de colaboración internacional, baja generación de conocimiento de frontera y desarrollo de tecnología de punta y una débil vinculación entre investigadores, empresas y tomador de decisión. Con el fin de aumentar la transferencia de conocimiento, se propuso como objetivo general Incrementar la difusión y transferencia de conocimiento científico y tecnológico entre los actores del SINACYT para atender los desafíos nacionales priorizados: competitividad y diversificación industrial, salud y bienestar social, ambiente sostenible y seguridad alimentaria; y como objetivos específicos el incrementar la difusión del conocimiento generado en CTI a la comunidad científica, empresas y tomadores de decisión, aumentar el número de eventos para difundir el conocimiento generado en CTI con impacto nacional e internacional, e incrementar el financiamiento para la organización de eventos de CTI para la difusión y transferencia del conocimiento y de las tecnologías generadas. Si bien este Instrumento Financiero estableció como público objetivo a las personas jurídicas públicas o privadas legalmente constituidas en el país que realicen actividades de CTI, también estableció restricciones e impedimentos para su postulación. 4.5. Instrumento Financiero “Tesis para optar el título profesional, el grado de Maestro o el grado de Doctor” En este informe, mediante el uso de la metodología del árbol de problemas y objetivos, se encontró como problema central los insuficientes recursos para la realización del trabajo de investigación tesis, el cual era causado por la deficiente asignación de los recursos humanos para investigación y por los pocos incentivos para realizar la actividad de investigación, trayendo como consecuencia un alto número de egresados sin título, un bajo número de graduados de postgrado y un bajo número de profesionales dedicados a la investigación en ciencia y tecnología. Este Instrumento Financiero tuvo como objetivo general el promover el fortalecimiento del capital humano a través de la promoción de la investigación científica y tecnológica a nivel de y postgrado, y como objetivos específicos el incrementar el número de profesionales con título profesional, grado de maestro y grado de doctor a nivel nacional, el fomentar la ejecución de proyectos de investigación por los miembros del SINACYT, el contribuir a la formación de capacidades de investigación entre los estudiantes de pre y postgrado, el promover la difusión de los resultados de las tesis de pregrado y postgrado realizadas en el país, e incrementar el número de científicos activos en el país. Asimismo, se pudo determinar que dicho Instrumento Financiero estaba dirigido personas naturales que requieran financiamiento, parcial o completo, para realizar las actividades de investigación concernientes a su tesis de título profesional, maestría o doctorado, y que sean estudiantes matriculados en programas de pregrado o postgrado de universidades peruanas, o egresados de los programas de pregrado o postgrado, siempre y cuando hayan culminado sus estudios a partir del 01 de enero del segundo año anterior a la postulación. 4.6. Instrumento Financiero para becas de postgrado En el caso de este Instrumento Financiero, se diseñó utilizando la metodología del árbol de problemas y objetivos (ver Figura 4). Para esto, primero se identificó como problema central en el campo de la CTI en nuestro país, al limitado número de investigadores de alto nivel dedicados a CTI el cual se produce principalmente al insuficiente financiamiento que actualmente existe para cubrir los costos de matrícula y manutención en maestrías y doctorados tanto en el Perú como en el extranjero ya que no muchas personas son capaces de costearlos por sí mismos, o no cuentan con el tiempo suficiente para dedicarse de lleno sin tener que trabajar para cubrir estos costos; además al insuficiente número de escuelas de posgrado de alta calidad en el país que ofrecen programas de maestría y/o doctorado en áreas priorizadas de CTI lo cual dificulta que se generen más investigadores y a que muchas veces el alcance que tienen las convocatorias para postular a este tipo de programas es limitado, es cerrado o dirigido; debido a esto, se planteó enfocar en el otorgamiento de becas de postgrado para programas de maestría o doctorado tanto en universidades peruanas como extranjeras que tengan como objetivo el aumentar el capital humano en CTI. Figura 4: Árbol de Problemas y Objetivos Fuente: Elaboración propia Frente a la problemáticas mencionada previamente, se plantearon tres posibles soluciones entre las que figuran el brindar financiamiento por medio de becas a investigadores admitidos a programas de maestría y doctorado orientados a CTI ya sea en universidades peruanas o extranjeras de alto nivel que busca como fin generar personas que dediquen el 100% de su tiempo a la investigación, el impulsar el trabajo en conjunto con las principales escuelas de posgrado del país para la creación y/o acreditación de nuevos programas de maestría y doctorado orientados a sectores claves de CTI previamente identificados donde la brecha de capital humano es un factor determinante, que permita además generar alianzas estratégicas donde genere profesionales con mayor nivel académico que sean capaces de formar nuevos investigadores en el futuro, y el hacer uso de mayor cantidad y diversas plataformas de difusión para aumentar el alcance de las convocatorias para programas de maestría y doctorado en CTI tanto en el Perú como en el extranjero el cual brinde mayor acceso a los investigadores. 4.6.1. Aplicación de la Teoría de Cambio A través de la cadena de resultados mostrada en la Figura 5, se puede entender cómo los Instrumento financiero otorgados por FONDECYT permitirán aumentar el número de investigadores con maestría y doctorado que trabajan en CTI, aumentar el número de tesis sustentadas y publicadas, y aumentar el número de programas de posgrado en CTI de alta calidad en universidades peruanas. Se espera que dichos instrumentos tengan efectos positivos sobre la cantidad y calidad de publicaciones y citaciones realizadas por los beneficiarios de los programas en un horizonte temporal de hasta 5 años después del otorgamiento de la beca. Asimismo, se espera que haya un efecto positivo sobre el número de investigadores que regresan al Perú luego de culminar sus estudios de maestría/doctorado. Figura 5: Cadena de Resultados Fuente: Elaboración propia Otra forma de plantear la cadena de resultados es clasificarlos en resultados/efectos de corto, mediano y largo plazo. Mediante esta diferenciación se puede establecer un horizonte de intervención mediante el cual se delimita el tiempo en que cada resultado podrá ser observado por la evaluación, esto debido a que algunos indicadores pueden tomar más tiempo en madurar y observar en ellos un efecto significativo. Sin embargo, después de una evaluación de línea base, se sugirió replantear el público objetivo de este Instrumento Financiero para que la evaluación se realice hacia 2 actores: Instrumento Financiero dirigidos a postulantes e Instrumento Financiero dirigidos a instituciones. En ambos casos, cada resultado esperado va de la mano con un indicador de línea de base el cual será obtenido mediante diversas fuentes de información como CTI-Vitae, Scopus y encuestas, las cuales permiten al beneficiario brindar la información actualizada para así el CONCYTEC poder realizar el seguimiento cada periodo de tiempo que establezca conveniente. Para el caso del Instrumento Financiero dirigido a postulantes, el cual será explicado en la Figura 6, los resultados en general son dirigidos a que los investigadores realicen programas de maestría o doctorado en universidades peruanas o extranjeras, esperando así que a corto plazo los investigadores empiecen a tomar protagonismo en sus áreas de estudio a través del aumento en el número de investigadores con postgrado (ya sea maestría o doctorado) que trabajan en CTI ya sea en docencia o investigación, en el número de tesis asesoradas tanto en pregrado como en postgrado, y respecto al número de trabajos presentados en congresos, simposios o conferencias tanto a nivel nacional como internacional. A mediano plazo se espera que los investigadores busquen capacitarse en el extranjero pero que regresen al Perú a reproducir lo aprendido ya sea a través de pasantías en investigación o que después de que concluyan el programa de postgrado retornen a su lugar de origen, además que en este tiempo su productividad científica haya incrementado mediante un aumento en su número de publicaciones; y a largo plazo se espera que las publicaciones que realicen tengan impacto en el medio por la calidad científica, obteniendo así un mayor número de citas, de publicaciones en autoría y mayor capacidad de atraer financiamiento tanto nacional como extranjero para más investigaciones. Figura 6: Resultados esperados dirigidos a postulantes Fuente: Elaboración propia En el caso de Instrumento Financiero dirigidos a instituciones, los resultados serán a base a la creación de programas de postgrado en CTI de alta calidad en universidades peruanas, los cuales también serán divididos en corto, mediano y largo plazo los cuales estarán explicados en la Figura 7. A corto plazo, se espera en general que aquellas instituciones que reciban el financiamiento, creen o implementen programas de CTI en universidades peruanas y que esto genere la creación de un mayor número de tesis sustentadas y publicadas, a mediano plazo se espera que estos programas sean licenciados (tanto los nuevos como los ya existentes que solicitan el financiamiento) y que puedan ofrecer ciertos beneficios a sus alumnos como mejores alianzas o vinculaciones con otras entidades, mayor número de sus profesionales que luego se inserten en actividades de docencia o investigación en los futuros programas a ofrecer o que se desarrollen un mayor número de publicaciones. Por último, a largo plazo se espera que los programas de postgrado en CTI que aún no estaban licenciados, obtengan el financiamiento y que aseguren que su nivel de enseñanza sea de calidad, generando así un mayor número de publicaciones que tengan alta atracción para tener mayor oportunidad de acceder a financiamientos tanto nacionales como extranjeros. Figura 7: Resultados esperados dirigidos a instituciones Fuente: Elaboración propia 4.7. Instrumento Financiero Investigación Científica Mediante la metodología del árbol de problemas y objetivos (Ver Figura 8), se pudo identificar para este Instrumento Financiero como problema principal la baja generación de nuevos conocimientos científicos y/o tecnologías necesarias para el país el cual está directamente relacionado a la falta de capital humano de alto nivel que se dedica a la investigación científica (el cual a la vez podría considerarse un problema) y al insuficiente financiamiento que existe para el desarrollo de proyectos de investigación en CTI. Otras causas no menos importantes son la poca colaboración entre investigadores y centros de investigación (tanto nacionales como extranjeros), la escasez de equipos necesarios para la investigación ya que es un factor limitante para el despegue de proyectos intensivos en el equipamiento científico especializado, y la alta concentración de investigadores dedicados a CTI en la ciudad de Lima, provocando que en las regiones se haga poca investigación científica. Para esto, se planteó como posibles soluciones el brindar apoyo económico a proyectos de investigación en CTI con alto potencial, a impulsar el trabajo en conjunto con las principales escuelas de posgrado del país para financiar la adquisición de equipamiento científico con tecnología de vanguardia y a la generación de incentivos que motiven la colaboración entre investigadores y centros de investigación, principalmente entre Lima y las regiones. Figura 8: Árbol de Problemas y Objetivos Fuente: Elaboración propia 4.7.1. Aplicación de la Teoría de Cambio La cadena de resultados identifica que los Instrumento Financiero que entran en esta categoría son: a) Financiamiento de Proyectos de Investigación Básica y Aplicada. b) Equipamiento para Investigación Científica. c) Círculos de Investigación en CTI. Se espera que con la correcta implementación de estos productos aumente el número de proyectos de investigación en CTI que se realizan en el Perú, así como el número de colaboraciones entre investigadores de diferentes regiones del país y del extranjero y que se obtenga mejor infraestructura y mobiliario necesario para la investigación. Además, en un horizonte de tiempo más largo, alrededor de 5 años desde la implementación de los programas, se espera encontrar efectos positivos sobre la cantidad y calidad de publicaciones y citaciones realizadas por los beneficiarios de los programas, y sobre la cantidad de colaboraciones hechas por los investigadores que recibieron el programa. Figura 9: Cadena de resultados Fuente: Elaboración propia Para este Instrumento Financiero también se replantea el público objetivo para que la evaluación se realice para 2 actores: Instrumento Financiero dirigidos a postulantes e Instrumento Financiero dirigidos a instituciones, los cuales serán divididos según resultados esperados a corto, mediano y largo plazo. Ambos resultados esperados irán de la mano con un indicador de línea base que podrá ser obtenido mediante diversas fuentes de información como CTI-Vitae, SCOPUS, encuestas, INDECOPI y RENATI, los cuales tienen como fin que el beneficiario brinde constantemente información actualizada para así el CONCYTEC poder realizar el seguimiento correspondiente según el tiempo que establezca conveniente. El primer actor (Instrumento Financiero dirigido a postulantes) que será explicado en la Figura 10, tiene como objetivo financiar proyectos de investigación científica a nivel de investigadores. Para este, a corto plazo se espera que los investigadores realicen un mayor número de proyectos de investigación básica y aplicada, fomentando la colaboración entre investigadores y la asesora de investigadores con experiencia hacia nuevos investigadores, a mediano plazo se espera que con el financiamiento obtenido se pueda hacer una mayor difusión de los resultados de las investigaciones realizadas ya sea a través de su publicación o en congresos, conferencias, simposios, etc.; asimismo, se espera que los investigadores aspiren a realizar pasantías de investigación que les permitan fortalecer sus conocimientos en las áreas de investigación. Por último, a largo plazo se espera que las redes de investigadores se fortalezcan para que así sea más fácil publicar en coautoría, atraer financiamiento externo, solicitar patentes y a realizar una publicación en una revista indexada. Figura 10: Resultados esperados - Postulantes Fuente: Elaboración propia Para el segundo actor (Instrumento Financiero dirigido a instituciones) el cual será explicado en la Figura 11. Se espera también que aumente el número de proyectos de investigación científica pero que además sean más las instituciones que postulen como universidades, laboratorios, centros de investigación o grupos de investigadores que tengan proyectos en común. En este caso, se espera que en corto plazo haya mejoras en la infraestructura y mobiliarios de las instituciones que reciben el financiamiento, y que esto a su vez permita mayor colaboración entre investigadores de diferentes instituciones para así generar mayor cantidad de proyectos de investigación básica, aplicada y tesis de pregrado y postgrado; A mediano plazo se espera que los esfuerzos estén orientados al fortalecimiento de las diversas líneas de investigación mediante la adquisición de mejores equipos específicos y que los resultados que se obtienen sean divulgados en la comunidad científica. Por último, se espera que a largo plazo estas investigaciones al ser de mejor calidad puedan ser publicadas en revistas indexadas y que así se abran las puertas a tener mayores facilidades para obtener nuevos y más grandes financiamientos ya sean nacionales o extranjeros. Figura 11: Resultados esperados – Instituciones Fuente: Elaboración propia 4.8. Instrumento Financiero para Innovación y Transferencia Tecnológica En el caso de este Instrumento Financiero, el diseño de la guía fue realizando mediante la metodología del árbol de problemas y objetivos (Ver Figura 12). Para esto, primero se identificó como problema central el bajo nivel de inversión en proyectos de Investigación, Desarrollo e Innovación (I+D+i) por parte de investigadores, centros de investigación y empresas peruanas, siendo las principales causas los bajos incentivos a realizar innovaciones por parte del estado o de empresas privadas, al insuficiente apoyo para la realización de proyectos de I+D+i tanto del sector privado como del sector público; así como a la escasez de profesionales dedicados a tiempo completo a proyectos de I+D+i. Asimismo, se plantean como soluciones el brindar apoyo el apoyo económico tanto a investigadores como a instituciones para el desarrollo de proyectos de innovación tecnológica, el fomentar y proteger la propiedad intelectual y la generación tecnológica por medio del registro de patentes, además de incentivar la colaboración entre investigadores y empresas privadas. Figura 12: Árbol de Problemas y Objetivos Fuente: Elaboración propia Debido a que este Instrumento Financiero solamente tiene un público objetivo, mediante el desarrollo de la cadena de resultados explicado en la Figura 13, se espera obtener como resultado un aumento en la realización de eventos que permitan difundir los resultados de los proyectos de innovación, así como la creación de redes internacionales de innovación y un aumento en el número de patentes registradas. Finalmente, después de un determinado período desde la entrega de los instrumentos se espera encontrar efectos positivos en la inversión en I+D+i por parte de las empresas, así como un aumento de sus ventas, explicado por la introducción de nuevos productos, la apertura a nuevos mercados y la diversificación de dichos productos. 4.8.1. Aplicación de la Teoría de Cambio La cadena de resultados muestra que los Instrumento Financiero que son parte de esta clasificación son: a) Proyectos en Temas Estratégicos CYTEC. b) Proyectos de I+D+i con participación internacional CDTI España. c) Registro de Patentes PCT. d) Proyectos de Aceleración de la Innovación. Se espera obtener como resultado un aumento en la realización de eventos que permitan difundir los resultados de los proyectos de innovación, así como la creación de redes internacionales de innovación y un aumento en el número de patentes registradas. Finalmente, después de un determinado período desde la entrega de los instrumentos se espera encontrar efectos positivos en la inversión en I+D+i por parte de las empresas, así como un aumento de sus ventas, explicado por la introducción de nuevos productos, la apertura a nuevos mercados y la diversificación de dichos productos. Figura 13: Cadena de resultados Fuente: Elaboración propia En este caso, en base al objetivo principal que es mejorar la producción de proyectos de I+D+i se establecieron los resultados a corto, mediano y largo plazo los cuales pueden ser medibles mediante indicadores previamente establecidos los cuales eran explicados en la imagen. Estos indicadores pueden hallarse en la base de datos del Registro de Patentes – INDECOPI, del CTI Vitae, Scopus y mediante la elaboración de encuestas. Estos indicadores deben ser llenados constantemente con información actualizada por el beneficiario para así el CONCYTEC poder realizar el seguimiento correspondiente según el tiempo que establezca conveniente. Los resultados esperados en corto plazo como se mencionan en la Figura 14. Están orientados a impulsar la difusión de los resultados obtenidos por los beneficiarios mediante la generación de proyectos de desarrollo experimental a través de eventos científicos de difusión, de redes de colaboración entre investigadores las cuales fueron previamente establecidas y de fomentar las solicitudes de patentes. A mediano plazo se espera que haya mayor inversión en I+D+i para crear nuevos productos, se abran nuevos mercados y se diversifiquen los productos, además de creación de empresas de spin off y de establecer alianzas o vinculaciones para que a largo plazo se logre mejorar las ventas y el tamaño de la empresa, poder atraer mayor financiamiento y se logre registrar el mayor número de patentes posibles. Figura 14: Resultados esperados Fuente: Elaboración propia 5. Metodología Normalmente las soluciones que se proponen a partir de las causas identificadas son aquellas que permiten formular una intervención en base a la necesidad de solucionar un determinado problema. Para esto, estas soluciones deben ser reales, concisas, deben tener bibliografía que la respalden y deben demostrar que, de lograr sus objetivos, ocurrirán los resultados esperados en una determinada cantidad de tiempo. Esta intervención debe ser capaz de identificar todos los insumos disponibles y los procesos necesarios que permitan su transformación en productos que logren generar resultados que sean medibles mediante indicadores previamente establecidos. Si bien el árbol de problemas nos permite determinar estos resultados mediante el desarrollo de objetivos, pero no nos da información necesaria para poder realizar una evaluación previa ni un seguimiento a lo largo del proyecto, ni nos permite estar preparados para externalidades, problemáticas o situaciones que puedan ocurrir que impidan que estos resultados se cumplan. 5.1. Hipótesis Como se puede ver en la Figura 15, el árbol de problemas y objetivos solamente se basa en el análisis de una determinada situación, la problemática principal que se va a abordar, cuáles son las causas y cuáles los efectos que se generan; mientras que con la teoría de cambios (planteada mediante la cadena de resultados), tal como se muestra en la Figura 16, identifica a los insumos con los que cuenta el proyecto, a las actividades que se van a realizar para transformarlas en productos, a los resultados que se esperan obtener, y a los resultados finales que son los objetivos finales o a largo plazo del programa. Figura 15: Estructura del árbol de problemas y objetivos Fuente: Universidad de Córdova Figura 16: Estructura de la Cadena de Resultados Fuente: Gertler et al. (2016) Entonces, una vez entendido la diferencia entre el uso exclusivo del árbol de problemas y el uso exclusivo de la metodología de la teoría de cambio, se plantea la siguiente hipótesis: ¿La teoría de cambio es superior al análisis del árbol de problemas y objetivos? Esta hipótesis plantea varias aristas. En primer lugar, para poder responderla debemos usar un análisis descriptivo-comparativo para identificar las ventajas y desventajas de cada herramienta y así identificar cuál resulta superior. En segundo lugar, es difícil pensar que una metodología sea absolutamente superior a otra, es decir, que la teoría de cambio sea, en todos los aspectos, mejor que el árbol de problemas y objetivos. Esto difícilmente ocurre ya que puede haber elementos positivos de una herramienta que puedan ser incorporados en la otra de modo tal que el resultado sea aún superior. En tercer lugar, la confirmación de la hipótesis, incluyendo lo recogido en el punto anterior, implicaría que se sugiera dejar de lado el uso del árbol de problemas y objetivos en el diseño e implementación de los distintos IF-CTI que ofrece el FONDECYT y reemplazarlo por el uso de la teoría de cambio. Este viraje tendrá fuertes implicancias de política ya que, en primer lugar, mejoraría sustancialmente la evaluación de impacto de los IF-CTI al incluir la lógica causal. En segundo lugar, las distintas unidades del FONDECYT (Unidad de Desarrollo, Unidad de Selección y Evaluación, y la Unidad de Seguimiento y Monitoreo) y del CONCYTEC (Dirección de Políticas y Programas de CTI, Dirección de Evaluación y Gestión del Conocimiento), entre otros5, deberán ser capacitados en el uso de esta nueva herramienta que deberán usar en adelante. Finalmente, se deberá comprometer a un equipo de trabajo que se encargue del monitoreo continuo de la evaluación de impacto ya que la teoría de cambio implica el continuo seguimiento de los participantes para recoger 5 Es de suma importancia realizar un mapeo interno del CONCYTEC para determinar qué áreas deben ser capacitadas en el uso de la metodología de la teoría de cambio de modo tal que puedan aplicarla según las funciones que tengan encargadas. información e identificar potenciales problemas que puedan afectar los resultados esperados del IF-CTI. 6. Resultados Si bien el árbol de problemas y objetivos es una herramienta que sirve para elaborar el diseño de los IF-CTI, solamente basarnos en esta metodología no nos permitirá conocer los efectos causales de la intervención ni permitirá la realización de ningún análisis técnico ni conocer en detalle cómo se obtendrán, cuándo se realizará el levantamiento de la información, de qué fuente, cuál sería el área responsable, etc. (estas actividades se encuentran en la sección de procesos y productos de la teoría de cambio, ver Figura 1), como si lo hace la teoría de cambio. Sin embargo, ambas metodologías se pueden complementar mediante el reconocimiento de las causas del problema central y las posibles soluciones a estas causas, para así desarrollar un análisis basado en una teoría de cambio más complejo. Con esta unión, se propone empezar el análisis de la teoría de cambio desde el reconocimiento de la problemática principal, sus causas más importantes y las soluciones a estas causas. Una vez determinado esto, identificar con qué insumos se está contando, las actividades que se deben realizar y los productos que se obtendrán con la implementación del Instrumento Financiero, luego se deben identificar los resultados a esperar en corto y mediano plazo, así como los impactos o resultados a largo plazo; para estos resultados se debe establecer mediante que indicadores se realizara su medición, cada cuanto tiempo y según qué fuentes de verificación. Todos los indicadores deben ser vigilados continuamente para poder corregir posibles problemas o efectos negativos que puedan ocurrir durante el desarrollo del programa, así como fortalecer los puntos débiles que se presenten a lo largo de la evaluación. Para esto, se propone que los beneficiarios estén obligados a realizar un reporte especifico al CONCYTEC cada 6 meses mencionando sus avances, demoras, problemas personales o financieros, pero que en caso de presentar un problema, deben ser brindados a la brevedad posible; mientras que el FONDECYT debe realizar un seguimiento específico a cada beneficiario mediante encargados o responsables que hagan el seguimiento a un pequeño grupo de beneficiarios, recolecten la información y solucionen los problemas en la mayor brevedad posible para evitar que se produzcan retrasos en la obtención de los objetivos trazados. Asimismo, el FONDECYT debe ser capaz de quitar el financiamiento a un beneficiario si no cumple con los requisitos mínimos requeridos, si no cumple con las entregas de reportes, no logran los resultados esperados o hacen mal uso de los recursos, estableciendo penalidades e imposibilitándolos de volver a concursar a alguna futura convocatoria. 7. Conclusiones y Recomendaciones Se concluye en base a todo lo explicado anteriormente que la teoría de cambio resulta ser muy superior al árbol de problemas y objetivos para el diseño de los IF-CTI ya que permite conocer los posibles impactos causales y el procedimiento a seguir para medir dichos impactos, pero que se logran mejores resultados cuando se hace uso de ambas metodologías ya que se desarrolla un análisis más completo. Adicional a esto, la creación de una guía de indicadores de línea de base será un documento útil a la hora de diseñar los futuros instrumentos financieros en CTI ya que contiene el análisis técnico de cada indicador, la forma de medición y la fuente donde se podrá obtener ya que brinda indicadores específicos que son fáciles de medir, de fácil acceso y mayor rapidez, encontrándose la mayoría en fuentes de datos secundarias gratuitas y abiertas para todo público como el CTI-Vitae/RENACYT, RENATI, Scopus y el Registro de Patentes. Se recomienda realizar el diseño de los diferentes IF-CTI en base a la teoría de cambio de modo que se establezcan los diversos indicadores que serán usados para la medición de los efectos causales, así como la verificación de la correcta implementación de estos por parte de las direcciones encargadas. También se recomienda determinar las áreas encargadas de supervisar y realizar el recojo de la información de los indicadores de línea de base durante la convocatoria del Instrumento Financiero, así como un área encargada del seguimiento de los beneficiarios post obtención de este. Se sugiere crear un protocolo automatizado que permita al CONCYTEC el acceso a las distintas fuentes de información ya existentes de modo que no se destinen recursos más allá de los necesarios en dicha labor, que los beneficiarios estén comprometidos a actualizar su información científica cada cierto periodo de tiempo y que se cree una encuesta a todos los postulantes (investigadores, centros de investigación o empresas) de los Instrumento Financiero que permita recolectar la información de los indicadores que no se pueden obtener de fuentes secundarias. Finalmente, se sugiere capacitar al personal encargado de realizar el diseño de los IF-CTI (en particular, a la Dirección de Políticas y Programas) en el uso de la metodología de la teoría de cambio de modo tal que el cambio de una metodología a la otra no suponga ningún riesgo para la evaluación de los actuales y futuros IF-CTI. Bibliografía Comisión Europea, (2004). Manual de gestión del Ciclo del Proyecto. Modalidades de Ayuda. Oficina de Cooperación EuropeAid – Bruselas. Gertler, P. J., Martínez, S., Premand, P., Rawlings, L. B., & Vermeersch, C. M. (2016). Impact evaluation in practice. The World Bank. Gómez, C & León, E. (2014). Método Comparativo. de Métodos y técnicas cualitativas y cuantitativas aplicables a investigación en Ciencias Sociales, T. Humanidades, Ed., México DF, Tiran Humanidades, 223-251. Martínez, R., & Fernández, A. (2008). Árbol de problema y áreas de intervención. México: CEPAL Nohlen, D. (2003). ¿ Cómo enseñar ciencia política. Republicana política y sociedad, 2(2). Ortegón, E., Pacheco, J. F., & Roura, H. (2005). Metodología general de identificación, preparación y evaluación de proyectos de inversión pública. CEPAL. Rogers, P. (2014). La teoría del cambio. Síntesis metodológicas: evaluación de impacto, (2), 1-14. Román, M. (1999). Guía práctica para el diseño de proyectos sociales. Sánchez, N. (2007). El marco lógico. Metodología para la planificación, seguimiento y evaluación de proyectos. Visión Gerencial, (2), 328-343. Silva, I. (1994). Preparación y evaluación de proyectos de desarrollo local. Instituto Latinoamericano y del Caribe de Planificación Económica y Social, Naciones Unidas/CEPAL, Consejo Regional de Planificación, 123 pp. Vogel, I. (2012). Review of the use of “Theory of Change” in International Development. UK Department of International Development Anexo 1: Análisis de vinculación con la política pública Como se señaló en el documento principal, la teoría de cambio resulta ser una metodología muy superior al árbol de problemas y objetivos por lo que se recomienda su uso en el diseño de los IF-CTI (con algunas mejoras que se rescatan del árbol de problemas) por lo que se recomienda la implementación de esta metodología en el diseño de los distintos IF-CTI. Este resultado tiene distintas implicancias de política pública, tanto a nivel general del Estado Peruano como, en específico, para el CONCYTEC. En primer lugar, la aplicación de la teoría de cambio al diseño de los distintos IF-CTI va alineando a la tendencia que poco a poco se va implementado en el Estado Peruano respecto a la importancia de evaluar con rigurosidad los impactos y efectos de cualquier intervención, en este caso particular los IF-CTI, de modo que se pueda hacer un uso eficiente de los recursos públicos (escasos) y dirigirlos hacia los instrumentos con mejores resultados en términos de costo-beneficio y/o costo-efectividad. En segundo lugar, el uso de la teoría de cambio tiene como consecuencia directa el mayor involucramiento de todos los actores involucrados alrededor de los IF-CTI: postulantes, participantes, especialistas del CONCYTEC, evaluadores externos, tomadores de política pública, etc. Este involucramiento implica un compromiso de largo plazo para mantener los lineamientos establecidos en el diseño del IF-CTI para así conocer los efectos que este tendría sobre los participantes. Finalmente, si se cumplen todos los lineamientos establecidos por la teoría de cambio podremos conocer si los IF-CTI tienen los efectos esperados sobre la población objetivo, así como otros efectos no esperados. Sin embargo, siempre existe la posibilidad que el IF-CTI no tenga los efectos esperados o, peor aún, tenga efectos negativos. De ser este el caso, lo más importante es mantener la imparcialidad y reconocer que, si la evaluación de impacto fue hecha correctamente, los resultados que se obtienen son los reales y deben ser vinculantes para nuevas decisiones de política. En particular, si un IF-CTI resulta no tener ningún efecto, este debe ser descartado debido a que se estarían desperdiciando recursos valiosos en una política que no tiene efectos. Esta decisión puede ser particularmente difícil si de por medio hay intereses políticos de por medio, pero aun así debe primar la confianza en los resultados obtenidos y actuar bajo una lógica de políticas pública basadas en evidencia. Anexo 2: Guía metodológica resumida La presente guía metodológica tiene como fin conjugar tanto el árbol de problemas y objetivos como la teoría de cambio para el diseño de las evaluaciones de Impacto de IF-CTI. Como se ha destacado en el documento principal, la teoría de cambio resulta muy superior al árbol de problemas y objetivos ya que tiene muchas más herramientas que permiten diseñar, implementar, dar seguimiento y evaluar los efectos que los IF-CTI tendrán sobre la población objetivo y establecer una lógica causal entre las causas del problema identificado, el problema en sí, el IF-CTI como solución a este y los resultados y efectos que tendrán en la población objetivo. Esta guía metodológica señala cuál debería ser la estructura de los futuros IF- CTI, incorporando los principales elementos de ambas metodologías de modo tal que se utilicen se creen sinergias entre ambos métodos. Como es lógico, gran parte de esta guía se basa en la teoría de cambio debido a ser considerada superior; sin embargo, se añaden algunas sección que provienen del árbol de problemas y objetivos como lo son el desarrollo del problema o necesidad, las preguntas de interés y las hipótesis que surgen a partir del problema identificado. Si bien esta guía intenta ser lo más comprehensiva posible, debe ser tomada como un marco de referencia a la hora de diseñar las evaluaciones de impacto de los Instrumento Financiero de CTI y a la vez considerar las particularidades que cada instrumento presente. Es así que la presente guía no debe ser considerada como la solución final sino que puede estar sujeta a mejoras a partir IF de las incidencias que puedan surgir al momento de elaborar la evaluación de impacto. De esta manera, se presenta la siguiente estructura tentativa para el diseño de las futuras convocatorias para IF-CTI: 1) Estado del arte del IF-CTI: En esta sección se debe explicar qué es la teoría de cambio, cómo esta se desarrolla y cuáles son los principales componentes. Se debe partir de una descripción a detalle del problema a evaluar, de las causas directas o indirectas y las posibles soluciones para el problema). En este punto se debe realizar una descripción de la situación previa (mediante un análisis detallado) de la intervención que se busca implementar mediante la recolección de datos como estadísticas, informes, bases de datos, etc. Una vez explicado el problema y las causas de este, se debe desarrollar la teoría de cambio y su vinculación con la lógica causal. En esta sección se recomienda utilizar la cadena de resultado para plantear la teoría de cambio, la cual debe llevar una explicación acerca de los principales elementos que la conforman: los insumos o recursos que dispone el proyecto, las actividades o acciones para transformar estos insumos en productos, los productos o servicios que producen las actividades del programa, los resultados que se esperan alcanzar y de los impactos o los objetivos finales del proyecto. a) Línea Base: Análisis basado en como la lógica causal genera un efecto (positivo o negativo) con este Instrumento Financiero; para esto se deben establecer determinados indicadores que permitan obtener una imagen de la actividad científica previa a la implementación del IF-CTI que permita realizar comparaciones entre los postulantes para elegir a los que serán beneficiarios del Instrumento Financiero y compararlos con los que no lo recibirán en determinados periodos de tiempo. b) Actividades implementadas: Se consideran a todas las actividades que se deben realizar para tener un enfoque orientado a los objetivos propuestos; en esta sección se puede reformular las acciones, cambiar el público objetivo, establecer requisitos específicos, etc., los cuales ayuden a tener resultados mejores resultados en la evaluación final. c) Cadena de resultados: Este es el análisis realizado en base de la teoría de cambio, la cual tiene como objetivo describir el mecanismo causal de como una intervención lograra el objetivo esperado mediante el análisis de las condiciones y supuestos necesarios. Toda cadena de resultados debe tener los siguientes elementos:  Insumos: los recursos de que dispone el proyecto, que incluyen el personal y el presupuesto.  Actividades: las acciones emprendidas y el trabajo realizado para transformar los insumos en productos.  Productos: Los bienes tangibles y servicios que producen las actividades del programa y que recibe la población objetivo con el fin de generar un cambio.  Resultados: los resultados que se espera alcanzar una vez que la población se beneficie de los productos del proyecto, estos pueden ser en corto o mediano plazo.  Impactos: (también llamados resultados finales) son los objetivos finales del proyecto, los cuales pueden estar influidos por múltiples factores y se alcanzan normalmente después de un largo período. d) Preguntas de interés: Son todas las preguntas que pueden surgir como interrogantes para evaluar si es que se están cumpliendo los resultados o impactos esperados tanto entre el grupo control como del grupo tratamiento en un mismo periodo de tiempo. e) Hipótesis: Es la síntesis que mediante una única pregunta nos permitirá desarrollar los objetivos. f) Resultados esperados y no esperados: Son todos los resultados obtenidos para este Instrumento Financiero; estos pueden haber sido planeados como no pero que pueden generar un efecto tanto positivo como negativo en el proyecto para un determinado periodo de tiempo. g) Externalidades: Son todos los efectos indirectos que pueden ocurrir para este Instrumento Financiero, en muchos casos no son efectos esperados pero que generan oportunidades para el desarrollo de nuevos proyectos, mayores beneficiarios, etc. 2) Caracterización de los Instrumento Financiero Es la identificación de los indicadores de línea de base (indicadores de estructura, indicadores de proceso e indicadores de productividad) los cuales permitirán realizar el seguimiento y la medición del estado de la actividad científica mediante el resumen de la trayectoria científica de un investigador o de una institución con datos actuales que permitan realizar comparaciones y medir los efectivos positivos o negativos frente a otros países. a) Desarrollo del problema y/o necesidad: Es la identificación del contexto en que se desarrolla el Instrumento Financiero en base a la problemática actual, donde mediante la metodología del árbol de problema se realiza la identificación del problema principal a tratar, las causas, los efectos y las posibles soluciones de estas causas. b) Desarrollo de la cadena de resultados: Identificación de los elementos de la cadena de resultados por cada Instrumento Financiero, estableciendo los resultados según el periodo de tiempo en el que se van a evaluar. En este caso se define los resultados de una forma más general c) Construcción de indicadores: Según los resultados esperados a obtener, y los indicadores previstos en la línea base, se establecer un indicador por cada objetivo con el fin de obtener su medición una vez que se recibe el Instrumento Financiero. Puede haber un mismo indicador que se use en más de un objetivo o este puede variar según el tiempo en que se medirá. d) Construcción de fichas técnicas: Es la elaboración de una ficha técnica de cada indicador la cual tiene como objetivo establecer la uniformidad y la correcta medición de cada indicador. A continuación, se deja un ejemplo de cómo puede ser construida una ficha técnica. Figura 17: Ficha Técnica Fuente: Elaboración propia e) Fuentes de información: Son las distintas bases de datos tanto nacionales como internacionales, que pueden ser de acceso público o no las cuales serán usadas para la evaluación de los indicadores de línea de base. Adicional a esto se debe explicar cuál será el uso de las fuentes que se dará y en qué momento se deben usar, así como el organismo encargado de su recolección. Entre las fuentes de información disponibles de las que se pueden obtener muchos de los indicadores necesarios para la evaluación de impacto se encuentra el CTI Vitae/ RENACYT, el Registro de Patentes administrado por INDECOPI, el Registro Nacional de Trabajos de Investigación (RENATI), la base de datos bibliométrica de Scopus, así como encuestas propias. 3) Estrategia metodológica En esta sección se deberá señalar el método de evaluación que se usará para estimar los efectos causales del Instrumento Financiero a evaluar. Es importante señalar que la estrategia debe guardar concordancia con los indicadores que se planean recoger, la periodicidad de estos, los criterios de elegibilidad. En caso se decida otorgar los Instrumento Financiero de manera aleatoria, dicho mecanismo debe ser descrito con detalle en esta sección. Por ejemplo: “A partir de las solicitudes recibidas de postulación y que cumplan los criterios de elegibilidad, se escogerá aleatoriamente entre todas ellas a través de un algoritmo de generación de números con una distribución uniforme. De esta forma, los primeros 10 solicitudes que salgan de dicho algoritmo serán acreedores al instrumento otorgado por FONDECYT” En cambio, si la aleatorización no fuera posible, se deben recoger un conjunto de indicadores en la línea de base que sirvan para utilizar la metodología PSM ya que la selección del grupo de tratamiento y control que se usará para la evaluación de impacto está condicionada a dichos indicadores. Por otro lado, si se va a utilizar la metodología Diff-Diff, es de suma importancia que en las bases se establezca que se recogerá información en una encuesta de línea de base antes de otorgar el Instrumento Financiero y otra luego de un período considerable de tiempo (entre 3 a 5 años según el Instrumento Financiero). De este modo, tendremos al menos dos momentos en el tiempo en que observaremos nuestros indicadores y podremos aislar parte del sesgo de selección, el cual ocurre cuando la asignación del Instrumento Financiero no ha sido aleatoria. Finalmente, si se propone utilizar la metodología RDD, es necesario definir claramente cuál será el variable que generará la discontinuidad. Lo recomendable es definir una serie de criterios de elegibilidad y de interés, así como los pesos que se dará a cada uno de los criterios y a partir de estos construir un índice en CTI6. Es importante señalar que, si bien los criterios deben ser explícitos en las bases de la convocatoria, el método para construir el índice (tanto los pesos como el algoritmo) no deben ser públicos para evitar que los postulantes puedan “manipular” sus resultados y aumentar sus probabilidades de ganar el Instrumento Financiero. 4) Seguimiento y monitoreo de la implementación En esta sección se deben establecer los mecanismos por los cuales el CONCYTEC hará vigilancia y seguimiento continuo de los objetivos propuestos por cada Instrumento Financiero con el fin de implementar los ajustes que se requieran. Realizar esta tarea es muy importante para corregir posibles problemas o efectos no contemplados que puedan ocurrir durante el desarrollo del Instrumento Financiero, así como fortalecer los puntos débiles que se presenten a lo largo de la evaluación. Con el objetivo de realizar un seguimiento continuo a los beneficiarios, las bases de la convocatoria deben considerar solicitar a los ganadores del Instrumento Financiero la elaboración de informes de actualización para conocer la situación en la que se encuentran (por ejemplo, cada 3 a 6 meses), mencionando sus avances, demoras, problemas personales o financieros, necesidad de mayor financiamiento para la investigación, etc. Asimismo, cada ganador de un Instrumento Financiero debería tener asignado a un especialista encargado de hacerle seguimiento continuo 6 Un ejemplo de esto es el Índice de Focalización de Hogares (IFH) que utiliza el Ministerio de Desarrollo e Inclusión Social) para determinar quiénes acceden al Seguro Integral de Salud, así como a los distintos programas sociales del Gobierno. Para más detalles de cómo se utiliza el IFH con la metodología de RDD ver Bernal et al. (2017) al proyecto de modo que se mantenga el nexo entre el CONCYTEC y el participante de forma permanente. Cabe precisar que el seguimiento y evaluación que acá se menciona no comprende únicamente las tareas que realiza la Unidad de Seguimiento y Monitoreo del FONDECYT, encargada del cumplimiento de los contratos y temas de financiamiento, sino que se relaciona a la recolección de información a través de indicadores que permitan medir el desempeño y los resultados del Instrumento Financiero planteados en la evaluación de impacto. 5) Análisis Este paso es de suma importancia ya que, luego de haber hecho el seguimiento y monitoreo de los participantes, así como recoger la información de diversas fuentes durante un largo período de tiempo, se deben analizar los datos y aplicar la metodología propuesta. Este análisis se suele hacer en algún software estadístico (Stata, R, Python) por parte de un experto en análisis de datos y con sólidos conocimientos de metodologías de evaluación de impacto. En lo posible, se sugiere que el análisis lo realice un profesional externo al CONCYTEC para asegurar que la evaluación sea lo más rigurosa e imparcial posible ya que los resultados, si bien se esperan encontrar efectos causales positivos de recibir el Instrumento Financiero, es posible que estos no se encuentren. Esto podría ocurrir por diversos motivos: la teoría de cambio que se usó para crear el Instrumento Financiero no estaba bien construía, por lo que el instrumento no fue el adecuado para solucionar el problema encontrado. Debido a esto, es de gran importancia el planteamiento adecuado de una teoría de cambio que evite este tipo de problemas. Una segunda razón podría ser por fallas en la implementación y/o seguimiento, es decir, los ganadores de los Instrumento Financiero no utilizaron los recursos para los fines previstos o estos no fueron empleados de manera eficiente. En base a esto, el adecuado seguimiento y monitoreo desde el otorgamiento hasta la culminación del Instrumento Financiero permitiría evitar estos inconvenientes. En tercer lugar, es posible que los indicadores recogidos en cada momento en el tiempo estén mal medidos o no permitan capturar lo que se quiere. Es por ello que es de suma importancia elaborar correctamente la ficha de cada indicador, detallando cómo se construirá, de donde se obtendrá, cada cuanto tiempo se recogerá, etc. Todas estas razones podrían ser detectadas por un profesional independiente a través de un análisis riguroso de los datos. 6) Diseminación Una vez que se han analizado los datos mencionados previamente, los resultados del análisis se reportan a través de presentaciones, informes de evaluación, documentos de trabajo, artículos, notas de política o por presentaciones multimedia. A continuación, se explicaran las diversas formas de difusión: a) Artículo científico: Esta forma de difusión está enfocada a un público académico y busca su publicación en una revista indexada con revisión de pares con el objetivo de contribuir nuevos conocimientos a la comunidad científica b) Informe de Evaluación de Impacto: Esta forma de difusión tiene por objetivo realizar un informe completo del producto de la evaluación, la cual suele ser larga, tiene gráficos estadísticos, tablas, encuestas, etc. Este informe tiene como estructura el resumen, la introducción donde menciona la teoría de cambio y la contextualización en la literatura asociada, la descripción de la intervención (los detalles de lo que se evalúa), el diseño de evaluación (tanto del grupo control como del grupo tratamiento, además de la descripción de la fuente de variación en el tratamiento), los datos completos de la muestra y los datos, la estrategia de identificación, los resultados y por último, las conclusiones y recomendaciones de política. c) Policy brief: este es un documento que sintetiza los resultados sobre un tema particular de política que sirve para presentar los hallazgos de un proyecto a actores políticos o público no especializado mediante el resumen de la problemática, intervención y resultados, el resumen de la problemática, de la evaluación, los principales hallazgos y las conclusiones y recomendaciones de políticas. d) Infografía: Este es un documento dirigido al público en general que tiene como fin informar a personas que no necesariamente están relacionadas al tema; hace mayor uso de videos, gráficos, animaciones, etc. 7) Lecciones aprendidas Cada nueva convocatoria de Instrumento Financiero debería conocer las lecciones aprendidas de las convocatorias del pasado, de modo que no se repitan errores y, más aun, se mantengan las prácticas que han funcionado. Debido a ello, cuando se publiquen los resultados del análisis se debe incluir una sección de lecciones aprendidas que contenga todas las incidencias ocurridas a lo largo de la evaluación de impacto. A manera de ejemplo, es posible que a lo largo de la evaluación se encontraran situaciones no previstas en el diseño inicial y que dificultar o incluso llevar al fracaso del Instrumento Financiero en relación a sus objetivos. En el caso de los IF de becas, existe la posibilidad que en el transcurso de las distintas convocatorias haya habido casos de deserción por problemas psicológicos7. A partir de esta lección se podría considerar que en el diseño de los Instrumento Financiero relacionados a becas se incluya como criterio de elegibilidad pasar por una prueba psicológica que permita detectar a los participantes con mayores 7 Existe amplia evidencia que un posgrado en una universidad élite del mundo puede generar mucho estrés y en muchos casos el participante deserta del programa por este tipo de problemas. probabilidades de desertar en sus programas de maestrías o doctorados una vez reciban el financiamiento del CONCYTEC.