Portal del Contribuyente del Ayuntamiento de Madrid

La evaluación de las políticas públicas, tanto en su faceta exante como a posteriori, ha sido siempre uno de los aspectos más olvidados en su desarrollo  e implementación, a pesar de un incremento sincero de la preocupación, política y administrativa, en el cumplimiento de la dación de cuentas a la ciudadanía.

No es sino en la última década, a través Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los Servicios (AEVAL), que la cultura de la evaluación se ha asentado también en la administración pública española, cristalizando en la Ley 27/2022, de 20 de diciembre, de institucionalización de la evaluación de políticas públicas en la Administración General del Estado.

En esta ley se pone de manifiesto que la evaluación de las políticas públicas es una herramienta imprescindible para la mejora de las acciones de buen gobierno, de forma que medir el impacto del que hacer de la administración constituye no sólo una herramienta para alcanzar la eficiencia y la racionalidad en el gasto público, sino también un paso imprescindible para cumplir con el principio de transparencia como elemento de profundización en la democracia al servir para la rendición de cuentas ante la ciudadanía.

En este artículo, sin profundizar en las problemáticas inherentes a la evaluación de las políticas públicas, se pretende abordar el uso de un instrumento concreto, el ROI, y su utilidad y posibilidades para analizar la eficiencia de las políticas y actuaciones relativas a la tributación.

En el desarrollo del texto se pretende estudiar la adecuación del ROI como instrumento de análisis del desempeño general de las políticas tributarias, y en particular su aplicación a la Agencia Tributaria Madrid, así como su uso en actuaciones y programas concretos.

Finalmente se propone un marco metodológico que permita la utilización de la herramienta, desarrollando las distintas fases que implica el proceso, así como identificando los aspectos clave a considerar, haciendo mención a las posibles técnicas disponibles dependiendo de los retos y dificultades que plantee el análisis.

2.1 Origen y evolución histórica

La evaluación de las políticas públicas tiene su origen en Estados Unidos en la década de los 30 del siglo pasado, vinculado al programa del New Deal que desarrolló el gobierno de Roosevelt para luchar contra los efectos de la gran depresión.

En Europa no es sin embargo hasta el último cuarto del siglo pasado que comienzan a generalizarse las políticas de evaluación, de la mano del crecimiento del gasto público en los estados del bienestar y el consecuente surgimiento de visiones que abogan por una fiscalización de la eficiencia del gasto, de forma que se establezcan mecanismos de control y racionalización.

Por su parte, en España, la cultura de la evaluación de las políticas públicas no comienza hasta finales de la década de los 90, en estrecho vínculo con la entrada de España en la UE y el acceso a los fondos europeos, y fundamentalmente con la reforma de los Fondos Estructurales en 1988 y posteriormente en 1993, estableciéndose evaluaciones obligatorias, sistemáticas y generalizadas, de carácter previo, intermedio y a posteriori.

Es ya en el presente siglo que se procede a la regulación de la evaluación de las políticas públicas, a través el Real Decreto 951/2005, de 29 de julio, por el que se establece el marco general para la mejora de la calidad en la Administración General del Estado. En 2006 se crea la ya citada AEVAL, que tenía como principal objetivo promover la cultura de evaluación y de calidad de los servicios e impulsar su práctica en la gestión pública. Esta agencia fue posteriormente disuelta en 2017, pasando sus competencias a ser asumidas por la Secretaría de Estado de Función Pública, a través del nuevo Instituto para la Evaluación de Políticas Públicas.

Finalmente, ya en 2022 se promulga la Ley 27/2022, de 20 de diciembre, de institucionalización de la evaluación de políticas públicas en la Administración General del Estado, que tiene como objeto estructurar el sistema público de evaluación de políticas públicas en la Administración General del Estado con el fin de institucionalizar la evaluación como herramienta de aprendizaje colectivo y organizativo, mejorar el servicio público y servir a la rendición de cuentas y transparencia, con objeto de contribuir a la eficacia y eficiencia de la acción pública y en consecuencia a la mejora en la formulación y desarrollo de las políticas públicas.

2.2 La evaluación de políticas públicas

La página web del Ministerio de Hacienda y Función Pública define la evaluación de políticas públicas como el “proceso sistemático y razonado de generación de conocimiento, a partir de la recopilación, análisis e interpretación de información, encaminado a la compresión global de una intervención pública- sea ésta una política, plan, programa o norma-, para alcanzar un juicio valorativo, basado en evidencias, respecto de su diseño, puesta en práctica y efectos (resultados e impactos).”

En esta definición, podemos destacar cuatro aspectos relevantes con respecto a la evaluación de las políticas públicas:

1. Se trata, ante todo, un proceso sistematizado de generación de conocimiento sobre estas políticas.
2. Ha de partir siempre de la recopilación de información estructurada y relevante.
3. Debe permitir alcanzar un juicio valorativo sobre determinados aspectos concretos de estas políticas.
4. Ese juicio debe estar también sistematizado, basado en evidencias.

El primer aspecto explicita que la evaluación es un proceso de generación de conocimiento: la comprensión global de las intervenciones públicas es la que permite alcanzar los objetivos deseados por la evaluación:

• Promover la transparencia y la rendición de cuentas a la ciudadanía, mejorando por tanto la calidad democrática.
• Ser elemento clave para la toma de decisiones de buen gobierno basadas en evidencias.
• Promover la eficiencia en la actuación pública, a través de la racionalización del gasto público.

En segundo lugar, se destaca que toda evaluación debe partir de la recopilación de información estructurada y ante todo relevante. Aquí ya topamos con uno de los problemas a los que se enfrenta la evaluación de las políticas públicas: la recopilación de información, que, si bien en algunos casos está fácilmente disponible incluso de forma estructurada, en otros su obtención resulta bastante más complicada, teniendo que optar por métodos costosos o aproximados, que pueden afectar a la calidad de la evaluación, así como sin duda a su alcance.

El tercer aspecto plantea que toda evaluación debe concluir con un juicio valorativo que responda a la pregunta que se planteaba con la evaluación, como por ejemplo cuál de varias políticas alcanza en mayor medida un objetivo, o cuál lo hace de la manera más eficiente.

Y finalmente, fundamental, este juicio debe ser en todo caso basado en evidencias, evitando en lo posible los sesgos y la arbitrariedad. Para ello es preciso dotarse de herramientas, tanto cualitativas como fundamentalmente cuantitativas, que permitan homogeneizar y sistematizar las evaluaciones de modo que el juicio valorativo resultante pueda resultar claro y evidente, de cara a la toma de decisiones de gobierno.

Es en este último aspecto donde entra en juego la herramienta a la que nos referimos en este artículo: el ROI.

2.3 El ROI

El ROI o Retorno de Inversión (Return On Investment) es un indicador de carácter económico que mide el rendimiento que se obtiene al realizar una inversión. Con origen en el mundo empresarial de principios del siglo pasado, el concepto de Return on Investment se ha expandido a múltiples áreas como herramienta para valorar la idoneidad de un proyecto, siendo utilizado así en ámbitos tan variados como la formación, la publicidad, la tecnología y los proyectos de carácter social.

En esencia el ROI es un cociente que relaciona los beneficios esperados u obtenidos de un proyecto con los costes asociados a la implementación de este. Su formulación sería la siguiente:

El beneficio neto a su vez será el resultado de todos los ingresos considerados como consecuencia de la actuación menos todos los costes derivados de la misma, de forma que la fórmula desagregada sería:

Así definido, el ROI es un indicador que presenta claras ventajas:

• Es sencillo e intuitivo, se trata de una relación simple entre los beneficios y los costes de una actuación expresada en forma de porcentaje.
• Es un indicador que permite comparar de forma homogénea una amplia variedad de proyectos e inversiones, al reducir todos ellos a una única cifra.
• Requiere, relativamente, pocos factores para su elaboración.

Como se puede observar, es un indicador cuyas ventajas orbitan alrededor de su sencillez en todos los aspectos. No obstante, esta misma sencillez introduce también una serie de desventajas que deben también ser consideradas:

• Ha de tenerse en cuenta que no es un indicador financiero en el sentido estricto del término, es decir, en su formulación original no tiene en cuenta el tiempo, lo que aplicado a inversiones de larga duración o en contextos de alto coste de oportunidad del dinero puede dar lugar a decisiones incorrectas. Esto, en cualquier caso, puede evitarse utilizando en la ecuación los flujos de caja actualizados, tanto para obtener los beneficios como los costes del proyecto, aunque se perdería la sencillez inicial del indicador.
• Por otra parte, el ROI es un indicador puramente económico, expresado en valores monetarios, lo que implicará que en algunas ocasiones deban monetizarse determinados objetivos que no tienen una expresión económica, como pueda ser el caso del estudio de proyectos de carácter social o de muchas políticas públicas. En estos casos, si bien existe una batería de técnicas ampliamente desarrolladas para monetizar objetivos no económicos, siempre estaremos sujetos a posibles sesgos e inexactitudes.
• Exige un esfuerzo especial en determinar con corrección los datos que componen la ecuación. Este paso es especialmente importante en estudios exante, donde se deberán determinar con rigor los ingresos y gastos esperados, ya que la propia sencillez del ROI deja poco lugar a matices o consideraciones cualitativas.

Sin embargo, a pesar de estos inconvenientes y dificultades, son más significativas las ventajas que ofrece la herramienta, por lo que el ROI se configura como un indicador sumamente útil, tanto para el análisis de la eficiencia de las actuaciones como para la toma de decisiones.

3.1 Indicador de eficiencia en la Agencia Tributaria Madrid

Si bien la propuesta de la medición del ROI de la Agencia Tributaria Madrid (ATM) sería en cualquier caso novedosa, sí cabe señalar que, aunque de manera colateral, existen actualmente métricas de medición de la eficiencia de la actuación tributaria del organismo.

En concreto anualmente, vinculada a los ciclos presupuestarios, se elabora el indicador de eficiencia de la ATM, en primer lugar, en fase de previsión o exante, con motivo de la elaboración del Proyecto de Presupuesto del organismo; y finalmente a posteriori, en el momento de la redacción de la Memoria de Cumplimiento de Objetivos Presupuestarios.

El indicador de eficiencia se compone en realidad de dos métricas, una relativa al desempeño total de la ATM y otra centrada exclusivamente en el gasto corriente, sin tener en cuenta el gasto de capital. No obstante, dado el escaso peso de los capítulos de gasto de capital en el presupuesto del organismo estas cifras suelen ser generalmente muy parejas.

Este indicador de eficiencia se define, en su fórmula general, como los ingresos recaudados por la ATM, medidos como derechos recaudados en el Presupuesto del Ayuntamiento de Madrid de competencia de la ATM, dividido entre los gastos realizados por la agencia en su actividad, medidos como las obligaciones reconocidas del Presupuesto de la ATM, multiplicado por cien mil.

La interpretación de este indicador es sencilla, aunque no especialmente intuitiva: el coste que le supone al Ayuntamiento de Madrid la recaudación de cada 100.000 euros.

A su vez, como ya se ha señalado, esta fórmula tiene dos variantes:

• Coste unitario total de los servicios de la ATM para la obtención de 100.000 euros de ingresos para el Ayuntamiento (Incluyendo en los gastos en operaciones de capital).
• Coste unitario de los servicios corrientes de la ATM para la obtención de 100.000 euros de ingresos para el Ayuntamiento, excluyendo por tanto los gastos en operaciones de capital. Esta última variante, si bien parece contravenir un poco el espíritu del indicador, ya que no considera la totalidad de los gastos que supone la recaudación, sin embargo, sí da una idea del gasto corriente u ordinario, el coste de funcionamiento que conlleva recaudar, dejando al margen inversiones que por su puntualidad pueden tener un efecto desestabilizador en el cociente.

Las ventajas de este indicador son claras:

• Es sencillo y de elaboración inmediata, ya que es el resultado del cociente entre magnitudes presupuestarias.
• Es descriptivo, en la medida en que se relacionan los gastos del organismo con su función, trasladándose de forma clara el coste que supone la recaudación impositiva en la ciudad de Madrid.
• Permite una homogeneización clara para establecer comparativas tanto en el marco temporal a lo largo de series anuales, como entre distintos organismos y administraciones.
• Tiene un carácter general que ofrece una visión resumida de la eficiencia en el desempeño global del organismo.

 Todo ello determina también una serie de contrapartidas:

• Es un indicador demasiado sensible a factores externos. Alteraciones de la situación económica, cambios legales ajenos a la municipalidad, o cambios en la política tributaria de la corporación pueden alterar significativamente los ingresos recaudados por la entidad, de forma que, si bien el resultado sigue representando el coste recaudatorio para el Ayuntamiento, la variación del parámetro no se relaciona con cambios en la eficiencia real del organismo.
• Es rígido en su definición. Al basarse en las cifras presupuestarias, si bien se obtiene inmediatez y objetividad en los datos, se pierde también información muchas veces relevante. De esta forma, cuando se consideran como gatos ligados a la recaudación únicamente aquellos recogidos en el presupuesto de la ATM, se están obviando otra serie de gastos, en algunos casos relevantes, que se realizan por parte de otros órganos municipales y que están también vinculados al proceso recaudatorio. El resultado es por tanto parcial y deberían realizarse ajustes que sin embargo pueden comprometer la objetividad y sencillez del indicador.
• Tiene, como ya se ha señalado, un carácter general, lo que plantea un reverso negativo, en la medida en que actuaciones de mejora de la eficiencia recaudatoria se diluyen sin que pueda estudiarse su efecto concreto, lo que convierte este indicador en un buen resumen descriptivo, pero en una cifra poco útil a la hora de servir de apoyo a la toma de decisiones por parte de la dirección.

Indicador de eficiencia de la Agencia Tributaria Madrid

En esta serie se puede observar que existe una tendencia creciente, aunque irregular, del coste recaudatorio. Por otra parte, también destaca la diferencia entre los valores presupuestados y los realizados, resultado de la rigidez de los parámetros considerados en la elaboración del indicador, constreñido por su vinculación a la lógica presupuestaria. 

3.2 ¿Un ROI tributario?

Partiendo del indicador analizado en el apartado anterior no resultaría complicado determinar, al menos de forma aproximada, un ROI para la administración tributaria del Ayuntamiento de Madrid.

En este sentido, y recuperando la fórmula del ROI anteriormente expuesta en el artículo, podríamos establecer una formulación inicial del ROI tributario como:

O, en términos presupuestarios, expresada mediante las siguientes magnitudes:

En primer lugar, resulta llamativo que la expresión de la fórmula es similar a la del indicador de eficiencia, en el sentido en que se basa en los mismos parámetros, pero con la diferencia de que el indicador de eficiencia se expresa como una ratio pura entre dos magnitudes, mientras que en esta formulación del ROI, el denominador, utilizado para dimensionar la cifra, se encuentra presente también en el numerador, de forma que los derechos recaudados son netos del coste global de recaudación.

Además, la formula también difiere en que las magnitudes objeto del cociente se encuentran invertidas, lo que obviamente altera la interpretación del dato: si el indicador de eficiencia nos mostraba el coste para el Ayuntamiento de cada cien mil euros de recaudación, el ROI tributario en su presente formulación nos indica, de forma resumida, el retorno impositivo de cada euro invertido por el Ayuntamiento en la recaudación tributaria.

En base a esta formulación, como un ejercicio meramente aproximativo, y teniendo en cuenta las limitaciones expresadas anteriormente con respecto al indicador de eficiencia, partiendo de los datos utilizados en el apartado anterior para calcular el indicador de eficiencia, podemos obtener el ROI de desempeño de la Agencia en el ejercicio 2022:

ROI Agencia Tributaria Madrid

Como ya se ha señalado anteriormente, el dato es aproximado, ya que sería necesario realizar una serie de ajustes en los gastos considerados, dado que las obligaciones reconocidas en el presupuesto de la ATM no incluyen la totalidad de los gastos recaudatorios del Ayuntamiento. No obstante, estos ajustes no producirían una variación significativa de la cifra.

Con todo ello, y dada la cifra obtenida, se pueden extraer las siguientes conclusiones:

• La cifra de este ROI tributario es significativamente alta, comparada con los retornos empresariales habituales, o incluso con los retornos de campañas de marketing o de formación, con los que muestra una diferencia de varios órdenes de magnitud. Esta disparidad se debe a la naturaleza propia de la recaudación tributaria, en la que el coste recaudatorio es mínimo en comparación con el volumen recaudado.
• La cifra observada no tiene una especial significación, no permite establecer comparaciones relevantes, ni juicios sobre el desempeño del organismo ni tampoco resultan una herramienta útil para la toma de decisiones.
• La cifra del ROI resulta relativamente volátil e influida por factores exógenos, en el mismo sentido que reseñábamos para el indicador de eficiencia, ya que los ingresos tributarios son muy sensibles a elementos externos, ajenos a la gestión recaudatoria.

Encontramos, por lo tanto, las mismas limitaciones que ante el indicador de eficiencia, (si cabe incluso ante una menor relevancia informativa) lo cual es lógico, pues a fin de cuentas no deja de ser sino una formulación distinta, aunque análoga, de las mismas magnitudes.

Estas limitaciones, por otra parte, parecen inherentes a la propia esencia del indicador, es decir, podrían, sin duda, depurarse los datos de elaboración del indicador, de forma que se determinasen con exactitud los costes aparejados a la recaudación, e incluso podrían desestacionalizarse los ingresos, de tal modo que se redujese el peso en el indicador de los factores exógenos; pero sin embargo las principales limitaciones seguirían estando presentes: no dejaría de ser un indicador demasiado generalista, con una capacidad descriptiva algo peor que el indicador de eficiencia, una baja relevancia a la hora de establecer comparativas y poca utilidad para la dirección en la toma de decisiones.

Sin embargo, el error de este enfoque está en intentar hacer del ROI otro indicador de eficiencia cuando resulta mucho más versátil y dispone de una metodología muy desarrollada como herramienta para la evaluación y análisis de proyectos concretos.

Es aquí donde el indicador puede ofrecer su máxima utilidad, al tratarse no sólo de una metodología para medir la eficiencia de forma más directa y con menor interferencia de factores exógenos, sino de una herramienta realmente útil para la dirección y la toma de decisiones.

3.3 Un ROI de proyectos tributarios

En este punto, y teniendo en perspectiva la evaluación de la eficiencia en el ámbito de la gestión tributaria, no se puede plantear el ROI como una mero indicador de la actuación global del organismo a evaluar, ya que, como hemos observado este indicador resulta poco relevante, carente de sensibilidad para los proyectos o cambios que se aborden y demasiado influido por multiplicidad de variables que impiden aislar adecuadamente las consecuencias de las distintas políticas puestas en funcionamiento.

Se hace preciso por tanto descender un nivel en la perspectiva de alcance del indicador, de forma que se puedan definir correctamente no solo los gastos asociados a las actuaciones objeto de estudio, sino también aislar de forma razonablemente rigurosa las consecuencias de dichas actuaciones.

Cabe aquí plantear la utilización del ROI no como elemento de medición de la globalidad de un organismo, sino como herramienta de evaluación de proyectos concretos. Es en este dimensionamiento donde la herramienta maximiza su potencial, permitiendo no solo ofrecer una adecuada rendición de cuentas al ciudadano a través de la evaluación expost de proyectos, sino que, a través de evaluaciones exante permite obtener una visión clara de la validez de las políticas que se prevé implementar para alcanzar los objetivos pretendidos, su eficiencia en el uso de los recursos públicos, así como permite categorizar entre distintos tipos de políticas de forma que los órganos de gobierno puedan priorizar sus políticas de un modo informado y basado en la evidencia.

En este sentido, y circunscribiéndonos al ámbito tributario, la adopción del ROI como herramienta destaca también por su versatilidad, siendo válida su aplicación tanto a proyectos de gestión tributaria, realización de inversiones, cambios procedimentales o incluso al estudio de modificaciones en la normativa tributaria.

No obstante, si bien este nuevo dimensionamiento posibilita mayor precisión y utilidad del indicador, implica también, como veremos en el punto siguiente, un mayor grado de complejidad en la elaboración de la ratio. No se tratará en este caso de hacer un cálculo aproximativo en base a cifras presupuestarias automáticamente disponibles, sino que será preciso un proceso previo de definición del proyecto y sus objetivos, la determinación de los recursos a invertir, así como la estimación o medición del grado de consecución de esos objetivos.

Esta complejidad introduce por tanto una limitación importante en el indicador:  su coste de obtención, tanto en términos de recursos utilizados como en términos de tiempo de elaboración, que en muchos casos resulta difícilmente compatible con el proceso de toma de decisiones en la gestión pública.

La aplicación del ROI a proyectos concretos solo será utilizada por tanto de forma puntual, para evaluar actuaciones específicas que, bien por su carácter central o novedoso, por el amplío impacto que puedan tener, o por estar evaluándose diferentes alternativas con un coste significativo, hagan viable la elaboración del estudio necesario. Y esta viabilidad no solo se traduce en términos de coste, disponibilidad de personal e información, sino en implicación de los órganos directivos, tanto para lograr la colaboración de todos los departamentos implicados como, por otra parte, para mostrar su compromiso en la consideración de los resultados obtenidos.

Por otra parte, el reverso positivo de esta complejidad es que el mismo proceso de elaboración del indicador supone ya un primer paso importante de cara a la evaluación de la actuación en concreto, no solo por parte del equipo auditor sino también y fundamentalmente para los gestores y la dirección, ya que se verán obligados a explicitar, sistematizar y ponderar los objetivos a alcanzar, a determinar los recursos necesarios para la implementación de la actuación y a estimar, de forma consistente, los resultados a obtener así como, en su caso, los posibles efectos adversos (y su coste) que pueda plantear la actuación.

Finalmente, cabe destacar que, una vez fijados los parámetros principales y determinadas las fuentes de información, el seguimiento del indicador será más sencillo, de forma que durante la implementación de la actuación puedan determinase la desviaciones con respecto a las estimaciones realizadas y corregir las hipótesis del estudio, en su caso, así como la propia actuación, de forma que los órganos directivos tengan la posibilidad de redirigir las políticas hacia los fines deseados, y por otra parte se pueda dar cuenta a la ciudadanía del éxito y retorno de las actuaciones concretas desarrolladas por la administración.

El procedimiento para el cálculo del ROI de proyectos tributarios no difiere en gran medida de los procedimientos utilizados para el cálculo del ROI en otros ámbitos donde está más extendido, como el marketing, la publicidad o la formación. Es más, al tratarse la tributación de un campo esencialmente económico gran parte de los objetivos se expresarán de forma natural a través de valores monetarios, lo que aligerará, al menos en parte, el procedimiento de análisis de la información.

Uno de los aspectos clave en la determinación del procedimiento de cálculo del ROI es sin duda la definición del proyecto a estudiar. Es necesario, o al menos, conveniente, que la actuación a evaluar esté adecuadamente definida y sistematizada y que cuente con unos objetivos claros, que, aunque no dispongan aún de indicadores o previsiones de cumplimiento, sí estén al menos expresados de forma explícita por los responsables del proyecto. En caso de no ser así, todo ese trabajo de determinación y expresión de objetivos deberá ser desarrollado en el momento de cálculo del ROI.

Si bien este paso puede resultar aparentemente innecesario o resultar obvio, no siempre las políticas públicas que se ponen en marcha cuentan con objetivos explícitos y concretos, ya que muchas veces se trata de políticas continuistas o realizadas por imitación, cuando no por presión popular o acuerdo puramente político, sin que exista previamente una fase de diseño consistente que determine de forma concreta los objetivos que se pretende alcanzar y evalúe de rigurosamente la mejor actuación posible para alcanzarlos.

Como ya se ha señalado, por tanto, deben formar parte del procedimiento de cálculo del ROI todos los elementos de diseño de la actuación a estudiar, bien incorporándolos si ya se hubieran elaborado, bien elaborándolos a posteriori o bien realizando el cálculo de forma paralela al diseño de la medida.

En cualquier caso, el procedimiento de cálculo del ROI deberá abordarse en varias fases:

1. Diseño de la actuación.
2. Planificación de la evaluación.
3. Recopilación de datos.
4. Análisis de los datos.
5. Cálculo del ROI.

A continuación, vamos a detenernos en los principales aspectos de cada fase, de acuerdo con el siguiente esquema:

4.1  Diseño de la actuación

Con objeto de poder realizar el cálculo del ROI de una política o proyecto es necesario que este se encuentre conveniente definido y sistematizado, y, en caso de no estarlo, proceder a definirlo con carácter previo a cualquier actuación de evaluación.

En todo caso, deberá describirse de forma concreta en qué va a consistir la actuación a evaluar, cuáles son sus principales aspectos, en qué marco temporal se va a desarrollar, qué recursos va a ser necesario poner en marcha, a partir de qué momento se espera que tenga efecto y cuáles son los objetivos que se persigue a través de esa actuación.

Este último aspecto es imprescindible a la hora de poder evaluar la actuación, por lo que, si no se han explicitado con carácter previo, es necesario que de cara a la evaluación los gestores responsables de la actuación determinen cuál es la meta que se pretende alcanzar a través de la medida, como por ejemplo, un incremento de la recaudación, una reducción de los niveles de fraude, una disminución del gasto de gestión o una mejora en los niveles de servicio a la ciudadanía.

En caso de que se pretenda la consecución de varios objetivos, o se observe que la actuación puede tener efectos beneficiosos en diferentes ámbitos, será preciso que se realice una priorización de estos objetivos.

Por otra parte, en el diseño de la medida, también tendrán que recogerse los medios que se van a destinar a la implementación de la actuación, recogiendo de esta forma todas las posibles fuentes de gasto directo que conlleve la medida: personal implicado, servicios externos a contratar, disponibilidad de medios, etcétera.

Finalmente, y aunque se haya realizado de forma implícita desde el momento en que se empezó a concebir la actuación, es recomendable realizar un análisis de factibilidad en base al diseño inicial planteado respondiéndose a la pregunta ¿es factible el proyecto? Lo que implica a su vez responder a ¿se dispone de los medios precisos para la puesta en marcha del proyecto? ¿se puede poner en marcha el proyecto en el plazo de tiempo estimado? ¿es el tiempo estimado adecuado para producir efectos? ¿los efectos que produce la medida van a conducir a los objetivos previstos? y, finalmente ¿va a ser posible medir de forma adecuada los efectos de la actuación?

Si alguna de las preguntas respondidas no es afirmativa, deberá reconsiderarse el diseño de la actuación, o en su caso la posibilidad de evaluarla. En caso de ser afirmativas las respuestas se avanzará a la siguiente fase de la evaluación.

4.2   Planificación de la evaluación

Una vez diseñada la actuación es necesario traducirla a los parámetros que servirán de base para el cálculo del ROI. En este sentido, los objetivos explicitados en la fase anterior deberán sintetizarse en indicadores de referencia.

Estos indicadores deben reunir varias cualidades, así deberán ser numéricos, medibles, objetivables, claros, descriptivos y relevantes con respecto al objetivo que quieran referenciar.

En algunos casos, los indicadores serán inmediatos con respecto al objetivo, por ejemplo, si el objetivo buscado consiste en incrementar la recaudación impositiva, el indicador será el nivel de recaudación. No obstante, en otros casos los objetivos no podrán tener un indicador de referencia tan directo y claro. Así, si el objetivo es mejorar la atención al ciudadano, podremos utilizar indicadores como tiempos de espera en oficina o en atención telefónica, nivel de satisfacción en base a encuestas, porcentaje de incidencias resueltas en la primera consulta, etcétera.

Además, deberá atenderse también al coste y disponibilidad de la información sobre estos indicadores, de forma que no interfieran con la factibilidad de la evaluación.

Por otra parte, se aislarán también adecuadamente los datos referidos al coste de la medida, determinado ya con exactitud los medios a utilizar, así como identificando, en su caso, posibles impactos negativos que pudieran producirse a consecuencia de la actuación y que pudieran suponer costes adicionales a considerar.

Finalmente, y de forma paralela a la definición de los indicadores, también se identificará a los gestores clave en función de sus áreas de competencia y en la medida en que dispongan de conocimiento y acceso a información sobre los distintos datos a recabar.

Una vez determinados todos los indicadores de referencia, tanto en lo referido a los objetivos que se prevé alcanzar como a los medios que se estiman necesarios para la puesta en marcha de la actuación pude pasarse a la fase de recogida de datos.

4.3  Recogida de datos

En esta fase se procederá a la recopilación de los datos referidos a los indicadores de referencia.

Debe destacarse que esta recogida de datos variará en función de la fase temporal en la que estemos realizando la evaluación. Así, si la evaluación se está realizando exante no estaremos aquí ante una recogida de datos como tal, sino al establecimiento de previsiones, mientras que, si la evaluación se realiza durante la puesta en marcha de la actuación o una vez finalizada esta, sí se tratará de una recogida de datos reales.

Con respecto al establecimiento de previsiones, debe en cualquier caso evitarse en la medida de lo posible la arbitrariedad en las cifras a obtener, de forma que la estimación sea lo más realista posible. En el caso de evaluaciones previas, el rigor en la estimación de las previsiones es fundamental para evitar la puesta en marcha de políticas públicas ineficientes, poco adecuadas o excesivamente costosas, por lo que es necesario realizar un esfuerzo adicional para evitar los prejuicios y los sesgos de confirmación en la elaboración de previsiones.

Para la realización de una estimación rigurosa la principal herramienta serán los cuestionarios a los gestores clave identificados en la fase anterior, mediante los cuales plantearán sus previsiones sobre los distintos indicadores de referencia. Estos cuestionarios deberán reunir al menos las siguientes características:

• Se elegirá a los gestores en función de sus áreas de competencia y se les inquirirá exclusivamente sobre los indicadores de su conocimiento.
• Los cuestionarios deberán ser siempre por escrito y de carácter formal.
• Serán cuestionarios individuales, de forma que se puedan estimar valores medios, así como detectar dispersiones elevadas en las respuestas que puedan conducir a un cuestionamiento contradictorio de las previsiones.
• Las estimaciones deberán ser consistentes y, siempre y cuando sea posible, motivadas.
• Se realizarán las estimaciones con el máximo nivel de desagregación disponible, tanto temporal como modal, ya que las previsiones obtenidas de la agregación de estimaciones pormenorizadas obtienen un mayor grado de certeza.

Por su parte, en el caso de la recogida de datos durante o después de la actuación se acudirá directamente a las fuentes, bien a los registros, bases de datos, sistemas informáticos, etcétera.

En el caso de la recogida de datos de carácter cualitativo a obtener directamente usuarios o receptores de la política será preciso acudir a herramientas demoscópicas como encuestas, grupos de discusión, entrevistas a expertos, etc. Esto último tendrá un coste tanto temporal como económico que deberá ser tenido en cuenta a la hora de planificar la evaluación, por lo que habrá que intentar recurrir a este tipo de indicadores de referencia solo cuando resulte imprescindible y no exista una alternativa cuantitativa adecuada.

4.4   Análisis de la información

La siguiente fase, una vez recopilados todos los datos necesarios de los indicadores de referencia, será el análisis de la información.

Tres van a ser los aspectos fundamentales que se aborden en esta fase a fin de conseguir trasladar la información a cifras homogéneas que permitan el cálculo del ROI:

1. Aislar adecuadamente el efecto de las medidas, de forma que se pueda identificar con relativa certeza el efecto de la actuación evaluada en los indicadores de referencia.
2. Estimar e imputar los gastos totales de la actuación.
3. Convertir en valores monetarios aquellos indicadores expresados en otro tipo de variables.

4.4.1 Aislar los efectos

El primer aspecto que abordar no está exento de complejidad y, en su caso, de ciertas dosis de arbitrariedad que tendrán que ser minimizadas en la medida de lo posible. Para obtener una valoración adecuada de los beneficios obtenidos resulta preciso determinar qué parte de la variación observada en los indicadores de referencia ha sido motivada por la actuación objeto de estudio.

Para ello deberá aislarse el efecto de la medida de otras variaciones. Así, deberá delimitarse el efecto que pueda imputarse a otras causas, como variaciones tendenciales u orgánicas, causas medioambientales, o efectos derivados de otras medidas que pudieran haberse abordado en el mismo periodo. De esta forma si, por ejemplo, se quiere evaluar el efecto de una determinada política en la recaudación del IBI habrá que descontar de la variación observada en la recaudación la variación tendencial que se viniera manteniendo históricamente, también habrá que estimar la influencia de la situación económica general, así como de otras medidas puestas en marcha que hubieran podido influir también en la recaudación del tributo.

Para aislar los efectos existen en el campo de la evaluación diferentes técnicas, entre las que cabe destacar a título indicativo:

• Opinión de los gestores: al igual que en el punto anterior, esta será la principal fuente de información. Los requisitos serán los mismos que los que se establecieron para los cuestionarios de estimación de previsiones.
• Establecimiento de un grupo de control: si bien en ciencias sociales es complicado la reproducción de condiciones de laboratorio, muchas veces es posible estudiar de forma comparativa el comportamiento de un grupo no afectado por la medida objeto de análisis. Así, en el ámbito tributario se podría estudiar la evolución de las variables en grupos de contribuyentes no afectados por la actuación, o en otros tributos distintos, de forma que comparativamente se puedan observar diferencias en los resultados de los distintos grupos.
• Establecimiento de tendencias: como se ha señalado anteriormente, debe aislarse el efecto de la actuación concreta de las tendencias de largo plazo y los factores medioambientales. Así, si por ejemplo se quiere evaluar el efecto de una medida de refuerzo de la atención telemática, habría que descontar del incremento de gestiones telemáticas observadas el número previsible de gestiones que se hubieran producido de haber seguido la tendencia de los ejercicios anteriores, fuera esta lineal o parabólica. También se pude proceder al estudio de  medias móviles, correlaciones, regresiones a la media, nubes de datos, etcétera.

Estas técnicas podrán utilizarse combinadas, a fin de obtener la estimación más objetiva posible de los efectos de la medida en los indicadores de referencia.

4.4.2 Estimación de los gastos

Del mismo modo que se han aislado los efectos del programa, deben también evaluarse lo gastos en los que se ha incurrido o se prevé incurrir en el desarrollo de la actuación. En este sentido deberán considerarse:

• Gastos directos: todos aquellos gastos destinados de forma directa a la actuación a evaluar: contratos que se hubieran suscrito para proveer la finalidad específica, medios adquiridos para la puesta en marcha, en su caso la imputación de la amortización de los bienes inventariables que se hayan utilizado, así como los gastos de personal directamente implicado. En este último aspecto además deberá determinarse por parte de los gestores el porcentaje de jornada que han destinado a la actuación los distintos efectivos empleados, a fin de poder hacer una correcta imputación de los gastos de personal.
• Gastos indirectos: se imputará también un porcentaje de los gastos de estructura y funcionamiento. Deberán identificarse los gastos generales y de estructura  que posibilitan el funcionamiento regular del organismo y determinar qué parte de esos gastos se debe asignar a la actuación concreta. Este porcentaje de asignación podrá determinarse en base a algún criterio de ponderación significativo, aunque normalmente se imputará en base al peso económico de los gastos directos de la actuación.
• Impactos negativos de la medida: deberá estimarse también en su caso los posibles impactos negativos de la actuación. Este concepto será sin embargo difícil de estimar y quizá solo sea identificable a posteriori. Su valoración tendrá unas dificultades similares a las que ya hemos planteado para la estimación de los efectos positivos de la medida.

4.4.3. Conversión de los indicadores en valores monetarios

Aunque como ya se ha señalado anteriormente, el campo tributario presenta la ventaja de que gran parte de las variables consideradas se expresan directamente en valores monetarios, no todas las medidas que se adopten van a tener una expresión dineraria, o al menos no todos los objetivos serán numéricos. Esto nos conduce a la necesidad de convertir a valores monetarios algunos de los indicadores de referencia que se hubiesen fijado en el diseño.

Así, un incremento de recaudación o una reducción de costes tienen una traducción inmediata a valores monetarios. Un descenso del nivel de fraude, o una mejora en la gestión que disminuya los plazos de devolución de ingresos indebidos puede ser interpretado también de forma rápida en importes dinerarios. No obstante, existirán otra serie de indicadores que no tengan una expresión monetaria inmediata, como pueda ser, a título de ejemplo, la mejora en los tiempos de espera en las oficinas de atención al contribuyente, la reducción de los tiempos de tramitación de expedientes o el incremento en la calidad percibida del servicio.

La conversión en valores monetarios no está, en cualquier caso, tampoco carente de arbitrariedad. Sin embargo, han sido desarrolladas una diversidad de técnicas de aproximación entre las que el analista habrá de elegir la más adecuada a cada caso. Así, en los ejemplos citados anteriormente puede acudirse a una valoración del tiempo total que se ha ahorrado a los contribuyentes calculado en base al coste medio de un trabajador. Del mismo modo, la reducción de tramitación puede valorarse en base al hipotético importe de intereses que se habrían devengado en el periodo que se ha reducido, etcétera.

En el caso del incremento de la calidad percibida del servicio nos encontraríamos ante una mayor dificultad para establecer una valoración monetaria objetiva, no obstante, se pueden realizar hipótesis, como que una mayor calidad en el servicio conduzca a una menor litigiosidad o un menor volumen de trabajo  derivado de errores, que nos permitirán establecer una aproximación económica.

En cualquier caso, en este apartado, la casuística es muy variada y las soluciones dependerán de la definición que se haya hecho de los indicadores de referencia, así como del énfasis que desde la dirección se quiera dar a cada objetivo, por lo que no pueden aportarse respuestas genéricas.

4.5 Cálculo del ROI

Finalmente, obtenidos todos los datos y traducidos a valores monetarios, se aplicará la fórmula del ROI recogida en los apartados anteriores, obteniendo la cifra del Retorno de la Inversión de la actuación o proyecto, de forma que se puedan tomar las decisiones de dirección de una forma informada y apoyada en evidencias, tanto si estas decisiones se refieren a la conveniencia de iniciar un proyecto o elegir entre varias posibles alternativas (análisis exante); si sirven para determinar si deben hacerse correcciones en una actuación, o prorrogarla o interrumpirla (análisis realizado durante la actuación); y además rendir cuentas a la ciudadanía sobre los resultados de una medida (análisis expost).

De todo lo anterior cabe extraer las siguientes conclusiones:

• La evaluación de las políticas públicas, si bien es una faceta relativamente menor u olvidada de la gestión pública, se configura como una herramienta fundamental para la mejora de las acciones de buen gobierno, no solo para alcanzar la eficiencia y la racionalidad en el gasto público, sino también un para cumplir con el principio de transparencia y dación de cuentas a la ciudadanía.
• El ROI es un indicador ampliamente utilizado, con origen en el mundo empresarial pero que cuyo uso se ha extendido como métrica de evaluación del rendimiento en múltiples campos, como la publicidad, el marketing, la formación o el análisis de políticas públicas.
• El ROI es un indicador sencillo, que establece una relación entre los beneficios y los costes de una actuación expresado en forma de porcentaje, permitiendo comparar de forma homogénea una amplia variedad de proyectos e inversiones, al reducir todos ellos a una cifra única.
• Un ROI tributario general aplicado al conjunto de la ATM resulta en un indicador demasiado generalista, que no permite identificar las mejoras de eficiencia y que resulta demasiado influido por variaciones exógenas difíciles de aislar, por lo que tiene baja relevancia informativa.
• Por contra, el ROI aplicado a proyectos y actuaciones concretas resulta un indicador con una gran potencialidad, versátil, así como relevante a la hora de informar decisiones basadas en la evidencia.
• Este indicador sin embargo plantea costes significativos, tanto de disposición de recursos como de tiempo, por lo que su aplicación debe ser puntual y contar con la implicación de los órganos directivos.
• El proceso de cálculo del ROI se desarrolla en varias fases, en las que será imprescindible la colaboración estrecha de los gestores del proyecto, únicos conocedores de la información específica requerida para un cálculo riguroso de todas las variables necesarias.

• Ley 27/2022, de 20 de diciembre, de institucionalización de la evaluación de políticas públicas en la Administración General del Estado.
• López Villa, Pedro. “Diseño de una metodología para el cálculo del ROI de la formación” Universidad Pontificia de Comillas.
• González Aparicio, Alfonso.  “El análisis Coste-Beneficio como herramienta para una gestión pública basada en evidencias”. Revista de Economía Industrial. Ministerio de Industria, Energía y Turismo.
• Phillips, Jack, and Phillips, Patricia., "Show me the money: How to determine ROI in people, projects, and programs”, Berrett- Koehler.
• Casillas Barral, Celia; Macía González, Mónica; Rico Callado, Javier. Guía de evaluación de diseño de políticas públicas. Instituto para la Evaluación de Políticas Públicas. Secretaría de Estado de Política Territorial y Función Pública.
• González de Herrero Fernández, Pablo; Castro Pérez, Luis; Farmer, Marie. “Una metodología para la medición de los costes administrativos: El standard cost model”. Papeles de Evaluación. Dirección General de Inspección, Evaluación y Calidad de los Servicios. Ministerio de Administraciones Públicas.