MODULO III
ÁREA DE AUDITORÍA DEDESEMPEÑO
NORMAS ISSAI. GT
PLANIFICACIÓN
GUATEMALA, AGOSTO 2018
AUDITORÍA DE DESEMPEÑO
INDICE
Planificación de la Auditoría ....................................................................................... 2
Cronograma de las actividades.............................................................................. 3
Análisis preliminar del objeto auditado................................................................. 5
Aplicación de técnicas de diagnóstico .................................................................... 8
Elaboración de la matriz de planeamiento .................................................................. 10
a) Preguntas de auditoría ...................................................................................... 11
b) Criterios ............................................................................................................. 15
c) Información requerida ....................................................................................... 17
d) Fuentes de información .................................................................................... 18
e) Procedimientos de recolección de datos ....................................................... 19
f) Procedimientos de análisis de datos ................................................................ 21
g) Limitaciones ...................................................................................................... 22
h) Qué va a permitir decir el análisis..................................................................... 22
Ejemplo de una matriz de planeamiento.............................................................. 23
ALGUNOS CONCEPTOS APLICADOS ................................................................................. 25
Referencias .............................................................................................................. 28
1
AUDITORÍA DE DESEMPEÑO
PLANIFICACIÓN
(Planificación Estratégica)
Planificación de Auditoría
Los auditores deben planear la auditoría de manera que contribuya a una auditoría de
alta calidad que sea llevada a cabo de una forma económica, eficiente, eficaz, de
manera oportuna y de acuerdo con los principios de la buena gestión de proyectos.
Al planear la auditoría, es importante considerar:
1. El conocimiento previo y la información requerida para comprender a las
entidades auditadas, para permitir una evaluación del problema y riesgo, las
posibles fuentes de evidencia, la auditabilidad y la importancia del área
considerada para la auditoría;
2. Los objetivos, preguntas, criterios, tema y metodología de la auditoría
(incluyendo las técnicas que se utilizarán para la recolección de evidencia y para
la realización del análisis de la auditoría);
3. Las actividades necesarias, los requisitos de personal y habilidades (incluyendo
la independencia del equipo de auditoría, los recursos humanos y la posible
pericia externa), el costo estimado de la auditoría, los plazos e hitos clave del
proyecto, y los principales puntos de control de la auditoría.
Al planear la auditoría, el auditor debe diseñar los procedimientos de auditoría que se
utilizarán para reunir suficiente evidencia apropiada de auditoría. Esto puede ser
abordado en diversas etapas:
Decidir el diseño general de auditoría (qué preguntas hacer, por ejemplo,
explicativo / descriptivo / evaluativo);
Determinar el nivel de observación (por ejemplo, mirar un proceso o archivos
individuales);
Metodología (por ejemplo, análisis completo o de una muestra);
Técnicas de recolección de datos específicos (por ejemplo, entrevista o grupo
de enfoque).
2
AUDITORÍA DE DESEMPEÑO
Los métodos de recolección de datos y técnicas de muestreo deben ser elegidos
cuidadosamente. La fase de planificación también debe incluir el trabajo de
investigación dirigido a la creación de conocimiento, probando varios diseños de
auditoría y verificando si los datos necesarios están disponibles. Esto hace que sea más
fácil elegir el método más apropiado de auditoría.
La alta dirección y la operativa, así como el equipo de auditoría, deben ser plenamente
conscientes del diseño general de auditoría y lo que éste implica. Las decisiones sobre
el diseño general de auditoría y sus consecuencias en términos de recursos, a menudo
implican a la alta dirección de la EFS, quien puede asegurarse de la existencia de las
habilidades, recursos y capacidades para abordar los objetivos de la auditoría y las
preguntas de auditoría.
Al planear una auditoría, los auditores deben evaluar el riesgo de fraude. Si es de
importancia significativa dentro del contexto de los objetivos de auditoría, los auditores
deben comprender los sistemas relevantes de control interno y examinar si hay signos
de irregularidades que dificulten el desempeño. Ellos también deben determinar si las
entidades en pregunta han tomado las acciones apropiadas para abordar
recomendaciones de auditorías previas u otras revisiones que sean de relevancia para
los objetivos de la auditoría.
Por último, los auditores deben buscar tener contacto con las partes interesadas,
incluyendo científicos u otros expertos en el campo, con el fin de crear el conocimiento
adecuado en relación, por ejemplo, con buenas o mejores prácticas. El objetivo general
en la fase de planeación es decidir, mediante la creación de conocimiento y teniendo
en cuenta una variedad de estrategias, cómo llevar a cabo la auditoría de mejor manera.
En el planeamiento de una auditoría, algunas actividades son fundamentales para que
se tenga una visión clara del direccionamiento del trabajo y para garantizar su calidad.
Vea las actividades de la etapa de planeamiento de la auditoría:
3
AUDITORÍA DE DESEMPEÑO
El planeamiento busca:
Delimitar el objetivo y el alcance de la auditoría;
Definir la estrategia metodológica que se va a adoptar y estimar los recursos;
Los costos y el plazo necesarios para su realización;
El establecimiento de buenas relaciones con los gestores, desde el inicio de los
trabajos, es de suma importancia para el éxito de la auditoría.
Especial atención debe ser dada a la cuidadosa organización de los contactos con los
gestores, desde la fase de planeamiento. El contacto inicial debe ser por teléfono,
seguido de una reunión en que el equipo de auditoría, acompañado del supervisor,
presenta los objetivos del trabajo para el gestor y su equipo. Se debe solicitar la
presencia del representante del control interno. El objetivo de esta reunión inicial,
además de las presentaciones de los equipos de auditoría y de la institución o programa
auditado, es aclarar la modalidad de auditoría que será desarrollada y su finalidad, las
principales dimensiones de análisis (economía, eficiencia, eficacia y efectividad), las
etapas y los plazos previstos para la realización del trabajo.
4
AUDITORÍA DE DESEMPEÑO
Es fundamental destacar la importancia de la colaboración del gestor y la garantía de
su participación en todas las fases del trabajo, resaltándose el envío del informe
preliminar para su análisis y comentarios. La actitud del equipo de auditoría debe
favorecer la confianza mutua y la interacción productiva a lo largo de todo el trabajo
sin descuidar, sin embargo, la observancia de límites necesarios para salvaguardar su
independencia en la conducción de la auditoría (ISSAI 3000/4.4, 2004; ISSAI
200/2.25/2.29, 2001).
Cronograma de las actividades
Para garantizar la realización de todas las actividades señaladas anteriormente, debe
elaborarse un cronograma en el primer momento del planeamiento. El cronograma debe
contener:
La descripción de las tareas que se van a ejecutar;
Los responsables por las tareas;
El plazo para ejecución de las tareas.
Ese instrumento permite que el equipo planee y organice sus actividades, para facilitar
la asignación de sus miembros de acuerdo con las tareas necesarias y el tiempo
disponible.
El cronograma debe ser acordado entre los miembros del equipo y ser sometido al
supervisor, que lo utilizará para el acompañamiento del desarrollo de los trabajos. Para
facilitar esa tarea, también pueden usarse software específicos de seguimiento de
proyectos. Corresponde al coordinador del equipo asegurar que el trabajo sea planeado
correctamente y que los demás miembros del equipo y los gestores del objeto de la
auditoría estén suficientemente informados acerca del propósito del planeamiento.
Es importante que todos los miembros del equipo conozcan el plazo final para la
conclusión de cada tarea y que la información recogida sea diseminada entre todos.
Los componentes del equipo de auditoría deben informar al coordinador y, si es
necesario, al supervisor sobre las limitaciones o trabas al cumplimiento de los plazos y
tareas acordados inicialmente.
Reuniones cortas y periódicas son importantes y necesarias para que el equipo nunca
deje de interactuar y tenga uniformidad de entendimiento con respecto a las
conclusiones de cada tarea y la elaboración de los papeles de trabajo. Puntos de vista
y posiciones antagónicas siempre van a existir. Se debe buscar no perder demasiado
tiempo con discusiones poco importantes o improductivas; solucionar rápidamente
problemas o conflictos, y cumplir las actividades oportunamente.
5
AUDITORÍA DE DESEMPEÑO
El equipo debe presentar al supervisor, en los plazos acordados, información
fundamentada y concluyente con respecto a las actividades ejecutadas y su impacto
sobre los rumbos de la auditoría, en relación con los datos obtenidos hasta el respectivo
punto del planeamiento.
Durante el planeamiento, es importante que el coordinador del equipo evalúe los plazos
estimados inicialmente. Si hay necesidad de readecuación, el coordinador del equipo
debe someter un nuevo cronograma de actividades al supervisor. Esa propuesta debe
ser hecha tan pronto como la necesidad sea identificada, para que las providencias sean
enviadas oportunamente.
Análisis preliminar del objeto auditado
El análisis preliminar del objeto de la auditoría consiste en recopilación de información
relevante sobre el objeto en estudio para obtener conocimiento necesario para la
formulación de las preguntas que serán examinadas en la auditoría.
La comprensión del objeto de la auditoría permite identificar los riesgos y puntos críticos
existentes. La extensión y el nivel de detalle de los datos que serán recolectados deben
tomar en consideración el tiempo y los recursos disponibles, y los objetivos de la
auditoría. Presentamos algunas sugerencias de información sobre el objeto de auditoría
a ser recogida y estudiada por el equipo.
6
AUDITORÍA DE DESEMPEÑO
El funcionamiento del objeto auditado puede ser:
Procesos gerenciales;
Bases de datos existentes;
Ambiente de control;
Restricciones enfrentadas (imposiciones legales y limitaciones impuestas por
la competencia, por la tecnología, por la escasez de recursos o por la
necesidad de cooperar con otras entidades).
7
AUDITORÍA DE DESEMPEÑO
Aplicación de técnicas de diagnóstico
Aún en la fase de análisis preliminar, pueden ser utilizadas técnicas de diagnóstico para
facilitar la interpretación sistemática de la información recolectada y la identificación de
los principales problemas relativos al desempeño del objeto seleccionado.
El cuadro siguiente resume las principales técnicas de diagnóstico, sus objetivos y la
información que ellas podrán suministrar al auditor en la fase de planeamiento de la
auditoría.
8
AUDITORÍA DE DESEMPEÑO
9
AUDITORÍA DE DESEMPEÑO
Elaboración de la matriz de planeamiento
Una vez definidos el problema y las preguntas de auditoría, el equipo debe elaborar un
cuadro resumen, denominado Matriz de Planeamiento, en el que conste la propuesta de
trabajo de la auditoría, con todos los elementos relevantes de lo que se pretende realizar
durante la etapa de ejecución. La matriz de planeamiento posibilita al auditor
esquematizar de forma clara y concisa lo que se desea analizar, la información que se
desea obtener y cómo será obtenida. Información que deberá constar en la Matriz de
Planeamiento:
• Problema de auditoría;
• Preguntas de auditoría;
• Información requerida para responder a la pregunta de auditoría;
• Fuentes de información;
• Procedimientos de recolección de datos;
• Procedimientos de análisis de datos;
• Limitaciones a los trabajos de auditoría;
• Qué va a permitir decir el análisis.
Matriz de Planeamiento
PROBLEMA: expresar, de forma clara y objetiva, aquello que motivó la auditoría.
Pregunta: Especificar los términos clave y el objetivo de la cuestión: -criterio; -período de cobertura; -actores involucrados; -cobertura
geográfica.
(a)
Criterios Información requerida Fuentes de Procedimientos Procedimientos de Limitación Qué nos permitirá
información para recopilación análisis de datos decir el análisis
de datos
Identificar la fuente Identificar la información Identificar las Identificar las Identificar las técnicas que Especificar las Aclarar precisa-mente
más adecuada para necesaria para responder a la fuentes de cada técnicas de se van a emplear en el limitaciones qué conclusio-nes o
el cuestión de auditoría ítem de recolección de análisis de datos y describir con respecto: - resultados pueden ser
criterio ( leyes y información datos que serán los respectivos a la estrategia alcanzados
reglamentos, la utilizadas y procedimientos metodo-lógica
fundamentación describir los adoptada; -al
científica, literatura respectivos acceso a
especializada, procedimientos personas e
normas información; -
profesionales y/o a la calidad de
buenas prácticas) la información;
-a las
condiciones
operativas
para la
realización de
los trabajos.
(b) (c) (d) (e) (f) (g) (h)
10
AUDITORÍA DE DESEMPEÑO
(a) Pregunta de auditoría
La pregunta de auditoría es el elemento central en la determinación de la dirección de
los trabajos de auditoría, de las metodologías y técnicas que se van a adoptar y de los
resultados que se pretenden alcanzar.
Al formular las preguntas de auditoría, el equipo está, al mismo tiempo, estableciendo
con claridad el foco de su investigación y los límites y dimensiones que deberán ser
observados durante la ejecución de los trabajos.
En ese sentido, la adecuada formulación de las preguntas es fundamental para el éxito
de la auditoría de desempeño, porque tendrá implicancias en las decisiones con
respecto a los tipos de datos que serán recolectados, a la forma de recolección de datos
que será empleada, a los análisis que serán efectuados y a l as conclusiones que serán
obtenidas.
En la elaboración de las preguntas de auditoría, se deben tomar en cuenta los siguientes
aspectos:
Claridad y especificidad;
Uso de términos que puedan ser definidos y mensurados;
Viabilidad investigativa (posibilidad de ser respondida);
Articulación y coherencia (el conjunto de las preguntas elaboradas debe ser
capaz de aclarar el problema de auditoría previamente identificado).
El tipo de pregunta que se va a formular tendrá una relación directa con la naturaleza
de la respuesta y el tipo de información que constará en el informe. Las preguntas son
clasificadas en:
Descriptivas Son preguntas del tipo ¿Quién? ¿Dónde? ¿Cuándo? ¿Qué? Son
formuladas para proveer información relevante sobre el objeto de la
auditoría y, en gran parte, deben ser respondidas durante la fase
de planeamiento de la auditoría.
Ejemplo de pregunta descriptiva: ¿Cómo están poniendo en
práctica los ejecutores locales los requisitos de acceso establecidos
por el programa?
Normativas Son aquellas que tratan de comparaciones entre el desempeño real
y aquel establecido en una norma, estándar o meta, tanto de
carácter cualitativo como cuantitativo.
Ejemplo de pregunta normativa: ¿El programa ha alcanzado las
metas previstas?
11
AUDITORÍA DE DESEMPEÑO
Evaluativas Las preguntas evaluativas se refieren a la efectividad del objeto
de auditoría y van más allá de las preguntas descriptivas y
normativas para enfocar lo que habría ocurrido en caso de que el
programa o la actividad no hubieran sido ejecutados.
Una pregunta evaluativa busca saber qué diferencia hizo la
intervención gubernamental para la solución del problema
identificado. El objetivo de la pregunta abarca también los efectos
no esperados, positivos o negativos, provocados por el programa.
Ejemplo de pregunta de causa y efecto o de impacto: ¿En qué
medida los efectos observados pueden ser atribuidos al
programa?
Exploratorias Destinadas a explicar eventos específicos, aclarar los desvíos con
relación al desempeño estándar o las razones de ocurrencia de
un determinado resultado.
Ejemplos de pregunta exploratoria: ¿Cuáles son los principales
factores que provocan la crisis del sistema de transporte aéreo?
¿Qué factores explican el fuerte aumento en los gastos en pagos
de beneficios por asistencia social - enfermedad (auxílio- doença,
nombre del programa en portugués) a lo largo de la última
década?
La formulación de la pregunta de auditoría es un proceso interactivo y dependiente de
la información recogida en la fase de planeamiento y de aquello que se quiere investigar.
12
AUDITORÍA DE DESEMPEÑO
Aunque no exista un método fácil para llegar a las preguntas de auditoría, el auditor
puede seguir algunos pasos que lo ayudarán a definir las preguntas.
1er paso – describa el problema
En base a la información propiciada por el análisis preliminar del objeto de auditoría,
exprese, de forma clara y objetiva, aquello que motivó la auditoría. La descripción del
problema debe ser suficiente para orientar el enfoque de la auditoría.
2° paso – establezca preguntas
El problema debe ser subdividido en partes que no se sobrepongan. El equipo debe
hacer un brainstorm (lluvia de ideas) para identificar posibles preguntas que, una vez
respondidas, puedan dilucidar el problema formulado.
Enseguida, se debe establecer una jerarquía de preguntas como en la figura abajo.
No hay reglas rígidas sobre cuándo formular subpreguntas de auditoría. Aún así, las
preguntas deben ser enfocadas, específicas y tratar de apenas un tema.
Subpregunta 1.1
Pregunta 1
Subpregunta 1.2
Subpregunta 2.1
Pregunta 2
Subpregunta 2.2
13
AUDITORÍA DE DESEMPEÑO
Ejemplo ** Uso estrictamente didáctico
Problema: A partir del año 2000, los gastos gubernamentales con el beneficio de auxilio-
enfermedad tuvieron aumento expresivo. Por eso, para asegurar la prestación de
servicios con calidad y cohibir el desperdicio de recursos públicos, es importante
investigar la adecuación de los mecanismos de control del IGSS para administrar la
concesión y manutención de ese beneficio, así como evaluar la contribución de los
servicios de rehabilitación profesional de los beneficiarios, buscando una reducción de
costos.
Pregunta 1: ¿Los controles internos sobre el auxilio-enfermedad son adecuados para
garantizar, con razonable seguridad, el pago de esos beneficios?
Subpregunta 1.1: ¿Los controles internos sobre las actividades de concesión de
los beneficios de auxilio-enfermedad son adecuados para garantizar, con
razonable seguridad, el pago de esos beneficios?
Subpregunta 1.2: ¿Los controles internos sobre las actividades de manutención
de los beneficios de auxilio-enfermedad son adecuados para garantizar, con
razonable seguridad, el pago de esos beneficios?
Pregunta 2: ¿Cuál es la cobertura de atención del servicio de rehabilitación profesional
y cuál es su impacto económico en los gastos con el beneficio?
Subpregunta 2.1: ¿La estructura física del servicio y el número de servidores
asignados son suficientes para la atención de la demanda por rehabilitación
profesional?
Subpregunta 2.2: ¿Cuál economía es que el servicio de rehabilitación posibilita
y cuál es su potencial de crecimiento?
3ro paso – pruebe sus preguntas
Identifique las preguntas de difícil respuesta y considere cómo las dificultades pueden
ser solucionadas. Confronte las preguntas con los recursos disponibles para la
realización de la auditoría, definidos en términos de costo, plazos de ejecución y de
personal. Considere también las competencias del equipo, confróntelas con las
necesarias para ejecución del proyecto de auditoría.
14
AUDITORÍA DE DESEMPEÑO
4to paso – elimine las preguntas no esenciales
Descarte las preguntas desprovistas de potencial para mejorar el desempeño o que no
tengan solución viable.
Por lo tanto, los criterios para la elección o exclusión de determinada pregunta son la
relevancia de las conclusiones que podrán ser alcanzadas y la viabilidad de la estrategia
metodológica requerida para responderla de forma satisfactoria.
Priorice las preguntas y decida cuáles deben ser estudiadas.
(b) Criterios
Los criterios de auditoría son estándares de desempeño utilizados para medir la
economía, eficiencia, eficacia y efectividad del objeto de auditoría.
Son esenciales para todo tipo de auditoría, excepto para las que tratan de cuestiones
descriptivas o exploratorias.
Representan el estado ideal o deseable de aquello que se examina y ofrecen el contexto
para que se evalúen las evidencias y se comprendan los hallazgos, conclusiones y
recomendaciones de la auditoría.
Por ejemplo, si el aspecto que estuviera siendo examinado es la seguridad del depósito,
uno de los estándares puede ser la cantidad de extintores de incendio recomendada por
la corporación de los bomberos o el almacenamiento de productos inflamables según
las normas de los fabricantes.
Los criterios de auditoría son fijados en el transcurso de la planificación, al final del cual
deben estar suficientemente precisados y detallados, para que puedan servir de base
a:
La definición del marco conceptual básico que facilite la comunicación entre los
integrantes del equipo, los niveles jerárquicos superiores de la EFS y los
gestores;
La delimitación del alcance de la auditoría para volver explícitos sus objetivos;
La orientación de la recolección de datos con indicación de cómo obtener
evidencias significativas;
La fijación de parámetros marcadores de las conclusiones y recomendaciones
de la auditoría.
15
AUDITORÍA DE DESEMPEÑO
Dependiendo del caso examinado, la fuente más adecuada para el criterio de auditoría
será o la norma oficial, expresada en leyes y reglamentos, o la fundamentación científica,
teniendo como referencia literatura especializada, o normas profesionales y buenas
prácticas.
En las auditorías operacionales, la elección del criterio de auditoría es más flexible y
frecuentemente contiene elementos de discreción y de juicio profesional.
Entre las fuentes que pueden ser empleadas para la definición de criterios de auditoría,
están:
Las leyes y regulaciones que rigen el funcionamiento de la entidad auditada;
Las decisiones tomadas por los Poderes Legislativo o Ejecutivo;
Las referencias a comparaciones históricas y comparaciones con la
mejor práctica;
Las normas y valores profesionales;
Los indicadores claves de desempeño establecidos por la entidad auditada
o por la Administración;
La opinión de especialista independiente;
Los criterios utilizados en auditorías similares o empleados por otras
entidades de fiscalización superior – EFS;
Las organizaciones que realicen actividades semejantes o tengan
programas similares.
La bibliografía especializada.
16
AUDITORÍA DE DESEMPEÑO
(c) Información requerida
Después de formuladas las preguntas de auditoría, será necesario identificar la
información que debe ser obtenida por el equipo de auditoría para responderlas.
Para determinar el tipo de información necesaria para responder a la pregunta de
auditoría, los términos clave empleados en la pregunta deben ser definidos y sus
dimensiones o variables identificadas.
Por ejemplo, al formular una pregunta que abarca el impacto de una iniciativa
gubernamental dirigida para la mejora del nivel de enseñanza, se debe definir lo que se
entiende por “mejora del nivel de enseñanza”, identificándose las dimensiones
involucradas en ese concepto.
La tarea de traducir conceptos abstractos en variables mensurables que definan
indicadores apropiados es indispensable para que se pueda especificar con claridad el
tipo de información que se va a recolectar y medir el alcance de los objetivos
perseguidos por la administración.
Vea un ejemplo de tipo de información requerida.
Ejemplo de tipo de información requerida (para uso didáctico)
Al formular una pregunta que abarca el impacto de una iniciativa gubernamental
dirigida al desarrollo personal, social y comunitario del joven carente, se debe
definir lo que se entiende por “desarrollo personal, social y comunitario del joven
carente”, identificándose las dimensiones involucradas en ese concepto.
Se pueden considerar, entre otras variables, las trayectorias escolares de los
jóvenes, los comportamientos, actitudes, creencias e información entre los
jóvenes, el grado de satisfacción del joven y de la familia con la iniciativa
gubernamental.
17
AUDITORÍA DE DESEMPEÑO
(d) Fuentes de información
Se debe identificar la fuente específica para cada tipo de información.
Ejemplos de fuentes de información:
a) Documentación legal e institucional que da soporte al objeto de auditoría;
b) Legislación presupuestaria (Plan Plurianual, Ley de Directrices Presupuestarias
Ley de Presupuesto Anual);
c) Misión declarada, planes estratégicos e informes de gestión;
d) Pronunciamientos hechos y decisiones tomadas por las autoridades
competentes;
e) Organigramas, directrices internas y manuales operacionales;
f) Actas de reuniones;
g) Sistemas de informaciones gerenciales;
h) Bases de datos informatizadas;
i) Sistemas de información de la administración pública;
j) Bibliografía especializada;
k) Gestores y expertos;
l) Beneficiarios de programas gubernamentales;
m) Informes y estudios producidos por fuente acreditada;
n) Medios de comunicación especializados.
Un cuidado especial se debe dedicar al uso de revistas, diarios y otras publicaciones
periodísticas, así como información de internet que, aunque puedan ofrecer información
de carácter general e indicar la relevancia de determinado tema, no son sometidas a
revisiones calificadas, propias de publicaciones científicas (revisión por pares).
Otras publicaciones, incluso de carácter oficial, deben ser interpretadas con reserva
ante la posibilidad de que presenten hechos selectivamente, para dar sustento a
determinado punto de vista.
18
AUDITORÍA DE DESEMPEÑO
(e) Procedimientos para recolección de datos
Las técnicas más utilizadas son: cuestionario, entrevista, observación directa y
utilización de datos existentes.
La utilización de datos nuevos, provenientes de cuestionarios o entrevistas o de
registros y anotaciones originarias de visitas del equipo a las instalaciones de proyectos,
ofrece la posibilidad de producir algo inédito y confiable, siempre que los beneficios
superen los costos incurridos.
Cuando se opta por utilizar datos existentes, el equipo debe evaluar la confiabilidad de
los datos, además de otros aspectos que pueden impactar en la calidad de las
evidencias que se van a obtener.
A continuación veremos, resumidamente, las características de las principales técnicas
de recolección de datos y aspectos relevantes de su aplicación en auditoría de
desempeño.
Técnicas Características Aplicación en auditoría de
desempeño
Cuestionarios Método estructurado de Los medios más utilizados son los recolección
de datos, por medio cuestionarios postales o vía internet. de formulario,
usado para Las principales desventajas son: -la cuantificar
información prueba previa y la realización de la
estandarizada, sobre gran investigación son demoradas; -
número de unidades de pesquisa. requiere conocimiento sobre
Permite: -comparar respuestas; - elaboración de cuestionarios y
realizar análisis estadístico; - diseño muestral; -es difícil garantizar
generalizar las conclusiones, en el rigor de la información brindada.
el caso de muestras aleatorias.
Entrevistas Método presencial de obtención Gran parte de la auditoría de
de información por medio de desempeño se basa en entrevistas.
preguntas y respuestas. Pueden De acuerdo con el objetivo de cada
ser individuales o colectivas, etapa del trabajo, son aplicadas:
estructuradas (preguntas entrevistas preparatorias; entrevistas
cerradas), no estructuradas para recolectar datos e
(preguntas abiertas) o informaciones; entrevistas para
semiestructuradas (dos identificar actitudes y argumentos;
modalidades de preguntas). entrevistas para generar y evaluar
ideas y sugerencias. Pueden ser
empleadas para confirmar hechos y
corroborar datos de otras fuentes o
explorar potenciales
recomendaciones.
19
AUDITORÍA DE DESEMPEÑO
Observación Registro presencial y sistemático Empleado principalmente para
directa de informaciones, predefinidas en obtener información contextualizada
guía. Requiere entrenamiento y sobre la forma de funcionamiento del
preparación específica en, por objeto auditado. Las ventajas de ese
ejemplo, técnicas de anotación de método pueden ser resumidas así
campo, así como capacidad de (PATTON, 1987): -permite al
concentración y percepción observador comprender el contexto
selectiva. El observador en el cual se desarrollan las
entrenado debe ser capaz de actividades; -permite al observador
recolectar información exacta, atestiguar los hechos, sin depender
válida y confiable. de información de terceros; -permite
que un observador entrenado perciba
aspectos que escapan a los
participantes, rutinariamente
involucrados con el programa; - puede
captar aspectos del programa sobre
los cuales los participantes no desean
hablar en una entrevista, por ser un
tema delicado o embarazoso;
-trae para el análisis las percepciones
del propio observador, que, cuando se
confrontan con las percepciones de
los entrevistados, proporcionan una
visión más completa del programa
estudiado; - permite que el
observador forme impresiones que
extrapolen lo que es posible registrar,
incluso en las más detalladas
anotaciones de campo, y que pueden
ayudar en la comprensión del
programa y de sus participantes.
Uso de datos El uso de datos existentes Es posible agregar valor y extraer
existentes requiere cuidados especiales información original de datos
por parte del equipo de existentes, identificando
auditoría. Además de la tendencias y examinándolas de
confiabilidad de los datos, modo creativo.
deben considerarse otras Si la auditoría está enteramente
preguntas: -¿Qué tipo de dato basada en datos existentes,
está disponible? ¿Se adapta a especialmente si estos son de
la pregunta que se pretende dominio público, el equipo debe
investigar? -¿Los datos están dedicar especial atención a la forma
completos y el período de de presentación de los datos y de
cobertura es suficiente para el comunicación más efectiva de la
análisis? -¿De qué forma está idea clave (NAO, 1997). El uso de
almacenado el dato? ¿Cuáles softwares especializados puede
son las limitaciones relativas al ayudar en la tarea de analizar y
20
AUDITORÍA DE DESEMPEÑO
formato de los datos y cuáles presentar datos de diferentes
son las dificultades existentes modos. Es fundamental tener en
para su obtención? -¿Qué cuenta que cualquier problema
actividades de recolección son relativo a la utilización de datos
realizadas regularmente? existentes y a sus posibles
¿Fue realizada recolección de limitaciones debe constar como
datos con objetivo específico? advertencia a las conclusiones
-¿Hay otras fuentes relevantes finales del informe de auditoría.
de datos para el tema que se va
a investigar?
(f) Procedimientos de análisis de datos
Se entiende por procedimiento de análisis de datos al modo como son organizados los
datos recolectados y como son investigadas las relaciones que se pretende establecer
entre las variables, buscando responder a las preguntas de auditoría.
El análisis de datos es un procedimiento interactivo, o sea, se realizan análisis iníciales
en la fase de planeamiento y, a medida que la auditoría avanza, los análisis son
refinados.
Amplia variedad de métodos de análisis pueden ser usados en auditoría de desempeño,
incluyendo análisis estadístico multivariado, análisis envolvente de datos, análisis de
regresión.
En el caso de análisis de datos recogidos por medio de cuestionarios, se puede generar
una base de datos y dar tratamiento estadístico a la información recolectada.
Actualmente, con los recursos informáticos, esas tareas fueron facilitadas, tanto en
relación con el cálculo, como en relación con la representación gráfica. El análisis de
frecuencias en tablas y el análisis gráfico son los dos métodos más comunes de análisis
de ese tipo de dato:
a) Tabulación de frecuencias y tabulaciones complejas para verificar relaciones - El
análisis debe ser realizado con la ayuda de software adecuado que permita el cálculo
de frecuencias, la prueba de hipótesis y la representación gráfica de los datos. Esas
técnicas son usadas para analizar datos recolectados por medio de cuestionarios o de
extracción de datos administrativos;
b) Análisis gráfico de datos: por medio del uso de gráficos (histograma, diagrama de
Pareto, diagrama de barras, sectograma (gráfico tipo pastel o pie chart), diagrama de
dispersión, diagrama de caja (box plot)) es posible sintetizar información y revelar
tendencias, regularidades, discontinuidades, desempeños extremos (buenos y malos),
desigualdades en la distribución de bienes y servicios públicos.
21
AUDITORÍA DE DESEMPEÑO
Muy común también es el análisis cualitativo, con base en juicio profesional del equipo
o de especialistas consultados, de la información recolectada o producida por el equipo,
registrada en mapas de proceso, indicadores de desempeño, documentos oficiales,
evaluaciones realizadas por otros agentes. El tipo de análisis depende del problema que
se va a investigar y de los recursos disponibles para el trabajo.
(g) Limitación
En ese elemento de la Matriz de Planeamiento, el equipo de auditoría debe especificar
las limitaciones inherentes:
1) A la estrategia metodológica adoptada;
2) A las características de la información que se pretenden recolectar; y
3) A las condiciones operacionales de realización de los trabajos.
Con respecto a la estrategia metodológica, se debe considerar que no hay estrategia
óptima o ideal, sino apenas aquella que, dadas las circunstancias, mejor se adapta a la
pregunta que se pretende investigar. Como siempre habrá algún tipo de limitación sobre
lo que puede ser concluido a partir de determinada metodología propuesta, lo mejor que
se puede hacer es identificar tales restricciones.
Con respecto a la información que se pretende utilizar en el análisis, es importante
mencionar qué tipo de dificultad se espera encontrar, tanto con relación al acceso a los
datos, como con relación a su calidad y confiabilidad.
El equipo de auditoría debe evaluar las alternativas existentes y estar preparado para
defender sus elecciones.
Además, cuando sea posible, debe indicar las medidas que serán adoptadas para
minimizar los riesgos correspondientes a las limitaciones identificadas.
(h) Qué nos permitirá decir el análisis
Ese elemento de la Matriz de Planeamiento de Auditoría registra cómo el análisis de los
datos responderá a la pregunta de auditoría. El propósito de esa información es aclarar
cuáles conclusiones o resultados se pretende alcanzar por medio del proyecto de
auditoría.
Está relacionado con la columna anterior de la matriz, pues lo que se espera obtener
del análisis está, naturalmente, condicionado por las limitaciones previamente
identificadas.
22
AUDITORÍA DE DESEMPEÑO
Ejemplo de Matriz de Planeamiento
23
AUDITORÍA DE DESEMPEÑO
24
AUDITORÍA DE DESEMPEÑO
ALGUNOS CONCEPTOS APLICADOS
Agregación de valor
Significa producir nuevos conocimientos y perspectivas sobre el objeto de estudio, a
partir de algunas situaciones.
Las siguientes situaciones pueden indicar la posibilidad de la auditoría de agregar valor
significativo:
a) D iscusión sobre una nueva política pública o cambio significativo en la
implementación de un programa u en la organización de ente gubernamental;
b) Surgimiento de nuevas o urgentes actividades o cambios de condición;
c) Escasez de auditorías anteriores o trabajos de otros órganos de investigación
o de control sobre el objeto de auditoría;
d) Poco conocimiento sobre la relación causa y efecto entre la acción del
gobierno y la solución de problemas.
Materialidad
Es la importancia relativa o representatividad del valor o del volumen de recursos
involucrados en determinado contexto.
El criterio de materialidad indica que el proceso de selección debe tomar en
consideración los valores involucrados en el objeto de auditoría, pues la auditoría debe
producir beneficios significativos. No siempre los beneficios de las auditorías de
desempeño son financieros, pero el perfeccionamiento de procesos en objetos de
auditoría con alta materialidad tiene alta probabilidad de generar economías o eliminar
desperdicios.
El volumen de recursos disponibles en el presupuesto es indicador de materialidad. Sin
embargo, en ambientes presupuestarios en los cuales existe gran diferencia entre lo
presupuestado, lo comprometido y lo pagado, el examen de los valores involucrados
en cada una de esas fases del gasto puede ser necesario. Además, en la fiscalización
del área de regulación, la dimensión económica del sector en el cual se inserta el objeto
de auditoría debe ser tomada en consideración.
25
AUDITORÍA DE DESEMPEÑO
Relevancia
Son preguntas de interés de la sociedad que están en debate público y son valorizadas
a partir de la opinión de varios sectores de la sociedad.
Para evaluar la importancia relativa del objeto de auditoría es necesario recopilar
información mediante la investigación en los sistemas disponibles y entrevistas con
stakeholders (partes involucradas).
Los medios que deben ser usados para contrastar la relevancia del posible objeto de
auditoría son: opinión de parlamentarios, de técnicos de las casas legislativas o de
institutos de investigación, de figuras prominentes de diversos sectores de la sociedad;
Relevamiento de alcance restringido
Permite profundizar el relevamiento para estudiar la viabilidad de realización de l a
fiscalización, o sea, examinar si el objeto de auditoría indicado es auditable, que es uno
de los posibles objetivos del relevamiento. Permite, también, verificar la pregunta de la
oportunidad de realización de la auditoría.
Como el relevamiento de alcance amplio busca identificar objetos de auditoría a corto,
medio y largo plazos, los cambios de condición pueden exigir la actualización de
información y la reevaluación de los criterios de selección.
En general, el estudio de viabilidad trae información sobre los principales procesos
operacionales y productos para aclarar la forma de ejecución de las acciones. Además,
se examinan:
a) La calidad de los indicadores de desempeño ya identificados, destacando
oportunidades de mejora;
b) La disponibilidad de datos y sistemas de información, abordando su confiabilidad y
cobertura;
c) Los informes gerenciales existentes y las evaluaciones anteriormente
efectuadas;
d) Las limitaciones a la ejecución de la auditoría;
e) La receptividad del gestor para participar de la fiscalización;
f) La necesidad de emplear habilidades especializadas en la auditoría;
g) Los posibles daños contra los objetivos del control externo, en caso de que la
fiscalización no sea realizada.
26
AUDITORÍA DE DESEMPEÑO
Vulnerabilidad
En el contexto del proceso de selección, las vulnerabilidades son situaciones o
propiedades intrínsecas del objeto de auditoría que pueden estar asociadas a la
ocurrencia de eventos adversos (ABNT, 2009). Dependiendo de la naturaleza del objeto
de auditoría que esté siendo seleccionado, es necesario investigar áreas específicas
referentes a la operación de programas de gobierno, organizaciones públicas o
municipios que se van a auditar. En este último caso, pueden ser examinadas
características relacionadas con el desarrollo institucional local.
Ejemplos de situaciones que pueden estar asociadas a la ocurrencia de eventos
adversos (ISSAI 3000/2.2, 2004):
Estructuras gerenciales complejas que envuelven diferentes organizaciones
gubernamentales, de una misma esfera o de esferas de gobierno diferentes, y
organizaciones no gubernamentales.
Falta de información confiable o actualizada sobre el desempeño del objeto
de auditoría, como alcance de metas, costos de los productos, público atendido.
Problemas de estructura, de planeamiento, de control.
Falta de claridad sobre objetivos, metas, responsabilidades, procesos de
toma de decisiones.
Problemas operacionales con sistemas informatizados.
Riesgo
Posibilidad de algo acontecer y tener impacto en los objetivos, siendo medido en
términos de consecuencias y probabilidades.
Consecuencia
Resultado de un evento que afecta a los objetivos.
Probabilidad
Grado de posibilidad de que un evento ocurra.
Evento
Ocurrencia o cambio en un conjunto específico de circunstancias; incidente.
Identificación de riesgos
Proceso para localizar, reconocer y describir riesgos.
Análisis de riesgo
Proceso de comprender la naturaleza del riesgo y determinar el nivel de riesgo.
Evaluación de riesgos
proceso de comparar los resultados del análisis de riesgo con los criterios de riesgo
para determinar si el riesgo y/o su magnitud es aceptable o tolerable.
27
AUDITORÍA DE DESEMPEÑO
REFERENCIAS
AMMANN, SafiraBezerra. Introdução. In: AMMANN, Safira Bezerra.
Ideologia do desenvolvimento de comunidade no Brasil. 5. ed. São Paulo:
Cortez, 1985.
ARAÚJO CINTRA, A. C. et. al. TeoriaGeral do Processo. São Paulo:
Malheiros, 2003.
Brasil. Tribunal deContas da União. Manual de Auditoria Operacional.
Brasília. Boletim do Tribunal de Contas da União Especial – v. XLIII, n. 4(2010).
CAMPOS, Ana Maria. Accountability: QuandoPoderemosTraduzi-la para o Português?
RAP, Rio de Janeiro, v. 24, n.2, p.30-50, fev/abr, 1990.
COHEN, E.; FRANCO, R. Avaliação de ProjetosSociais. Petrópolis: Vozes,1993.
CONSEJO CIENTÍFICO DEL CLAD (CLAD). La Responsabilizaciónem la Nueva
Gestión Pública Latinoamericana. Caracas: CLAD, 1999.
CONSTANZA, R.; PATTEN, B. C.Defining
andpredictingsustainability.EcologicalEconomics 15, n. 3, p. 193-196. (PDF Arquivo),
1995.
International Organization of SupremeAuditInstitutions (Intosai).General
Introductiontothe INTOSAI FinancialAudit(ISSAI 1000). Viena,2010. Disponívelem:
<http://www.issai.org/composite-344.htm>.Acesso em: 23 de outubro de 2012.
. General IntroductiontoGuidelinesonComplianceAudit(ISSAI4000). Viena,
2010. Disponívelem: <http://www.issai.org/composite-344.htm>. Acessoem: 23 de
outubro de 2012.
. ImplementationGuidelinesfor Performance Auditing (ISSAI 3000).Viena, 2004.
Disponívelem:<http://www.issai.org/composite-344.htm>.Acesso em: 23 de
outubro de 2012.
LIMA, D. H.O papel do Tribunal de Contas da Uniãonaresponsabilizaçãodos agentes
públicos pelo desempenho da açãogovernamental. Brasília,2004. 113 f.
Monografiaapresentada para obtençãodotítulo de Especialista em Controle Externo,
Instituto SerzedelloCorrêa.
28
AUDITORÍA DE DESEMPEÑO
MOLUND, S; SCHILL, G. Looking back, moving forward: SIDA Evaluation Manual.
Stockholm: Swedish International DevelopmentCooperationAgency-SIDA, p. 35-37,
2004.
POLLITT, Christopher et al. Performance orCompliance? Performance Audit and
Public Management in FiveCountries. Oxford UniversityPress:
Addison Wesley, 1999.
Clase 1 – ¿Qué es auditoría de desempeño? 20 TRIBUNAL DE CUENTAS DE LA
UNIÓN.
RAWLS, J. A theory of Justice. Boston, Harvard U. Press. Versión castellana: México,
Fondo de Cultura Económica, 1978, apud COHEN, Ernesto & FRANCO, Rolando.
Avaliação deprojetossociais. Petrópolis, RJ : Vozes,1993, p. 25.
RAWLS, J. Teoría de la justicia. México: Fondo de Cultura Económica, 1995, p. 68,
apud, MEDEIROS, M. Princípios de JustiçanaAlocação de Recursos emSaúde.
Texto para Discussão nº 687. Brasília: IPEA, 1999, p. 9.
NORMAS ISSAI 100 Principios Fundamentales de Auditoría del Sector Público;300
Principios Fundamentales de la Auditoría de Desempeño; 3000 Normas y Directrices
para la auditoría del rendimiento basadas en las Normas de Auditoría y la experiencia
práctica de la INTOSAI; 3100 Directrices para la auditoría de desempeño: Principios
clave.
29