Tanaka, Oswaldo Y.; Melo, Cristina. Avaliação de Programas de Saúde do Adolescente- um modo de fazer. São Paulo : Edusp, 2001.

O Indicador é uma variável, característica ou atributo de Estrutura, Processo ou Resultado que é capaz de sintetizar e/ou representar e/ou dar maior significado ao que se quer avaliar. Ele é, portanto, válido para o contexto específico do que se está avaliando. O indicador comumente é representado como uma variável numérica, podendo ser um número absoluto (número de adolescentes multiplicadores participantes do programa) ou uma relação entre dois eventos (número de aconselhadores/ número de adolescentes inscritos no programa) ou uma qualidade do evento (disponibilidade dos aconselhadores em receber adolescentes inscritos fora do horário agendado).

A melhor técnica para a escolha de indicadores é partir da formulação de perguntas-chave, tais como:

• Meu programa está atingindo os objetivos definidos?
• Há algo no que estou fazendo que me incomoda, que pode ser diferente?

As perguntas iniciais devem ser muito claras. Para formular as perguntas certas para a avaliação consulte e discuta com todos os interessados o que deve ser avaliado.

A avaliação deve ser direcionada para uma situação identificada como problema por todos os envolvidos no programa e interessados na avaliação. A partir desta identificação, devemos esclarecer o quanto desta situação inicial pode ser modificada ou afetada pela nossa intervenção direta, fazendo novas perguntas e respondendo a elas:

• Minha ação poderá ter algum grau de influência para modificar a situação identificada como problema?
• Posso ter alguma influência sobre as pessoas envolvidas nesta situação?

Se a resposta para essas questões é sim, ainda que parcialmente, podemos decidir por iniciar a avaliação. Neste caso, é preciso identificar as informações que são importantes para conhecermos melhor a situação a ser avaliada. Informações sobre uma situação são características que quero conhecer para verificar como posso intervir nesta situação-problema.

Quais as informações de que disponho para conhecer melhor a situação que quero avaliar?

Para isso devemos identificar as informações já existentes sobre o programa de saúde, saber quais são os dados coletados e disponíveis e a periodicidade com que são coletados.

Um dado disponível é aquele que existe como registro ou é facilmente identificado no cotidiano do programa. Para obter estes dados são utilizados instrumentos específicos de coleta (formulário de registro de pacientes; boletim de registro de atividades/procedimentos realizados, etc.).

Como exemplos de dados disponíveis em serviços de saúde citamos: cadastro dos adolescentes participantes do programa; atividades realizadas e dados censitários (dados quantitativos); observações e análises registradas em relatórios e prontuários; reclamações registradas; comentários "escutados" informalmente (dados qualitativos), dentre outros.

Cabe diferenciar a utilização neste guia dos termos dados e informações. Em princípio temos uma quantidade enorme de dados numéricos que são coletados periodicamente e de forma sistemática. Alguns desses dados serão transformados em informações quando puderem ser analisados comparativamente e propiciarem um julgamento de valor que apóie uma ação efetiva.

Assim, o próximo passo _ seleção de indicadores _ se destina à busca de dados que possam se transformar em informações.

Selecionando indicadores

Dado que a ação de saúde é um fenômeno muito complexo, é difícil a escolha de um único indicador para aprofundar o conhecimento sobre o problema. No entanto, selecionar um número grande de variáveis também se constitui em uma dificuldade operacional.

Para tornar factível a avaliação recomendamos a escolha de 3 a 5 indicadores, que pela sua importância, capacidade de síntese da situação e facilidade de obtenção devem ser selecionados pelo avaliador.

Os indicadores selecionados devem ser utilizados de modo contínuo, ao longo de um período determinado, mesmo que ocorram interrupções em sua coleta e/ou utilização. Essa recomendação se deve ao fato de que uma das características da avaliação é estar centrada na análise de tendência dos indicadores e menos na precisão absoluta e contínua da informação.

Para a seleção dos indicadores, sugerimos iniciar pelos seguintes critérios:

1. O indicador deve estar acessível ou ser obtido a curto prazo e sem demandar muito trabalho;
2. Deve ter sua utilidade reconhecida por outros atores envolvidos na avaliação.

Como construir um indicador simples?

A identificação ou construção de um indicador simples parte do conhecimento prévio existente sobre o objeto da avaliação (documentado ou não), do qual selecionamos uma variável ou característica que consideramos importante ser analisada. O indicador mais simples utilizado é um número absoluto, que pode ser, por exemplo:

• Número de sessões de aconselhamento realizadas com adolescentes.

Considerando que em serviços de saúde e mesmo num programa específico há sempre uma relação intrínseca e complexa entre as atividades realizadas, torna-se muito útil para a avaliação a seleção de indicadores construídos na relação entre variáveis. Nesse sentido, há dois tipos de relação entre variáveis:

• Dentro de cada componente da abordagem adotada de: Estrutura–Processo–Resultado.
• Entre os componentes adotados.

Como exemplos do tipo 1, no componente Estrutura temos a relação entre categorias de recursos humanos existentes:

• Número de agente comunitário de saúde/ enfermeira
• Número de equipes de saúde/médico hebiatra
• Número de agentes comunitários de saúde/aconselhadores de adolescentes.

No Quadro 1 a seguir demonstramos como construir indicadores de Estrutura:

Como exemplos do tipo 2, entre os componentes adotados, temos aquelas relações que permitem a análise de quanto cada componente influencia o outro:

Estrutura/Processo – relação entre recursos existentes e produção (produtividade)

• Número de consultas médicas realizadas para adolescentes com gravidez indesejada/hora médica disponível
• Número de aconselhadores/Número de espaço privativo para aconselhamento.

Processo/Resultado – o quanto o resultado alcançado está relacionado com a produção realizada.

• Número de gestantes adolescentes com 4 consultas pré-natal por gestação/Número de trabalho de parto sem intercorrências
• Número de adolescentes que relatam mudança no comportamento/Número total de sessões educativas realizadas com a participação do adolescente.

Cabe lembrar que a relação Processo/Resultado é mais frágil que a anterior e depende de um conhecimento prévio que possibilite analisar a relação proposta. Podemos justificar esta fragilidade lembrando que esta relação sofre influência direta da participação do usuário e dos profissionais, que possuem visão distinta sobre um mesmo tema, além de não permitir um maior controle das variáveis envolvidas.

Atenção: o indicador deve procurar demonstrar a pergunta a que se quer responder com a avaliação.

Quais os tipos de indicadores existentes e que podem ser selecionados para a avaliação proposta?

A separação utilizada de indicadores de Estrutura, Processo e Resultado está baseada em Donabedian (1980, 1990), que desenvolveu os pressupostos conceituais da chamada avaliação de qualidade. Esta tipologia possui algumas desvantagens, próprias do modelo sistêmico em que se inspira, por compartimentar fenômenos que não são separados na realidade concreta. No entanto, a vantagem é que este modelo permite uma classificação preliminar dos indicadores frente às características dos serviços com as quais está primordialmente relacionado.

Dessa maneira, a escolha de um indicador de Estrutura pode auxiliar uma tomada de decisão de investimento e/ou de provimento de recursos necessários para o sistema, serviço ou programa. A escolha de um indicador de Processo está direcionada à tomada de decisão referente a otimização e/ou utilização racional da dinâmica implementada, enquanto a escolha de um indicador de Resultado está direcionada à tomada de decisão de prosseguimento ou não da intervenção realizada.

Essa abordagem sistêmica permite também que se busquem as relações entre a Estrutura/Processo/Resultado, que consiste na "real" avaliação de serviços, sistemas ou programas.

O Quadro 4 demonstra alguns tipos de indicadores numéricos (quantitativos), relacionando-os com componentes (em números absolutos, de conotação qualitativa e de relação) da avaliação.

QUADRO 4 _ TIPOS DE INDICADORES NUMÉRICOS QUANTO ÀS POSSIBILIDADES DE ANÁLISE E COMPONENTES DA AVALIAÇÃO

Alguns exemplos de indicadores que podem ser utilizados na avaliação de programas de saúde para adolescentes são apresentados no Quadro 5 a seguir. Mas se você estiver interessado em outros indicadores consulte o Anexo 1.

QUADRO 5 – EXEMPLOS DE INDICADORES UTILIZADOS NA AVALIAÇÃO DE PROGRAMAS DE ATENÇÃO À SAÚDE DO ADOLESCENTE

Fonte: Adaptado de indicadores utilizados em Adamchak et al.. A Guide to Monitoring and Evaluating Adolescent Reproductive Health Programs. Washington (DC): FOCUS/PATHFINDER FOUNDATION, 1999.

QUADRO 5 – EXEMPLOS DE INDICADORES UTILIZADOS NA AVALIAÇÃO DE PROGRAMAS DE ATENÇÃO À SAÚDE DO ADOLESCENTE – continuação

Fonte: Adaptado de indicadores utilizados em Adamchak et al.. A Guide to Monitoring and Evaluating Adolescent Reproductive Health Programs. Washington (DC): PAHO/WHO, 1999.

Análise dos indicadores

Com que devo comparar os indicadores selecionados? Para se chegar ao juízo de valor, que é o pressuposto da avaliação, é imprescindível a comparação com parâmetros definidos. Para tanto faz-se necessário que, ao escolher os indicadores, defina-se claramente com que estes serão comparados. É preciso, então, definir parâmetros para cada um dos indicadores selecionados.

Parâmetro é uma referência adotada por quem está avaliando.

Os parâmetros podem estar baseados:

• Na situação inicial que se quer modificar (situação-problema);
• No objetivo da avaliação, que seria retratado nas metas quantitativas ou mudanças na qualidade dos serviços prestados;
• No conhecimento científico prévio, que pode ser definido como um padrão técnico identificado na literatura e ajustado ao contexto local.

Como exemplos de parâmetros temos:

• Número de médico hebiatra/adolescentes inscritos no programa (Estrutura) = 1/300
• Número de atividades realizadas por iniciativa da comunidade com apoio do Programa (Processo) = 4 atividades/ano
• Diminuição da taxa de abandono escolar da adolescente grávidas (Resultado) = 10%.

Definido o parâmetro por um ou mais dos critérios acima, é necessário analisar a factibilidade de atingir ou não o parâmetro adotado pelo programa avaliado. Sendo assim, o parâmetro utilizado em avaliação deve ser aquele que:

1. considere os recursos disponíveis e/ou passíveis de serem mobilizados;
2. é aceito pela equipe de trabalho e por outros interessados na avaliação.

Portanto, o parâmetro será sempre um referencial factível no contexto dos programas avaliados e não apenas uma meta ideal ou um "padrão" adotado que não retrata as condições objetivas da realidade local.

Visando conhecer a potencialidade do indicador e do respectivo parâmetro para retratar o que se deseja avaliar, é recomendável que se faça um exercício hipotético em que se criariam duas situações: 1) onde o indicador se encontra abaixo do nível do parâmetro definido; 2) onde o indicador se encontra acima do nível do parâmetro definido.

Para essas duas situações, identifica-se o juízo de valor que seria emitido para cada uma _ com base nos critérios previamente definidos _ e quais providências poderiam ser tomadas para modificar a situação imaginada. Caso não exista diferença nessas duas situações ou não seja possível identificar suas distintas causas em relação ao parâmetro definido, será necessário rever o conjunto indicador/parâmetro, visando melhorar sua capacidade de caracterizar a situação a ser avaliada.

© copyright
BIREME / OPAS / OMS