Tanaka, Oswaldo Y.; Melo, Cristina. Avaliação de Programas de Saúde do Adolescente- um modo de fazer. São Paulo : Edusp, 2001.

A coleta de dados deve se iniciar por aquelas informações que se encontram disponíveis. Freqüentemente os dados quantitativos de produção de atividades (Processo) e de recursos disponíveis (Estrutura) são os de mais fácil acesso no nível local ou mesmo na gerência do programa.

Como exemplo, a coleta poderia iniciar-se pelos seguintes dados disponíveis:

• O número de consultas médicas realizadas com adolescentes em um determinado período.
• O relato ou opinião sobre determinada característica do atendimento, como: tempo de espera; razões de não seguimento de sessões de aconselhamento, etc..
• O levantamento da percepção dos profissionais sobre determinadas situações caracterizadas como "anormais", como: ausência repetida de adolescentes no pré-natal.

Com os dados disponíveis, devemos construir os indicadores e analisá-los em relação aos parâmetros definidos. A partir dessa análise preliminar, e já selecionados os novos indicadores, devemos ponderar se há necessidade da coleta de novos dados, visando o aprofundamento da avaliação. A escolha de quais novos dados coletar dependerá sempre da importância do indicador selecionado e da disponibilidade e factibilidade de obtenção deste dado.

Antes de iniciar a nova coleta de dados, será necessário escolher uma abordagem que aumente a capacidade de conhecimento do objeto da avaliação. A abordagem quantitativa em geral é usada para realizar as aproximações iniciais com o objeto da avaliação, que é descrito e explicado parcialmente. Isto ocorre devido à disponibilidade de dados nos programas e serviços e à familiaridade que a maioria dos técnicos possuem com os números. Havendo necessidade de avançar no significado e na interpretação do fenômeno a abordagem qualitativa deve ser utilizada. Isso é importante para evitar a coleta de dados de características já conhecidas para a avaliação.

Se a abordagem adotada for a Quantitativa:

1. Começar sempre por dados quantitativos das atividades realizadas pelo programa e/ou serviço.
2. Escolher um período para coleta complementar de dados:

• O período mais prático para a coleta de dados de produção de atividades é a "semana típica". A semana típica está baseada no pressuposto de que uma oferta constante gera uma demanda constante e portanto representa a produção de atividades que se deseja analisar. As modificações observadas nas quantidades de atividades/procedimentos são mais fortemente influenciadas pelas modificações nos tipos de atividades ofertadas do que nas reais necessidades de saúde da população-alvo. Portanto, ao escolher uma semana típica, 5 dias úteis para uma unidade básica de saúde (2ª a 6ª -feira) ou na escola ou outro recurso comunitário, esta semana não deve ser precedida ou seguida de feriados ou estar situada em meses tradicionais de férias.
• Deste modo, é possível a obtenção de dados que possibilitem conhecer a situação e que permitam a construção de uma linha de base para o processo de avaliação. Se para um outro momento de avaliação for utilizada a mesma técnica, teremos a comparação entre os indicadores coletados, mesmo que estes não sejam exatos, isto é, com capacidade de retratar de forma completa e acurada a situação avaliada.

Se a abordagem adotada for a Qualitativa:

A sugestão é que se comece a coleta através do grupo focal (Anexo 2). Esta técnica é muito útil nas seguintes situações:

1. Quando se pretende investigar a perspectiva de um grupo (modos de conceber, perceber e valorar) sobre uma determinada situação.
2. Que envolve pessoas que sofrem problemas ou estão submetidas a uma mesma situação.
3. Quando a avaliação deve ser realizada em diferentes contextos.
4. Para a elaboração de guias de entrevistas e questionários.
5. Antes ou depois da utilização de outras técnicas. Por exemplo:

• na fase de exploração de uma situação que se quer avaliar, visando a coleta de informações;
• para produzir hipóteses da avaliação, quando se conhece pouco sobre o problema a ser avaliado.

Principalmente através da abordagem qualitativa, a comparação entre os dados disponíveis e os coletados e preparados deverá resultar na formulação de novas perguntas e permitir responder às hipóteses iniciais da avaliação.

Considerando que essa comparação está inicialmente restrita às informações disponíveis, dificilmente contemplará todas as questões formuladas, mas seguramente possibilitará conhecer um pouco melhor o objeto da avaliação. Experiências com a utilização de técnicas de Estimativa Rápida, em programas sociais e serviços de saúde, podem servir de referência na avaliação qualitativa. A Estimativa Rápida é uma técnica de coleta de informações, que possui como características a sua simplicidade, baixo custo e preparo rápido de técnicos e pessoas da comunidade para atuarem como pesquisadores de campo (Chambers 1981; Melo et al. 1993; Di Villarosa 1993).

Na escolha dos instrumentos e métodos de coleta de dados, o critério de oportunidade (no tempo) da avaliação deve ser respeitado. Esta escolha deve ser bastante criteriosa, visando obter os dados de maneira a mais rápida possível. Na avaliação é mais importante conhecer a margem de erro originada pela coleta do que sofisticar o método visando diminuir essa margem de erro. Isso pode comprometer a finalidade e a oportunidade da avaliação para a tomada de decisão. Vejamos um exemplo a seguir, relacionado com uma mesma situação, mas onde os objetos da avaliação são diferentes. Observe como muda o tipo de dado necessário e as possíveis fontes:

A continuação da avaliação deverá se processar após o cumprimento dos momentos de:

1. Análise ® julgamento de valor ® decisão (que modifique ou faça uma intervenção sobre a situação avaliada) baseada nos dados disponíveis;
2. Formulação de novas hipóteses ou perguntas sobre o que se quer saber com a avaliação, e só então iniciar nova seleção de indicadores ® coleta ® análise mais profunda das informações obtidas.

Técnicas e instrumentos para coleta de dados

Para facilitar o trabalho de quem está iniciando um processo de avaliação, apresentamos no Quadro 6 as mais conhecidas técnicas e instrumentos para coleta de dados. Esperamos que a descrição sucinta e as indicações de uso facilitem a escolha dos instrumentos e técnicas que possam ser utilizados de acordo com os propósitos e o contexto da avaliação. Além disso, no Anexo 2, encontram-se orientações para operacionalizar um grupo focal, técnica para coleta de dados qualitativos, e, no Anexo 3, orientações para a elaboração de um questionário, técnica muito utilizada para coleta de dados quantitativos.

QUADRO 6 _ INSTRUMENTOS E TÉCNICAS PARA COLETA DE DADOS

Análise dos dados quantitativos

A análise dos dados quantitativos poderá ser simplificada se houver uma preparação destes de modo a facilitar a comparação com o parâmetro definido (Quadro 7).

Para facilitar a análise devemos preparar os dados em tabelas ou gráficos, o que permite uma visualização mais objetiva e, conseqüentemente, melhor comparação. As formas usuais utilizadas para a apresentação de dados qualitativos são:

• Gráfico de Barras ou Histograma _ compara serviços distintos. Pode demonstrar a variação de uma determinada medida e sua distribuição.
• Gráfico de Linhas _ analisa tendências e a dinâmica do comportamento de um fenômeno.
• Torta ou Pizza – permite a análise de proporções.

Etapas da análise de dados quantitativos

Inicialmente, a análise dos dados quantitativos deverá ser feita utilizando-se os números absolutos coletados. Esta primeira aproximação pode facilitar a identificação de problemas ou relações que apontem para um "julgamento de valor". Para os casos em que os números absolutos são pequenos ou há uma influência marcante do contexto (local) onde as informações foram coletadas, seria adequado, para a análise, que esses dados fossem transformados em taxa ou razão, visando aumentar a possibilidade de análise comparada.

Por exemplo: número de atendimentos de enfermagem muito baixo. A informação poderia ser reconstruída transformando-se este número em uma proporção em relação ao total do atendimento realizado e depois comparar com o parâmetro adotado.

Para análise de dados quantitativos é necessário que o avaliador assuma a objetividade inerente ao processo de avaliação. Essa premissa é importante para deixar claro que a busca "interminável" de um dado mais preciso não necessariamente garante a objetividade da avaliação.

Isto porque o julgamento de valor emitido apresenta um alto grau de subjetividade que dependerá mais do conhecimento prévio, da expectativa e dos valores do avaliador do que propriamente do dado objetivo. Essa subjetividade pode também estar retratada tanto na rigidez e/ou ambição do parâmetro definido para comparação como na expectativa de mudança esperada.

A título de exemplo: tomando-se como base uma proposta de cobertura do programa, podemos ter dois tipos de julgamento de valor frente a uma cobertura alcançada de 50%. Para um avaliador otimista esse percentual seria bom, ao passo que para um pessimista poderia ser insatisfatório, ambos baseados no mesmo dado numérico.

Análise dos dados qualitativos

A coleta de dados qualitativos se processa com a utilização de vários instrumentos (Quadro 6). O mais importante é definir com pertinência os dados necessários, sem preocupações com a definição de uma amostra estatística, pois o que se busca é compreender o significado e as relações expressadas.

Geralmente é muito fácil adquirir e/ou copilar uma grande quantidade de informação qualitativa. O mais difícil, no entanto, é analisar adequadamente estas informações e mesmo definir exatamente o que é mais importante para ser analisado.

Para evitar esse tipo de problema é essencial definir quais são as informações mais relevantes e como analisá-las antes de iniciar a coleta. Na coleta de dados qualitativos o que importa é a representatividade dos mesmos. A rigor, não existe necessidade de definir uma amostra, porque o que importa é o significado de uma informação para a situação avaliada e não a quantidade de informantes que repetem essa mesma informação ou o número de vezes em que ela aparece.

Podemos, no entanto, utilizar uma "amostra intencional", isto é, entrevistar, observar ou realizar um grupo focal com as pessoas que, por critérios definidos pelo avaliador, sejam capazes de transmitir as informações que se julgam necessárias para realizar a avaliação (isto significa que as pessoas ou grupos escolhidos devem ser selecionados baseados no critério de representatividade dentro do contexto onde se realiza a avaliação).

Ao utilizar a técnica da observação, que é um processo muito interessante mas exaustivo, devem-se definir previamente os aspectos, fatos e elementos do ambiente considerados fundamentais para o processo de avaliação. Deve-se registrar o que as pessoas falam e modo como reagem (seus gestos, atitudes, comportamento físico e emocional), como também todas as circunstâncias consideradas importantes que estão envolvidas no fato/fenômeno que está sendo observado.

Durante a realização da coleta de dados no grupo focal, o mais importante é conduzir a discussão sem demasiada interferência do facilitador, possibilitando que esta se processe em torno do tema desejado e permitindo a participação de todos os membros do grupo (Anexo 2).

Para realizar uma análise adequada de dados qualitativos, é importante que o avaliador tenha esboçado previamente as categorias e/ou classificação e/ou grupos temáticos que deverá utilizar na análise dos dados (que devem ser revistas no processo de coleta e de análise propriamente dita).

Como sugestão para a apresentação de dados qualitativos temos:

• Matriz, Tabela ou Caixa _ Construída com informações descritivas relevantes. Permite demonstrar relações entre categorias e resultados, além de descrever a classificação das informações coletadas.
• Diagrama _ Demonstra relações entre uma determinada característica e os fatores que a influenciam.
• Fluxograma _ Pode representar visualmente um processo através de figuras e símbolos previamente definidos.
• Narrativa (Temática e/ou Cronológica) _ Organização do texto extraído do discurso (principalmente entrevistas e documentos analisados), tendo como base dois eixos: o tema ou conceito do que se quer revelar do discurso analisado e a temporalidade dos fatos e fenômenos narrados.
• Mapa e Transect (Mapa geográfico transversal de uma área específica) – Construídos, atualizados ou complementados a partir da observação realizada e das informações obtidas com informantes-chave. Muito úteis na demonstração de informações quanto aos aspectos físicos e ambientais da área de interesse. Comparam as características principais e a utilização de recursos numa área (Chambers 1981).
• Perfil Histórico e Cronológico – É o ordenamento de informações numa ordem histórica e cronológica de um lugar, pessoa, situação, utilizando-se uma árvore com datas e resumo da situação destacada (Chambers 1981).

Por fim, é necessário reforçar que, no processo, o avaliador revela uma posição, que não pode e não deve se basear apenas na média dos valores obtidos. Toda avaliação, com a sua conseqüente análise e julgamento de valor, revela, inclusive através dos dados quantitativos, uma subjetividade que o avaliador assume como uma verdade. Assim, a conclusão do avaliador não deve tentar esconder o componente subjetivo inerente a este processo.

Antes de concluir a discussão sobre a coleta e análise de dados qualitativos e quantitativos queremos deixar como exemplo o Quadro 7, que tenta demonstrar sinteticamente os elementos envolvidos para a coleta e análise de dados.

QUADRO 7 _ EXEMPLO PARA COLETA E ANÁLISE DE DADOS

© copyright
BIREME / OPAS / OMS