Métodos de validação de protocolos assistenciais de enfermagem: revisão integrativa RESUMO
Objetivo: identificar a produção científica acerca dos métodos de validação de protocolos assistenciais de enfermagem.
Método: revisão integrativa, com busca nas bases de dados Scielo, PubMed/MEDLINE, Biblioteca Virtual em Saúde, Web of Science, Scopus e EBSCOhost, utilizando os descritores validation studies, validation studies as topic, protocols, clinical protocols, practice guidelines as topic, nursing e nursing assessment e o descritor não controlado validation.
Resultados: foram selecionados 32 artigos, sendo a maioria brasileiros. A validação de conteúdo por especialistas foi o método mais frequente, sem consenso sobre o número de participantes para o processo. Os instrumentos de coleta foram majoritariamente elaborados pelos autores. A análise dos dados foi realizada por estatística descritiva e Índice de Validade de Conteúdo, com taxa de concordância variável nos artigos analisados.
Conclusão: protocolos validados por especialistas constituem ferramentas robustas para o uso na prática clínica, sendo o rigor metodológico no desenvolvimento imprescindível para a qualidade do mesmo.
Descritores: Estudos de Validação; Consenso; Protocolos; Métodos; Enfermagem
ABSTRACT
Objective: to identify scientific production about validation methods of nursing care protocols.
Method: an integrative review with search at Scielo, Pubmed/MEDLINE, Virtual Health Library, Web of Science, Scopus, and EBSCOhost. The descriptors “validation studies”, “validation studies as topic”, “protocols”, “clinical protocols”, “practice guidelines as topic”, “nursing” and “nursing assessment” and the uncontrolled descriptor “validation” were used.
Results: thirty-two articles were selected, most of them Brazilian. Content validation by experts was the most frequent method, with no consensus on the number of participants for the process. The collection instruments were mostly created by the authors. Data analysis was performed using descriptive statistics and Content Validity Index, with a variable consensus rate in the analyzed articles.
Conclusion: protocols validated by experts are robust tools for use in clinical practice, with methodological rigor in development essential for its quality.
Descriptors: Validation Studies; Consensus; Practice Guidelines; Methods; Nursing
RESUMEN
Objetivo: identificar la producción científica sobre los métodos de validación de los protocolos de atención de enfermería.
Método: revisión integradora, búsqueda en las bases de datos Scielo, PubMed/MEDLINE, Biblioteca Virtual en Salud, Web of Science, Scopus y EBSCOhost, utilizando los descriptores validation studies, validation studies as topic, protocols, clinical protocols, practice guidelines as topic, nursing e nursing assessment y el descriptor no controlado validation.
Resultados: se seleccionaron 32 artículos, la mayoría de ellos brasileños. La validación del contenido por expertos fue el método más frecuente, sin consenso sobre el número de participantes para el proceso. Los instrumentos de colección fueron elaborados principalmente por los autores. El análisis de datos se realizó utilizando estadísticas descriptivas e índice de validez de contenido, con una tasa de acuerdo variable en los artículos analizados.
Conclusión: los protocolos validados por especialistas son herramientas robustas para su uso en la práctica clínica, y el rigor metodológico en el desarrollo es esencial para su calidad.
Descriptores: Estudios de Validación; Consenso; Protocolos; Métodos; Enfermería
INTRODUÇÃO
A prática baseada em evidências (PBE), proveniente da área da medicina, tornou-se uma abordagem multidisciplinar para tomada de decisões na prática clínica no mundo e para todas as profissões da saúde, com vistas a identificar as lacunas de conhecimento e a melhor prática disponível. A definição clássica da PBE se refere ao uso consciente, explícito e criterioso das melhores evidências atuais para tomada de decisões sobre o cuidado individual de cada paciente(1).
A enfermagem, neste contexto, tem trabalhado para incorporar as evidências à sua práxis, evoluindo do trabalho empírico para um cuidado centrado nas necessidades do paciente, aliado aos dados disponíveis na literatura. Florence Nightingale foi considerada, por muitos autores, a pioneira da enfermagem baseada em evidências, tendo em vista que as observações disponíveis em sua publicação na época eram baseadas em dados epidemiológicos e em seus experimentos(2).
A enfermagem é reconhecida, globalmente, como central no processo de implantação da PBE, tendo em vista que consiste na maior força de trabalho em saúde(1). No Brasil, dados obtidos na página do Conselho Federal de Enfermagem de 2020 apontam um número de 2.222.056 profissionais de enfermagem, incluindo enfermeiros, técnicos, auxiliares e obstetrizes, atuando nas diferentes esferas de atenção à saúde.
Atualmente, as pesquisas em enfermagem têm buscado formas de possibilitar a incorporação das evidências à prática, principalmente através de instrumentos que facilitem o trabalho do enfermeiro e de sua equipe. Os protocolos assistenciais são exemplos de tais instrumentos. Eles são construídos com base nas melhores evidências disponíveis, de acordo com a realidade local, com a experiência dos profissionais e com a preferência dos clientes(3).
Os protocolos visam à prestação de cuidados adequados, de maneira eficiente, assegurando efetividade para a situação clínica e causando mais benefícios do que danos(1). Além disso, os protocolos assistenciais objetivam facilitar a tomada de decisão, descrevendo uma situação específica de cuidado com detalhes e especificações operacionais. Dessa maneira, trazem maior segurança à equipe, reduzem a variabilidade das ações, facilitam a incorporação de novas tecnologias e uso racional dos recursos, além de possibilitarem o monitoramento dos indicadores de processo e resultados, contribuindo para a manutenção nos serviços e avaliação da qualidade e segurança do cuidado prestado(3-5).
Considerando que os protocolos constituem um alicerce para as condutas profissionais, sua construção deve ser realizada com rigor metodológico, de forma a garantir sua credibilidade e legitimidade. Para tal, é recomendado o processo de validação, que avalia se o conteúdo dos protocolos alcança os objetivos propostos(6-7). O processo de validação é amplamente empregado na literatura, porém não há consenso acerca do melhor método a ser utilizado(7) e como este deve ser estruturado. A validação de conteúdo se dá em duas etapas: elaboração do instrumento e avaliação por especialistas (ou juízes), de forma que os métodos de consenso entre os especialistas variam entre si, conforme será elucidado nesta pesquisa.
Assim, surgiu o interesse de investigar quais métodos são empregados para validação de protocolos assistenciais de enfermagem, na literatura nacional e internacional, nos últimos cinco anos, e como são conduzidos, de forma que se objetiva apresentar a produção científica sobre o tema para auxiliar na tomada de decisão na escolha do método de validação mais adequado para a elaboração de protocolos assistenciais de enfermagem.
OBJETIVO
Identificar a produção científica acerca de métodos de validação de protocolos assistenciais de enfermagem.
MÉTODO
Aspectos éticos
Trata-se de uma revisão da literatura, com utilização de materiais disponíveis em bases de dados online, em consonância com os preceitos éticos de pesquisa.
Desenho do estudo
Trata-se de uma revisão integrativa, método cujo objetivo principal é a reunião e síntese de resultados sobre o tema, apresentando o estado da arte e potencializando a construção de conhecimentos para possibilitar a incorporação de evidências na prática clínica(9-11). A revisão integrativa diferencia-se da meta-análise e da revisão sistemática, por permitir a inclusão de pesquisas de métodos diversos buscando um conhecimento mais amplo da literatura para conhecer e entender o fenômeno estudado(9).
A pesquisa estruturou-se em seis etapas: 1) identificação do tema e definição da questão de pesquisa; 2) busca ou amostragem na literatura; 3) coleta de dados; 4) análise crítica dos estudos incluídos; 5) discussão dos resultados; e 6) apresentação da revisão integrativa(11). Os nomes atribuídos pelos autores a cada fase da revisão integrativa variam, porém os passos integrantes de cada fase são comuns entre si(9-11).
A questão norteadora do estudo foi: quais são os métodos empregados para validação de protocolos assistenciais de enfermagem?
Amostra, critérios de inclusão e exclusão
Os critérios de inclusão foram: artigos científicos publicados na íntegra, com livre acesso online, nas línguas portuguesa, inglesa e espanhola, abordando a validação de protocolos assistenciais de enfermagem, nos anos de 2014-2019. Foram considerados critérios de exclusão: publicações classificadas como editorial, cartas, dissertações e teses, artigos não procedentes da área da enfermagem e cujos objetos de validação não foram protocolos assistenciais, diretrizes clínicas ou checklists, e que não tratassem de validação em si.
As bases de dados utilizadas foram: Medical Literature Analysis and Retrieval System Online (MEDLINE/PubMed); Biblioteca Virtual em Saúde (BVS); Scientific Electronic Library Online (SciELO); EBSCOhost; Scopus ; e Isi Web of Science. A identificação dos artigos nas bases ocorreu no período de 21 de agosto de 2019 a 06 de setembro de 2019, utilizando os descritores controlados obtidos nos Descritores em Ciências da Saúde (DeCS) e no Medical Subject Headlines (MeSH): validation studies, validation studies as topic, protocols, clínical protocols, practic guidelines as topic, nursing e nursing assessment. Foi utilizado, também, o descritor não controlado validation. Os mesmos foram combinados entre si pelos operadores booleanos AND e OR usando combinações conforme as bases de dados pesquisadas e utilizando filtros de língua (inglês, português, espanhol) nos últimos cinco anos.
Protocolo do estudo
Foi definida a questão de pesquisa, e foram selecionados os descritores controlados e não controlados. Procedeu-se a busca dos artigos nas bases de dados, utilizando as estratégias de busca supracitadas, conforme ferramenta de busca de cada base, e aplicados os filtros de língua e ano de publicação. A busca foi realizada por um pesquisador. Para seleção dos artigos, primeiramente, foi realizada a leitura dos títulos e resumos das publicações, de forma que foram excluídos aqueles cujos objetos de estudo não eram protocolos assistenciais ou não eram da área da enfermagem. Os artigos restantes foram lidos na íntegra, de forma que foram excluídos aqueles cujo processo de validação não foi descrito e não tratavam de protocolos relacionados à assistência de enfermagem.
Os artigos restantes foram lidos na íntegra por dois pesquisadores, e os dados foram armazenados em uma matriz de análise do Microsoft Excel 2010 contendo as variáveis: método de elaboração do protocolo, método de validação do protocolo, número de participantes, método de amostragem, instrumento de coleta utilizado para validação e análise dos dados. A partir dessa leitura, foram excluídos os artigos nos quais o protocolo não era relacionado à enfermagem e cujo método de validação adotado não foi descrito. Ao final, os artigos foram analisados criticamente, sendo os resultados discutidos e apresentados neste estudo.
Análise dos dados
Foi utilizada estatística descritiva para descrição do perfil das publicações. Os dados foram agrupados seguindo o tipo de método utilizado para validação do protocolo, o número de participantes envolvidos, o tipo de amostragem, os tipos de instrumentos utilizados e os métodos de análise dos dados.
RESULTADOS
A busca nas bases de dados totalizou 827 publicações, sendo realizada a leitura de títulos e resumos. Foram aplicados os critérios de inclusão e exclusão, resultando na exclusão de 755 artigos, por não se tratarem de estudos cujo objeto foram protocolos ou não serem da área da enfermagem. Os 72 artigos restantes foram avaliados, sendo 15 deles repetidos em duas ou mais bases de dados, e 50 lidos na íntegra. Desses, 14 não tratavam da validação de protocolos; 3 não eram da área da enfermagem e nem tratavam do processo de validação; e 1 não estava disponível na íntegra online, totalizando 18 artigos excluídos e uma amostra final de 32 artigos, conforme ilustrado na Figura 1.
Em relação às características dos artigos identificados e incluídos nesta revisão (n=32), a maioria foi publicada no Brasil (n=24), seguida de Canadá, Espanha e Portugal, com duas publicações cada, e Estados Unidos e China, ambos com uma publicação. Quanto ao ano, 2017 destacou-se com 11 publicações, seguido de 2014 (n=7), 2018 (n=5) e 2019 (n=5), 2015 e 2016, com duas publicações cada.
Todos os artigos foram publicados em periódicos de estrato igual ou superior a B1, conforme o Qualis Periódicos da CAPES (Coordenação de Aperfeiçoamento de Pessoal de Nível Superior). A maioria estava classificada como A1 (n=17), seguidos de A2 (n=8) e B1 (n=7), sendo a maioria periódicos brasileiros (n=25) e sete publicações internacionais.
A partir da leitura dos artigos, emergiram dados referentes à elaboração dos protocolos. Todos os artigos mencionam a revisão da literatura como integrante da fase de elaboração dos protocolos, seja uma revisão de literatura simples ou estruturada, como as revisões integrativas(12-15) e sistemáticas(16-17), com destaque às revisões de escopo (scoping reviews)(4,6). Em alguns artigos, a revisão da literatura está associada a outro tipo de coleta de dados, tais como entrevistas(18-21) e discussões em grupo(22-24).
Quanto ao método de validação de conteúdo dos protocolos, a avaliação por especialistas foi a mais frequente (n=17), seguida da avaliação por especialistas utilizando a Técnica Delphi (n=12), e outros métodos como a pesquisa convergente assistencial (PCA)(24).
O número de participantes na validação com especialistas variou de 3 a 42 participantes, com mediana de 9 participantes. Já na Técnica Delphi, o número variou de 5 a 43 participantes, com uma mediana de 14 participantes, sem considerar as perdas entre uma rodada e outra.
A seleção dos participantes, em sua maioria, levou em consideração critérios de titulação, experiência e conhecimento da temática em estudo, além de publicações na área. Seis estudos fizeram seleção a partir de busca de currículos na Plataforma de Curriculum Lattes(4,6,13,25-27); três utilizaram sistemas de pontuação para avaliação dos currículos(4,6,13); três utilizaram a amostragem “bola de neve”(16,28-29), no qual um participante indica o próximo; e os demais não detalharam a forma de seleção, somente os critérios de inclusão e exclusão.
Em relação aos instrumentos de coleta de dados empregados para validação, somente dois estudos utilizaram uma ferramenta padronizada(14,21), de forma que os demais elaboraram seu próprio instrumento seguindo critérios de validação variados conforme o referencial adotado. Os estudos acima citados utilizaram o AGREE II (Appraisal of Guidelines for Research & Evaluation), uma ferramenta internacional desenvolvida para a avaliação de protocolos, diretrizes clínicas terapêuticas e guidelines, já traduzida e adaptada para uso no Brasil(30).
Quanto ao método de análise dos dados, os artigos utilizaram, majoritariamente, a taxa de concordância e o Índice de Validade de Conteúdo (IVC). O Coeficiente Kappa é utilizado em dois estudos(29,31), isolado ou associado ao IVC. Os estudos que utilizaram o AGREE II como ferramenta seguem análise conforme as orientações do instrumento. A análise de conteúdo do tipo temática foi empregada na PCA. Três estudos não descrevem a forma de análise dos dados.
O Quadro 1 apresenta os estudos selecionados nesta revisão, organizados por ordem decrescente de publicação dos últimos cinco anos.
Caracterização dos artigos identificados na revisão que versam sobre validação de protocolos assistenciais de enfermagem
DISCUSSÃO
O processo de validação de protocolos é imprescindível para garantir a segurança no uso de instrumentos na prática clínica, ao verificar se esses alcançam os objetivos propostos e medem de forma adequada e fidedigna aquilo que se propõem a medir(8,41). A validade pode ser avaliada a partir de diferentes métodos, conforme o objetivo da pesquisa e pode ser de conteúdo, de construto e relacionada a um critério(41). A validade de construto visa identificar a amplitude em que a medida reflete a construção teórica do fenômeno em análise(8), enquanto a validade de critério reflete o grau de predição das medidas em relação ao fenômeno estudado(8). A validade de conteúdo associa os conceitos abstratos e os indicadores mensuráveis, ou seja, o quanto cada elemento do instrumento é relevante e representa um construto em particular(8,41).
Nas pesquisas em enfermagem, tem se utilizado principalmente a validade de conteúdo, sendo que este tipo de validação é baseado em duas etapas: a elaboração do instrumento e a avaliação por especialistas (ou juízes) para decidir se o conteúdo está adequado e correto ao que se propõe(8,41).
A primeira etapa de elaboração do instrumento é decorrente de revisão bibliográfica. Os instrumentos, frequentemente, são elaborados pelos autores, seguindo o referencial teórico de escolha, conforme discutido nos parágrafos seguintes. A revisão bibliográfica provê um ponto de partida em comum e fortalece a percepção dos participantes de se tratar de um processo baseado em evidências(42).
Já a segunda etapa, consiste na avaliação dos juízes em si, podendo ser conduzida de forma simplificada, como na maior parte dos artigos analisados nesta revisão, ou seguindo diferentes métodos formais de consenso(42). O consenso é definido como a concordância geral entre os membros do grupo e não precisa ser unânime, já que permite a inclusão de ideias diversas e as coloca em discussão(43). Os métodos para consenso entre especialistas também são diversos na literatura, destacando a Técnica Delphi, grupos nominais, Consensus Development Conference, RAND/UCLA Appropriateness Method, entre outros(42-43).
A Técnica Delphi visa obter o consenso entre um grupo de especialistas de uma forma confiável e sistemática, a partir de uma série de questionários bem definidos e feedbacks. Sua operacionalização se dá através de questionários estruturados ou semiestruturados, os quais podem ser enviados por email aos participantes ou serem aplicados presencialmente em sucessivas rodadas. Na primeira rodada, o questionário contém instruções para o seu preenchimento e devolução, os objetivos do estudo e a questão de pesquisa em si, sendo geral e abrangente. A partir da segunda rodada, os questionários são elaborados com base nas respostas do anterior (incluindo os resultados obtidos na primeira rodada), somado aos pontos em que ainda se busca o consenso do grupo, de forma que os especialistas podem reavaliar suas respostas com base nos dados fornecidos(44-45).
Das vantagens da técnica, quando aplicada à distância, destacam-se: o anonimato entre os participantes, evitando a influência direta entre as informações; o acesso a pessoas geograficamente distantes; minimização de custos de transporte e materiais; a possibilidade de reflexão individual e coletiva sobre o tema; número alto de participantes possível; fácil implementação e aplicável a grande diversidade de tópicos. As desvantagens principais são: a elaboração do questionário e a possibilidade de viés que influencie nas respostas do grupo; abstenção de participantes entre as rodadas; e o tempo longo de execução(42,45).
Uma revisão integrativa acerca do uso de Técnica Delphi em estudos brasileiros(44) evidenciou sua utilização no processo de construção e validação de instrumentos em 60% dos artigos analisados. Outro estudo reflexivo(45) destaca a grande diversidade de aplicações da técnica e diferentes temáticas nas pesquisas de enfermagem brasileira, enquanto que, no cenário internacional, o método já é amplamente difundido e utilizado.
No entanto, destaca-se que tais artigos trazem a Técnica Delphi como método de validação de instrumentos em geral, sendo protocolos assistenciais pouco mencionados como produtos de avaliação. Uma revisão integrativa brasileira(7) acerca do percurso metodológico para construção e validação de protocolos de enfermagem publicada no ano de 2017, cujo enfoque foi em teses e dissertações datadas de 2002 a 2014, não traz a Técnica Delphi em seus resultados. Com objetivo de comparação, nos artigos analisados nesta revisão, a Técnica Delphi figura em artigos publicados a partir de 2015.
A mesma revisão integrativa(7) destaca a PCA como referencial teórico mais utilizado nas publicações analisadas. A PCA é uma abordagem de pesquisa qualitativa, que se caracteriza pela melhora nas práticas assistenciais a partir da introdução de inovações em tal contexto(46), e diferencia-se dos demais métodos similares justamente por incluir profissionais com expertise naquela área de conhecimento assistencial, conforme ilustrado no artigo incluído nesta revisão(24), no qual o processo de construção e validação do protocolo incluiu 20 profissionais do setor.
É importante salientar que todos os artigos incluídos nesta revisão passaram por um processo de validação com especialistas, variando somente a técnica utilizada para tal – tradicional, Técnica Delphi e PCA, nessa ordem de frequência.
A variabilidade do número de especialistas incluídos nos estudos analisados está condizente com os resultados apontados na literatura, sendo que alguns autores indicam um mínimo de cinco a seis participantes(8,41), enquanto outros defendem grupos com um número máximo de participantes, variando de 12 a 20(7,40-41). Há uma dicotomia entre os benefícios de grupos maiores, pela diversidade de informações e robustez dos resultados, ou se, acima de determinado número, a confiabilidade dos resultados diminui ou se mantém igual. A Técnica Delphi permite a inclusão de um número maior de participantes, podendo variar de 10 a centenas, contanto que a amostra seja representativa(41-42,45), devendo haver previsão da taxa de abstenção entre as rodadas, que pode variar de 20 a 50%(44-45).
A forma de inclusão dos participantes é imprescindível para garantir a confiabilidade nos resultados, dado que a qualidade do painel de especialistas é mais importante que o tamanho do grupo. A heterogeneidade do grupo traz vantagens e desvantagens ao processo de consenso, tendo em vista que um grupo diverso alcança maior variabilidade de ideias em relação ao tópico, mas, também, podem haver mais discordâncias em relação ao mesmo item(42), de forma que o pesquisador deve considerar tais aspectos ao definir os critérios de seleção e inclusão.
A definição de “especialista” e seus critérios ainda é divergente na literatura, de forma que a seleção dos participantes nos artigos analisados também foi diversa. Apesar de o conceito ainda não ser bem estabelecido, critérios, como conhecimento, experiência e habilidade de pensamento crítico em relação ao tema são pontos em comum entre os diferentes autores(8,47-48). Fehring(47) propôs um modelo de pontuação para os critérios de definição de experts para validação de diagnósticos de enfermagem, sendo citado por dois autores nesta revisão(6,28). Dois autores citaram Jasper(13-14), o qual publicou um artigo em 1994 buscando a definição do conceito e critérios para “especialista” na enfermagem.
No Brasil, a Plataforma Lattes integra as bases de dados de currículos, grupos de pesquisa e instituições em um único sistema de informações, constituindo uma ferramenta para diversas instituições públicas e privadas na busca de informações sobre profissionais e pesquisadores de diversas áreas. Assim, foi utilizada como estratégia de busca de especialistas para validação dos protocolos propostos em seis estudos analisados, a partir de palavras-chave. A busca de participantes a partir de uma plataforma nacional e integrada de currículos permite a inclusão de participantes altamente qualificados e de diversas localizações, garantindo a heterogeneidade da amostra e um processo de validação que inclua as diferenças regionais do país.
A amostragem do tipo bola de neve (snowball, ou amostragem em rede) acontece a partir da indicação de pessoas que possuem características comuns ao interesse da pesquisa(45), também podendo ser utilizado como método de seleção de participantes.
Cabe, também, destacar que a abrangência do protocolo também pode influenciar a definição do número e do perfil de especialistas. Protocolos nacionais devem incluir especialistas nacionais. Por outro lado, protocolos regionais e locais devem considerar especialistas com conhecimento da realidade local.
Em relação aos instrumentos de coleta de dados, a grande maioria dos artigos utilizou questionários formulados pelos próprios autores, com variação entre os critérios utilizados. Dois autores usaram o referencial de Pasquali, que destaca doze: critério comportamental, objetividade, simplicidade, clareza, relevância, precisão, variedade, modalidade, tipicidade, credibilidade, amplitude e equilíbrio(8). Os demais utilizam critérios principalmente de clareza, abrangência e pertinência, e variações, não indicando a fonte do referencial que orientou a elaboração do questionário.
O uso de questionários padronizados não é uma exigência dos diferentes métodos de validação. Na Técnica Delphi, por exemplo, o questionário é formulado com base na questão de pesquisa, preferencialmente com questões fechadas do tipo Likert, e espaço para considerações dos juízes. A cada rodada, o questionário é alterado, incorporando os resultados da rodada anterior e discutindo os pontos que não alcançaram consenso(43). O questionário deve ser focado, claro e preciso e deve conter instruções sobre seu preenchimento e os critérios de validação de conteúdo que sigam referencial metodológico adotado pelo autor(41).
Em relação a instrumentos padronizados, destaca-se o AGREE II, uma ferramenta desenvolvida por colaboração internacional, que visa abordar a variabilidade na qualidade dos protocolos e diretrizes clinicas, avaliando o rigor metodológico e a transparência em seu desenvolvimento(30). O AGREE II é dividido em seis domínios, que avaliam escopo e finalidade, envolvimento das partes interessadas, rigor do desenvolvimento, clareza da apresentação, aplicabilidade e independência editorial. Cada domínio inclui itens de avaliação que utilizam uma escala Likert que varia de 1 (discordo totalmente) a 7 (concordo totalmente) e considera a avaliação de 4 avaliadores. O instrumento é acompanhado de um manual do usuário com todas as instruções para preenchimento e posterior análise dos dados. Constitui uma ferramenta útil para estudos de validação, tendo em vista que já está adaptada para uso no Brasil.
O fato de a ferramenta AGREE II estar disponível desde 2003 na literatura internacional e 2009 em português suscita o interesse das autoras no que se refere à sua pequena utilização nas pesquisas em enfermagem na amostra estudada, tendo em vista que se observa a tendência ao uso de instrumentos elaborados pelos próprios autores, com critérios pouco abordados nos artigos estudados.
O IVC é uma fórmula amplamente utilizada para análise dos dados para validação de conteúdo de instrumentos na área da saúde e. principalmente, na enfermagem(49). O IVC pode ser definido como a proporção ou porcentagem de juízes que estão em concordância sobre a relevância do item em relação ao construto(41,49). O IVC avalia os itens de forma individual (I-IVC) ou o instrumento como um todo (S-IVC), em uma escala de Likert preferencialmente de 4 pontos, para evitar a ocorrência de avaliações neutras, que varia, frequentemente, de 1 = não relevante, 2 = pouco relevante, 3 = algo relevante, 4 = muito relevante(49), sendo o IVC calculado a partir da fórmula abaixo (Figura 2).
O IVC varia de 0 a 1,0, sendo que alguns autores recomendam que se a amostra for composta por cinco especialistas ou menos, todos devem concordar em relação ao item (IVC = 1,0), e se a amostra for maior, um IVC ≥ 0,78 é aceitável(41,49). Houve variância nas taxas de concordância utilizadas nos artigos analisados (60 a 100%), com tendência à adoção de valores entre 70 a 80%, o que mostra, apesar de sua utilização frequente, ainda não haver consenso acerca dos valores ideais a serem adotados, além da descrição da análise dos dados ser pouco detalhada nos estudos avaliados.
Das vantagens do uso do IVC, destaca-se a facilidade do cálculo e compreensão desse ser bem aceito e difundido na literatura para a validação de instrumentos. Em relação às desvantagens, a principal citada nos artigos é em relação à razão de chances, não prevista na fórmula(49), de forma que alguns autores sugeriram novas fórmulas e alternativas para tal.
Neste contexto, várias outras fórmulas foram propostas, incluindo o Coeficiente Kappa, que pode ser utilizado isolado ou junto ao IVC. A fórmula consiste na razão de proporção de vezes que os juízes concordam com a proporção máxima de vezes que os juízes poderiam concordar (ambas corrigidas por concordância devido ao acaso), sendo útil quando os dados são categóricos e estão em uma escala nominal, variando de -1 (ausência total de concordância) a 1 (concordância total)(41).
Observou-se, na seleção dos artigos, que não é comum, na literatura internacional, a publicação de artigos acerca do processo de validação de protocolos, de forma que tal fase se encontra descrita na leitura do protocolo na íntegra. Tal fato pode ser uma justificativa para a composição de uma amostra majoritariamente composta por estudos brasileiros neste estudo, limitando, portanto, o comparativo com outras realidades.
Portanto, o percurso metodológico para validação de protocolos de enfermagem ainda é variável na literatura, de forma que os dados aqui apresentados não permitem inferir qual seria o método ideal. Porém, traz informações acerca do que mais vem sendo utilizado na literatura vigente dando subsídios para a decisão dos autores antes de iniciar um processo de validação.
Limitações do estudo
Uma limitação relaciona-se ao foco dos artigos somente da área da enfermagem, ocasionando a perda de dados acerca da validação de protocolos e/ou comparação com métodos de validação de protocolos de outras áreas de conhecimento da saúde. A busca e seleção dos artigos foi realizada por um pesquisador somente, aumentando o risco de viés de seleção.
Contribuições para a enfermagem
Este estudo contribui para o conhecimento da enfermagem, de forma a guiar o processo de decisão na escolha do método de validação de conteúdo de protocolos assistenciais. Tal processo tem se tornado cada vez mais comum nas pesquisas de enfermagem nos últimos anos, de forma que artigos com subsídios para a discussão de métodos rigorosos para tal visam facilitar a sua condução e, consequentemente, a implementação dessas tecnologias na prática clínica, visando garantir um cuidado seguro e baseado em evidências.
Além disso, esta revisão integrativa destaca que o processo de avaliação por especialistas tem sido conduzido pela enfermagem, em sua maioria, de forma simplificada, com limitações em termos de descrição do rigor metodológico adotado. No entanto, métodos mais consolidados de consenso, como a Técnica Delphi, têm se tornado mais comuns e podem ser uma estratégia promissora na validação de protocolos assistenciais.
A PBE, como mencionado anteriormente, apresenta diversas vantagens, em nível individual e coletivo, sendo o enfermeiro e sua equipe centrais no seu processo de implantação.
A divulgação de resultados de pesquisas de enfermagem do mundo, principalmente no que se refere à implementação de novas tecnologias de cuidados (dentre elas, os protocolos) que visam a melhora da prática assistencial, traz visibilidade profissional e fortalecimento do papel do enfermeiro nas equipes multiprofissionais, estimulando a sua inserção nos diversos cenários de atenção à saúde.
CONCLUSÃO
Evidenciou-se que a validação de conteúdo dos protocolos de enfermagem avaliados nesta revisão, nos últimos 5 anos, deu-se por avaliação de especialistas, seja ela de forma simplificada ou utilizando métodos de consenso, como a Técnica Delphi ou a PCA. Os instrumentos utilizados foram variáveis e em sua grande maioria elaborados pelos próprios autores, seguindo algum referencial teórico ou não, sendo o uso de instrumentos padronizados, como o AGREE II, somente em dois artigos. Os critérios de escolha dos especialistas também foram variáveis, incluindo a seleção (busca de currículos na Plataforma Lattes, até o método de bola de neve), e os critérios de inclusão e exclusão (com sistemas de pontuação de currículos, ou não). Quanto à análise dos resultados, o IVC foi a fórmula mais utilizada, apesar de suas vantagens e desvantagens, podendo ser somada a outras formas de análise.
Os artigos foram avaliados em relação ao seu nível de evidência segundo Melnik e Fineoult-Overholt, mantendo o nível mais baixo, por serem baseados na opinião de especialistas da área. Os métodos de elaboração de protocolos emergiram na análise dos resultados, sendo a revisão de literatura destacada em todos os artigos, variando entre revisão simples, integrativa e sistemática, com destaque às revisões de escopo (scoping reviews) e a conjugação entre a revisão de literatura e outras formas de coleta de dados, como entrevistas e grupos.
Protocolos elaborados a partir de evidências robustas e avaliados por especialistas na temática são ferramentas valiosas e fortes para uso na prática clínica, tendo em vista que aliam ciência e a experiência daqueles que as usam no dia a dia. Trata-se de um dos princípios da PBE, ao adaptar os dados encontrados na literatura à realidade local, facilitando sua implementação. Mais estudos relacionados à validação de protocolos em outras áreas da saúde além da enfermagem são sugeridos, a fim de permitir comparações e conclusões mais completas para padronizar os métodos a serem utilizados.
Referências bibliográficas
-
1 Jylhä V, Oikarainen A, Perälä M-L, Holopainen A. Facilitating evidence-based practice in nursing and midwifery in the WHO European Region [Internet]. Denmark; 2017 [cited 2019 Dec 3]. Available from: http://www.euro.who.int/pubrequest
» http://www.euro.who.int/pubrequest -
2 Mackey A, Bassendowski S. The history of evidence-based practice in nursing education and practice. J Prof Nurs. 2017;33(1):51-5. doi: 10.1016/j.profnurs.2016.05.009
» https://doi.org/10.1016/j.profnurs.2016.05.009 -
3 Pimenta CAM, Pastana ICASS, Sichieri K, Solha RKT, Souza W. Guia para construção de protocolos assistenciais de enfermagem [Internet]. São Paulo: COREN-SP; 2015 [cited 2019 May 14]. Available from: https://portal.coren-sp.gov.br/sites/default/files/Protocolo-web.pdf
» https://portal.coren-sp.gov.br/sites/default/files/Protocolo-web.pdf -
4 Gomes ATL, Alves KYA, Bezerril MS, Rodrigues CCFM, Ferreira Jr MA, Santos VEP. Validation of graphic protocols to evaluate the safety of polytrauma patients. Acta Paul Enferm. 2018;31(5):504-17. doi: 10.1590/1982-0194201800071
» https://doi.org/10.1590/1982-0194201800071 -
5 Paes GO, Mello ECP, Leite JL, Mesquita MGR, Oliveira FT, Carvalho SM. Care protocol for clients with respiratory disorder: tool for decision making in nursing. Esc Anna Nery. 2014;18(2):303-10. doi: 10.5935/1414-8145.20140044
» https://doi.org/10.5935/1414-8145.20140044 -
6 Medeiros SG, Lima Neto AV, Saraiva COPO, Barbosa ML, Santos VEP. Safety evaluation in vaccine care: elaborating and validating a protocol. Acta Paul Enferm. 2019;32(1):53-64. doi: 10.1590/1982-0194201900008
» https://doi.org/10.1590/1982-0194201900008 -
7 Catunda HLO, Bernardo EBR, Vasconcelos CTM, Moura ERF, Pinheiro AKB, Aquino PS. Methodological approach in nursing research for constructing and validating protocols. Texto Contexto Enferm. 2017;26(2). doi: 10.1590/0104-07072017000650016
» https://doi.org/10.1590/0104-07072017000650016 -
8 Medeiros RKS, Ferreira Junior MA, Pinto DPS, Vitor AF, Santos VEP, Barrichello E. Modelo de validação de conteúdo de Pasquali nas pesquisas em Enfermagem. Rev Enferm Ref. 2015;(4):127-35. doi: 10.12707/RIV14009
» https://doi.org/10.12707/RIV14009 -
9 Whittemore R, Knafl K. The integrative review: updated methodology. J Adv Nurs. 2005;52(5):546-53. doi: 10.1111/j.1365-2648.2005.03621.x
» https://doi.org/10.1111/j.1365-2648.2005.03621.x -
10 Mendes KDS, Silveira RCCP, Galvão CM. Revisão integrativa: método de pesquisa para a incorporação de evidências na saúde e na enfermagem. Texto Contexto Enferm. 2008;17(4):758-64. doi: 10.1590/S0104-07072008000400018
» https://doi.org/10.1590/S0104-07072008000400018 -
11 Souza MT, Silva MD, Carvalho R. Revisão integrativa: o que é e como fazer. Einstein. 2010;8(1):102-6. doi: 10.1590/S0104-07072008000400018
» https://doi.org/10.1590/S0104-07072008000400018 -
12 Lemos CS, Poveda VB, Peniche ACG. Construction and validation of a nursing care protocol in anesthesia. Rev Latino-Am Enfermagem. 2017;25:e2952. doi: 10.1590/1518-8345.2143.2952
» https://doi.org/10.1590/1518-8345.2143.2952 -
13 Santos EC, Oliveira IC, Feijão AR. Validation of a nursing care protocol for patients undergoing palliative care. ACTA Paul Enferm. 2016;29(4):363-73. doi: 10.1590/1982-0194201600051
» https://doi.org/10.1590/1982-0194201600051 -
14 Sousa DMN, Chagas ACMA, Vasconcelos CTM, Stein AT, Oria MOB. Development of a clinical protocol for detection of cervical cancer precursor lesions. Rev Latino-Am Enfermagem. 2018;26. doi: 10.1590/1518-8345.2340.2999
» https://doi.org/10.1590/1518-8345.2340.2999 -
15 Gomes PPS, Lima FET, Araujo PR, Oliveira MR, Brito EGFM, Carneiro JL, et al. Water balance in pediatric nephrology: construction of a Standard Operating Procedure. Rev Bras Enferm. 2018;71:1404-11. doi: 10.1590/0034-7167-2017-0045
» https://doi.org/10.1590/0034-7167-2017-0045 -
16 Vieta E, Garriga M, Cardete L, Bernardo M, Lombrana M, Blanch J, et al. Protocol for the management of psychiatric patients with psychomotor agitation. BMC Psychiatry. 2017;17. Available from: doi: 10.1186/s12888-017-1490-0
» https://doi.org/10.1186/s12888-017-1490-0 -
17 Zakhary SA, Davey C, Bari R, Bean J, Reber T, Gallagher K, et al. The development and content validation of a multidisciplinary, evidencebased wound infection prevention and treatment guideline. Ostomy Wound Manage [Internet]. 2017 [cited 2019 Dec 9];63(11):18-29. Available from: https://pubmed.ncbi.nlm.nih.gov/29166260/
» https://pubmed.ncbi.nlm.nih.gov/29166260/ -
18 Baixinho CRSL, Dixe MACR, Henriques MAP. Falls in long-term care institutions for elderly people: protocol validation. Rev Bras Enferm. 2017;70(4):773-9. doi: 10.1590/0034-7167-2017-0109
» https://doi.org/10.1590/0034-7167-2017-0109 -
19 Paim AE, Nascimento ERPD, Bertoncello KCG, Sifroni KG, Salum NC, Nascimento KCD. Validation of an instrument regarding nursing intervention in patients in vasoactive therapy. Rev Bras Enferm. 2017;70(3):453-60. doi: 10.1590/0034-7167-2016-0254
» https://doi.org/10.1590/0034-7167-2016-0254 -
20 Baixinho CRL, Dixe MDA, Henriques MA. Managing the environment to prevent falls in the institutionalized elderly: protocol validation. Index Enferm [Internet]. 2018 [cited 2019 Dec 9];27(1-2):72-6.. Available from: http://scielo.isciii.es/scielo.php?script=sci_arttext&pid=S1132-12962018000100015&lng=es&nrm=iso&tlng=es
» http://scielo.isciii.es/scielo.php?script=sci_arttext&pid=S1132-12962018000100015&lng=es&nrm=iso&tlng=es -
21 Li L, Wang Q, Wang J, Liu K, Wang P, Li X, et al. Development, validation and application of a ventilator-associated pneumonia prevention checklist in a single cardiac surgery centre. Intensive Crit Care Nurs [Internet]. 2018;49:58-64. doi: 10.1016/j.iccn.2017.10.002
» https://doi.org/10.1016/j.iccn.2017.10.002 -
22 Selhorst IS, Bub MB, Girondi JB. Protocol for embracement and attention to users that underwent upper gastrointestinal endoscopy and persons accompanying them. Rev Bras Enferm. 2014;67(4):575-80. doi: 10.1590/0034-7167.2014670412
» https://doi.org/10.1590/0034-7167.2014670412 -
23 Bodeur C, Aucoin J, Johnson R, Garrison K, Summers A, Schutz K, et al. Clinical practice guidelines-Nursing management for pediatric patients with small bowel or multivisceral transplant. J Spec Pediatr Nurs. 2014;19(1):90-100. doi: 10.1111/jspn.12056
» https://doi.org/10.1111/jspn.12056 -
24 Rosini I, Salum NC. Care protocol for fine-needle aspiration biopsy of breast and thyroid. Texto Contexto Enferm. 2014;23(4):1059-67. doi: 10.1590/0104-07072014003520012
» https://doi.org/10.1590/0104-07072014003520012 -
25 Pedrosa KKA, Oliveira SA, Machado RC. Validation of a care protocol for the septic patient in the Intensive Care Unit. Rev Bras Enferm. 2018;71(3):1106-14. doi: 10.1590/0034-7167-2017-0312
» https://doi.org/10.1590/0034-7167-2017-0312 -
26 Veras JEGLF, Joventino ES, Coutinho JFV, Lima FET, Rodrigues AP, Ximenes LB. Risk classification in pediatrics: development and validation of a guide for nurses. Rev Bras Enferm. 2015;68(5):630-9. doi: 10.1590/0034-7167.2015680521p
» https://doi.org/10.1590/0034-7167.2015680521p -
27 Boeckmann LMM, Rodrigues MCS. Adaptation and validation of a surgical safety checklist in the cesarean delivery. Texto Contexto Enferm. 2018;27(3). doi: 10.1590/0104-070720180002780017
» https://doi.org/10.1590/0104-070720180002780017 -
28 Magalhaes FJ, Teixeira Lima FE, Almeida PC, Ximenes LB, Pessoa Chaves CM. Care protocols with risk classification in pediatrics: interobserver reliability. Acta Paul Enferm. 2017;30(3):262-70. doi: 10.1590/1982-0194201700040
» https://doi.org/10.1590/1982-0194201700040 -
29 Machado RC, Girones P, Souza AR, Moreira RSL, Jakitsch CB von, Branco JNR. Nursing care protocol for patients with a ventricular assist device. Rev Bras Enferm. 2017;70(2):335-41. doi: 10.1590/0034-7167-2016-0363
» https://doi.org/10.1590/0034-7167-2016-0363 -
30 AGREE Next Steps Consortium. The AGREE II Instrument [Internet]. 2009 [cited 2017 Aug 7]. Available from: http://www.agreetrust.org/wpcontent/uploads/2013/06/AGREE_II_Brazilian_Portuguese.pdf
» http://www.agreetrust.org/wpcontent/uploads/2013/06/AGREE_II_Brazilian_Portuguese.pdf -
31 Silva MFN, Oliveira GN, Pergola-Marconato AM, Marconato RS, Bargas EB, Araujo IEM. Assessment and risk classification protocol for patients in emergency units. Rev Latino-Am Enfermagem. 2014;22(2):218-25. doi: 10.1590/0104-1169.3172.2405
» https://doi.org/10.1590/0104-1169.3172.2405 -
32 Lima VCGS, Queluci GC, Brandao ES, Silva CPG, Oliveira FT. Nursing care after coronary transluminal angioplasty: Protocol validation. Enferm Glob. 2019;18(2):374-409. doi: 10.6018/eglobal.18.2.338831
» https://doi.org/10.6018/eglobal.18.2.338831 -
33 Cardoso ASF, Muller S, Echer IC, Rabelo-Silva ER, Boni FG, Ribeiro AS. Elaboration and validation of a drug administration checklist for patients in research protocols. Rev Gaucha Enferm. 2019;40(spe). doi: 10.1590/1983-1447.2019.20180311
» https://doi.org/10.1590/1983-1447.2019.20180311 -
34 Cunha DR, Salome GM, Massahud Jr MR, Mendes B, Ferreira LM. Development and validation of an algorithm for laser application in wound treatment. Rev Latino-Am Enfermagem. 2017;25(e2955). doi: 10.1590/1518-8345.1998.2955
» https://doi.org/10.1590/1518-8345.1998.2955 -
35 Aires M, Pizzol FLFD, Mocellin D, Rosset I, Morais EP de, Paskulin LMG. Cross-cultural adaptation of the Filial Responsibility protocol for use in Brazil. Rev Bras Enferm. 2017;70(6):1268-76. doi: 10.1590/0034-7167-2016-0479
» https://doi.org/10.1590/0034-7167-2016-0479 -
36 Alves VC, Freitas WCJ, Ramos JS, Chagas SRG, Azevedo C, Mata LRF. Actions of the fall prevention protocol: mapping with the classification of nursing interventions. Rev Latino-Am Enfermagem. 2017;25(e2986). doi: 10.1590/1518-8345.2394.2986
» https://doi.org/10.1590/1518-8345.2394.2986 -
37 Fernandes BSM, Reis IA, Pagano AS, Cecilio SG, Torres HDC. Development, validation and cultural adaptation of the COMPASSO protocol: adherence to self-care in diabetes. Acta Paul Enferm. 2016;29(4):421-9. doi: 10.1590/1982-0194201600058
» https://doi.org/10.1590/1982-0194201600058 -
38 Toso BRGO, Viera CS, Valter JM, Delatore S, Barreto GMS. Validation of newborn positioning protocol in Intensive Care Unit. Rev Bras Enferm [Internet]. 2015;68(6):1147-53. doi: 10.1590/0034-7167.2015680621i
» https://doi.org/10.1590/0034-7167.2015680621i -
39 Pagliuca LM, Macedo-Costa KN, Reboucas CB, Almeida PC, Sampaio AF. Validation of the general guidelines of communication between the nurse and the blind. Rev Bras Enferm. 2014;67(5):715-21. doi: 10.1590/0034-7167.2014670507
» https://doi.org/10.1590/0034-7167.2014670507 -
40 Bolton LL, Girolami S, Corbett L, Van Rijswijk L. The Association for the Advancement of Wound Care (AAWC) venous and pressure ulcer guidelines. Ostomy Wound Manag [Internet]. 2014 [cited 2019 Dec 10];60(11):24-66. Available from: https://pubmed.ncbi.nlm.nih.gov/25380098/
» https://pubmed.ncbi.nlm.nih.gov/25380098/ -
41 Alexandre NMC, Coluci MZO. Validade de conteúdo nos processos de construção de medidas. Cienc Saude Coletiva. 2011;16(7):3061-8. doi: 10.1590/S1413-81232011000800006
» https://doi.org/10.1590/S1413-81232011000800006 -
42 Nair R, Aggarwal R, Khanna D. Methods of Formal Consensus in Classification/Diagnostic Criteria and Guideline Development. Semin Arthritis Rheum. 2011;41:95-195. doi: 10.1016/j.semarthrit.2010.12.001
» https://doi.org/10.1016/j.semarthrit.2010.12.001 -
43 Bourree F, Michel P, Salmi LR. Consensus methods: review of original methods and their main alternatives used in public health. Rev Epidemiol Sante Publique. 2008;56(6):e13-21. doi: 10.1016/j.respe.2008.10.005
» https://doi.org/10.1016/j.respe.2008.10.005 -
44 Revoredo LS, Maia RS, Torres GV, Maia EMC. O uso da técnica delphi em saúde: uma revisão integrativa de estudos brasileiros [Internet]. 2015 [cited 2019 Nov 11];22(2):16-21. Available from: http://www.cienciasdasaude.famerp.br/index.php/racs/article/view/136/61
» http://www.cienciasdasaude.famerp.br/index.php/racs/article/view/136/61 -
45 Scarparo AF, Laus AM, Azevedo ALCS, Freitas MRI, Gabriel CS, Chaves LDP. Reflexões sobre o uso da Técnica Delphi em pesquisas na enfermagem. Rev Rene [Internet]. 2012 [cited 2019 Nov 11];13(1):242-51. Available from: http://www.periodicos.ufc.br/rene/article/view/3803
» http://www.periodicos.ufc.br/rene/article/view/3803 -
46 Trentini M, Paim L, Silva DMGV da. O método da pesquisa convergente assistencial e sua aplicação na prática de enfermagem. Texto Contexto Enferm. 2017;26(4):e1450017. doi: 10.1590/0104-07072017001450017
» https://doi.org/10.1590/0104-07072017001450017 -
47 Melo R, Moreira R, Fontenele F, Aguiar A, Joventino E, Carvalho E. Criteria for selection of experts for validation studies of nursing phenomena. Rev Rene. 2011;12(2):424-31. doi: 10.15253/revrene.v12i2.174
» https://doi.org/10.15253/revrene.v12i2.174 -
48 Jasper MA. Expert: a discussion of the implications of the concept as used in nursing. J Adv Nurs. 1994;20(4):769-76. doi: 10.1046/j.1365-2648.1994.20040769.x
» https://doi.org/10.1046/j.1365-2648.1994.20040769.x -
49 Polit DF, Beck CT. The content validity index: are you sure you know what’s being reported? critique and recommendations. Res Nurs Health. 2006;29:489-97. doi: 10.1002/nur.20147
» https://doi.org/10.1002/nur.20147
Editado por
-
EDITOR CHEFE: Antonio José De Almeida Filho
-
EDITOR ASSOCIADO: Priscilla Broca
Datas de Publicação
-
Publicação nesta coleção
19 Out 2020 -
Data do Fascículo
2020
Histórico
-
Recebido
03 Abr 2020 -
Aceito
12 Jun 2020
Fonte: Alexandre e Coluci (2015).
