Jak czytać badania naukowe: od tytułu do wniosków

Nagłówek głosi: „naukowcy udowodnili”. Jak czytać badania naukowe, żeby wiedzieć, ile w takim zdaniu prawdy? To częsty skrót myślowy.

Wielu z nas zatrzymuje się na tytule i jednym zdaniu streszczenia, a to dopiero początek. Pokażę prosty sposób, jak sprawdzić, kogo badano, co porównywano i jak mocny jest wynik. Poradnik nie zastępuje rozmowy z lekarzem.

Jak czytać badania naukowe: tytuł i abstrakt to dopiero początek

Abstrakt, czyli streszczenie badania, pomaga szybko poznać jego pytanie i główny wynik. Nie jest jednak całym badaniem. PubMed zawiera ponad 40 milionów opisów bibliograficznych i abstraktów, lecz nie przechowuje pełnych tekstów. Przy części opisów znajdziesz linki do tekstu u wydawcy lub w PubMed Central. Informacje o bazie opisuje strona informacyjna PubMed.

Spośród 616 raportów badań z randomizacją opublikowanych w grudniu 2006 roku 72 miały nieistotny statystycznie wynik główny. W tej grupie „spin”, czyli przedstawianie wyników zbyt pozytywnie mimo braku istotnej różnicy w głównym wyniku, pojawił się w tytule 13 raportów (18,0%), we wnioskach abstraktu 42 (58,3%), a we wnioskach głównego tekstu 36 (50,0%). Autorzy uznali, że interpretacja wyników często była z nimi niespójna. Analiza dotyczy wyłącznie raportów z nieistotnym wynikiem głównym i badań z 2006 roku, nie pozwala więc oceniać wszystkich badań. Badanie w PubMed, PMID 20501928 Szczegóły zawiera analiza 72 badań z randomizacją z nieistotnym wynikiem głównym. Dlatego wniosek z abstraktu warto zestawić z liczbami w wynikach.

Pytanie badawcze: kogo i co porównywano (PICO)

PICO to sposób porządkowania pytania badawczego: populacja, interwencja, porównanie i wynik. Innymi słowy: kto był badany, co zastosowano, z czym to porównano i co mierzono? Medycyna oparta na dowodach (evidence based medicine), czyli podejmowanie decyzji na podstawie najlepszych dostępnych dowodów, zaleca formułowanie pytań w tym schemacie.

W analizie 59 rzeczywistych pytań klinicznych lekarzy podstawowej opieki tylko dwa zawierały wszystkie cztery elementy PICO, a 37% uwzględniało interwencję i wynik. Autorzy opisują PICO przede wszystkim jako narzędzie do pytań o leczenie. Schemat bywa mniej odpowiedni dla pytań o diagnozę, rokowanie lub przyczynę choroby; analiza dotyczyła pytań lekarzy. Badanie w PubMed, PMID 17238363 Przy samodzielnym czytaniu badania użyj prostego wzoru: „Kto? Co? W porównaniu z czym? Jaki wynik?”.

Rodzaj badania i piramida dowodów

W badaniu z randomizacją uczestników losowo przydziela się do grup. W badaniach obserwacyjnych, takich jak kohortowe i kliniczno-kontrolne, badacze obserwują ludzi bez przydzielania im interwencji. Przegląd systematyczny porządkuje dostępne badania, a metaanaliza łączy ich wyniki metodami statystycznymi. Te nazwy mówią, jak powstały dane, i same nie przesądzają o ich wiarygodności.

Tradycyjna piramida dowodów układa typy badań według ryzyka błędu systematycznego, czyli ryzyka, że sposób zaprojektowania lub przeprowadzenia badania zniekształci wynik. Murad i współautorzy podkreślają, że pewność dowodów zależy również od wad wykonania, nieprecyzyjności, niespójności i pośredniości danych. Ich artykuł ma charakter perspektywiczny, czyli przedstawia opinię autorów. Badanie w PubMed, PMID 27339128

Poziom w tradycyjnej piramidzie	Typy badań	Zastrzeżenie
Dół	Badania podstawowe, serie przypadków	Najsłabsza ochrona przed błędem systematycznym
Środek	Badania kliniczno-kontrolne i kohortowe	Mogą być pewne, gdy inne czynniki to uzasadniają (GRADE)
Wyżej	Badania z randomizacją	Wady wykonania i nieprecyzyjność mogą obniżyć pewność
Szczyt	Przeglądy systematyczne i metaanalizy	Jakość zależy od badań wejściowych, niejednorodność pozostaje

Autorzy podają przykład: metaanaliza pięciu badań z randomizacją nad intensywną kontrolą glikemii u hospitalizowanych chorych, którzy nie byli w stanie krytycznym, dała ryzyko względne zgonu 0,95 (95% CI 0,72-1,25). Pewność dowodów obniżono z powodu wad wykonania w większości badań i szerokiego przedziału. Piramida dowodów wyznacza punkt wyjścia oceny. Badanie w PubMed, PMID 27339128

Wielkość efektu i przedział ufności: ile wynosi różnica

Wielkość efektu opisuje, jak duża jest różnica między grupami. Sama wartość p nie podaje tej wielkości. Wielkość efektu nie zależy od liczebności próby, natomiast istotność statystyczna zależy zarówno od wielkości różnicy, jak i liczby uczestników. Przy próbie 10 000 osób nawet znikoma różnica może dać istotny wynik. Badanie w PubMed, PMID 23997866

Ilustruje to badanie Physicians’ Health Study dotyczące aspiryny: w grupie ponad 22 000 osób obserwowanych średnio przez 5 lat różnica ryzyka zawału wyniosła 0,77%, choć wynik był wysoce istotny statystycznie (P poniżej 0,00001). Autorzy artykułu edukacyjnego wskazują, że wynik istotny nie musi oznaczać dużej różnicy. Badanie w PubMed, PMID 23997866 Umowne progi Cohena dla standaryzowanej wielkości efektu to 0,2 dla małego, 0,5 dla średniego i od 0,8 dla dużego efektu. To orientacyjne kategorie, których znaczenie zależy od kontekstu. Badanie w PubMed, PMID 23997866

Przedział ufności pokazuje zakres wielkości efektu zgodnych z danymi, a jego szerokość informuje o precyzji oszacowania. Przedział od 5 do 40 wyklucza 0, ale jest mniej precyzyjny niż przedział od minus 5 do 10, który obejmuje 0. Błędem jest czytanie „95% ufności” jako 95% szans, że konkretny przedział zawiera prawdziwy efekt: to własność metody stosowanej w wielu badaniach, a pojedynczy przedział albo zawiera prawdziwy efekt, albo go nie zawiera. Badanie w PubMed, PMID 27209009

Wartość p: czego nie mówi istotność statystyczna

P value, czyli wartość p, to miara tego, jak bardzo dane zgadzają się z hipotezą o braku efektu i pozostałymi założeniami modelu. Na pytanie „p value, co to właściwie znaczy?” odpowiedź „prawdopodobieństwo, że hipoteza jest prawdziwa” jest błędna. Wynik powyżej 0,05 również nie dowodzi braku efektu ani prawdziwości hipotezy. Badanie w PubMed, PMID 27209009

Istotność statystyczna nie mówi, czy efekt ma znaczenie praktyczne. Duża próba może wykazać istotność dla drobnej różnicy, a w małej próbie nawet duży efekt może zniknąć w szumie danych. Wartość p zależy też od założeń, między innymi od tego, że nie wybrano jej do publikacji dlatego, że była mała. Badanie w PubMed, PMID 27209009 Obok p szukaj liczby opisującej efekt i jego przedziału ufności. Więcej objaśnień zawiera przewodnik po błędnych interpretacjach wartości p i przedziałów ufności.

Ryzyko względne a bezwzględne

Ryzyko względne i ryzyko bezwzględne mogą opisywać ten sam wynik zupełnie inaczej. W edukacyjnym, hipotetycznym przykładzie dotyczącym leku na zawał, względne zmniejszenie ryzyka (RRR) wynosi 25% zarówno w grupie wysokiego, jak i niskiego ryzyka. Bezwzględne zmniejszenie ryzyka (ARR) wynosi jednak odpowiednio 10% i 2,5%. Badanie w PubMed, PMID 15313996

Liczba osób, które trzeba leczyć (NNT), by zapobiec jednemu zdarzeniu, to 100 podzielone przez ARR w procentach. W tym przykładzie NNT wynosi 10 przy ARR 10% i 40 przy ARR 2,5%. Badanie w PubMed, PMID 15313996 Ten sam procent ryzyka względnego może więc oznaczać różną korzyść bezwzględną. Pytaj: „o ile procent względem czego?”. To hipotetyczny przykład z artykułu edukacyjnego, niezwiązany z wynikami badań o suplementach.

Finansowanie badań: kto zapłacił i co autorzy napisali we wnioskach

Sprawdź sekcję o finansowaniu badań i konfliktach interesów. To informacja potrzebna do oceny kontekstu. W przeglądzie systematycznym 75 prac porównujących badania leków i wyrobów medycznych, badania finansowane przez przemysł częściej miały korzystne wyniki skuteczności (RR 1,27; 95% CI 1,17-1,37; 25 prac) i korzystne wnioski (RR 1,34; 1,19-1,51; 29 prac). Ich wnioski rzadziej zgadzały się z wynikami (RR 0,83; 0,70-0,98; 6 prac). Badanie w PubMed, PMID 28207928

Wyniki obejmują wyłącznie leki i wyroby medyczne, bez żywności i suplementów diety. Autorzy wskazali, że stronniczości związanej z finansowaniem nie wyjaśnia standardowa ocena ryzyka błędu. Samo finansowanie przez producenta nie przesądza o niewiarygodności badania. Porównaj liczby w wynikach z tonem wniosków, bo spin, czyli zbyt pozytywne przedstawienie wyników, może pojawić się w abstrakcie i w dyskusji. Badanie w PubMed, PMID 20501928

Lista kontrolna: 7 pytań do czytania badań

Ta lista kontrolna pokazuje, jak czytać badanie naukowe, zanim oprzesz się na jego wnioskach. Możesz użyć jej do oceny pojedynczej publikacji.

1. Kto został zbadany, co zastosowano, z czym porównano i co mierzono (PICO)?
2. Jaki to typ badania i jak pewne są takie dowody?
3. Ile wynosi efekt i jaki jest jego przedział ufności?
4. Czy poza istotnością statystyczną podano wielkość efektu?
5. Czy podano ryzyko bezwzględne, a nie tylko względne?
6. Kto sfinansował badanie i czy autorzy zgłosili konflikt interesów?
7. Czy wnioski w abstrakcie zgadzają się z liczbami w wynikach?

Lista pomaga ocenić pojedyncze badanie, ale nie zastępuje przeglądu systematycznego ani lekarza przy decyzjach zdrowotnych. Przykład tego, jak badania z randomizacją rozstrzygają popularną tezę, opisałam w tekście o badaniach nad glutenem. Jak ta lista wygląda przy konkretnym temacie, pokazuję w tekście o dawkowaniu witaminy D.

Często zadawane pytania