Stronniczość raportowania — Reporting bias

W epidemiologii , bias raportowania jest zdefiniowany jako „selektywnego objawienia lub tłumienie informacji” przez pacjentów (na przykład o przeszłości medycznej, palenie, doświadczenia seksualne). W badaniach nad sztuczną inteligencją , termin stronniczość raportowania jest używany w odniesieniu do tendencji ludzi do zaniżania wszystkich dostępnych informacji.

W badaniach empirycznych autorzy mogą zaniżać nieoczekiwane lub niepożądane wyniki eksperymentalne, przypisując wyniki błędom próbkowania lub pomiaru, jednocześnie bardziej ufając oczekiwanym lub pożądanym wynikom, chociaż mogą one podlegać tym samym źródłom błędu. W tym kontekście stronniczość w raportowaniu może ostatecznie doprowadzić do stanu quo, w którym wielu badaczy odkrywa i odrzuca te same wyniki, a później eksperymentatorzy uzasadniają własne stronniczość w raportowaniu, obserwując, że poprzedni eksperymentatorzy zgłaszali różne wyniki. Tak więc każdy przypadek błędu zgłaszania może zwiększyć prawdopodobieństwo przyszłych incydentów.

Zgłaszanie błędów w badaniach

Badania mogą przyczynić się do rozwoju wiedzy tylko wtedy, gdy zostaną przekazane społeczności przez badaczy. Powszechnie przyjętym podstawowym środkiem komunikacji jest „pełna” publikacja metod badawczych i wyników w artykule opublikowanym w czasopiśmie naukowym. Czasami badacze decydują się zaprezentować swoje odkrycia również na spotkaniu naukowym, poprzez prezentację ustną lub plakatową. Prezentacje te są częścią dokumentacji naukowej jako krótkie „streszczenia”, które mogą, ale nie muszą być rejestrowane w publicznie dostępnych dokumentach, zwykle znajdujących się w bibliotekach lub sieci WWW.

Czasami badacze nie publikują wyników całych badań. Deklaracja Helsinkach i innych dokumentów konsensusu przedstawił etyczny obowiązek dokonania wynika z badań klinicznych publicznie dostępny.

Błąd sprawozdawczy występuje, gdy na rozpowszechnianie wyników badań ma wpływ charakter i kierunek wyników, na przykład w przeglądach systematycznych . Wyniki pozytywne to powszechnie używany termin opisujący badanie, w którym stwierdzono, że jedna interwencja jest lepsza od drugiej.

Podejmowano różne próby przezwyciężenia skutków błędów sprawozdawczych, w tym korekty statystyczne wyników opublikowanych badań. Żadne z tych podejść nie okazało się jednak satysfakcjonujące i istnieje coraz większa akceptacja, że stronniczości sprawozdawczej należy przeciwdziałać poprzez tworzenie rejestrów kontrolowanych badań i promowanie dobrych praktyk publikacyjnych. Dopóki te problemy nie zostaną rozwiązane, szacunki efektów leczenia oparte na opublikowanych dowodach mogą być stronnicze.

Studium przypadku

Postępowanie sądowe wszczęte przez konsumentów i ubezpieczycieli zdrowotnych przeciwko firmie Pfizer w związku z oszukańczymi praktykami sprzedaży leku gabapentyny w 2004 r. ujawniło kompleksową strategię publikacji, która wykorzystywała elementy błędu sprawozdawczego. Spin wykorzystano, aby położyć nacisk na korzystne odkrycia faworyzujące gabapentynę, a także wyjaśnić niekorzystne odkrycia dotyczące leku. W tym przypadku korzystne wyniki drugorzędowe skupiły się na pierwotnym, niekorzystnym, pierwotnym wyniku końcowym. Inne zmiany stwierdzone w raportowaniu wyników obejmują wprowadzenie nowego pierwszorzędowego punktu końcowego, brak rozróżnienia między pierwszorzędowymi i drugorzędowymi punktami końcowymi oraz niezgłoszenie jednego lub więcej pierwszorzędowych punktów końcowych zdefiniowanych w protokole.

Inną strategią jest decyzja o opublikowaniu pewnych wyników w niektórych czasopismach. Badania ze statystycznie istotnymi wynikami były na ogół publikowane w czasopismach akademickich o większym nakładzie częściej niż badania z nieistotnymi wynikami. Wpłynęło to na czas publikacji wyników badań, ponieważ firma próbowała zoptymalizować czas pomiędzy opublikowaniem dwóch badań. Stwierdzono, że badania z nieistotnymi wynikami były publikowane w sposób rozłożony, tak aby nie opublikowano dwóch kolejnych badań bez istotnych wyników. Problemem było również autorstwo ducha , w którym profesjonalni pisarze medyczni, którzy sporządzili publikowane raporty, nie zostali odpowiednio docenieni.

Fallout z tej sprawy jest nadal rozstrzygany przez Pfizer w 2014 roku, 10 lat po pierwszym sporze.

Rodzaje stronniczości sprawozdawczej

Stronniczość publikacji

Publikacja lub niepublikowanie wyników badań, w zależności od charakteru i kierunku wyników. Chociaż autorzy zajmujący się medycyną od ponad wieku uznają problem zgłaszania błędów systematycznych, dopiero w drugiej połowie XX wieku badacze zaczęli badać źródła i rozmiary problemu zgłaszania błędów systematycznych.

W ciągu ostatnich dwóch dekad zgromadzono dowody na to, że brak publikacji badań naukowych, w tym badań klinicznych oceniających skuteczność interwencji, jest powszechny. Prawie wszystkie niepowodzenia w publikacji wynikają z niepowodzenia badacza; tylko niewielka część badań nie została opublikowana z powodu odrzucenia przez czasopisma.

Najbardziej bezpośrednie dowody na stronniczość publikacji w dziedzinie medycyny pochodzą z dalszych badań projektów badawczych zidentyfikowanych w momencie finansowania lub zatwierdzenia etyki. Badania te wykazały, że „pozytywne wyniki” są głównym czynnikiem związanym z późniejszą publikacją: badacze twierdzą, że powodem, dla którego nie piszą i nie składają raportów ze swoich badań do publikacji, jest zazwyczaj to, że „nie są zainteresowani” wynikami ( odrzucenie redakcji przez czasopisma jest rzadką przyczyną braku publikacji).

Nawet ci badacze, którzy początkowo opublikowali swoje wyniki jako abstrakty z konferencji, są mniej skłonni do opublikowania swoich wyników w całości, chyba że wyniki są „istotne”. Jest to problem, ponieważ dane prezentowane w abstraktach są często wynikami wstępnymi lub pośrednimi, a zatem mogą nie być wiarygodnymi reprezentacjami tego, co zostało znalezione po zebraniu i przeanalizowaniu wszystkich danych. Ponadto streszczenia często nie są dostępne publicznie za pośrednictwem czasopism, bazy danych MEDLINE lub łatwo dostępnych baz danych. Wiele z nich jest publikowanych w programach konferencji, materiałach konferencyjnych lub na płytach CD-ROM i jest udostępnianych tylko dla rejestrujących się na spotkania.

Głównym czynnikiem związanym z brakiem publikacji są wyniki negatywne lub zerowe. Kontrolowane badania, które ostatecznie są zgłaszane w całości, są publikowane szybciej, jeśli ich wyniki są pozytywne. Stronniczość publikacji prowadzi do przeszacowania efektu leczenia w metaanalizach, co z kolei może prowadzić lekarzy i decydentów do przekonania, że leczenie jest bardziej przydatne niż jest.

Obecnie powszechnie wiadomo, że stronniczość publikacji z korzystniejszymi wynikami skuteczności jest związana ze źródłem finansowania badań, które w przeciwnym razie nie zostałoby wyjaśnione zwykłym ryzykiem stronniczości ocen.

Odchylenie czasowe

Szybka lub opóźniona publikacja wyników badań, w zależności od charakteru i kierunku wyników. W systematycznym przeglądzie literatury Hopewell i jej współpracownicy stwierdzili, że ogólnie badania z „wynikami pozytywnymi” (istotne statystycznie na korzyść ramienia eksperymentalnego) zostały opublikowane około rok wcześniej niż badania z „wynikami zerowymi lub negatywnymi” (nie statystycznie istotne lub statystycznie istotne na korzyść ramienia kontrolnego).

Wielokrotne (duplikaty) stronniczość publikacji

Wielokrotna lub pojedyncza publikacja wyników badań, w zależności od charakteru i kierunku wyników. Śledczy mogą również wielokrotnie publikować te same wyniki, stosując różne wzorce „duplikatów” publikacji. Wiele duplikatów jest publikowanych w suplementach do czasopism, potencjalnie trudno dostępnej literatury. Wydaje się, że pozytywne wyniki są publikowane częściej w dwóch egzemplarzach, co może prowadzić do przeszacowania efektu leczenia.

Błąd lokalizacji

Publikacja wyników badań w czasopismach o różnej łatwości dostępu lub stopniach indeksacji w standardowych bazach danych, w zależności od charakteru i kierunku uzyskiwania wyników. Istnieją również dowody na to, że w porównaniu z wynikami ujemnymi lub zerowymi, statystycznie istotne wyniki są publikowane średnio w czasopismach o wyższych współczynnikach wpływu, a publikacja w literaturze głównego nurtu (nie szarej) wiąże się z ogólnie większym efektem leczenia w porównaniu do szarej literatura.

Błąd cytowania

Cytowanie lub nie cytowanie wyników badań, w zależności od charakteru i kierunku wyników. Autorzy mają tendencję do cytowania pozytywnych wyników zamiast negatywnych lub zerowych, co zostało ustalone w szerokim przekroju tematów. Cytowanie różnicujące może prowadzić do postrzegania w społeczności, że interwencja jest skuteczna, gdy nie jest, i może prowadzić do nadreprezentacji pozytywnych wyników w przeglądach systematycznych, jeśli te, które nie zostały cytowane, są trudne do zlokalizowania.

Selektywne łączenie wyników w metaanalizie jest formą błędu cytowania, który jest szczególnie podstępny ze względu na swój potencjał wpływania na wiedzę. Aby zminimalizować stronniczość, łączenie wyników z podobnych, ale oddzielnych badań wymaga wyczerpującego wyszukiwania wszystkich odpowiednich badań. Oznacza to, że metaanaliza (lub łączenie danych z wielu badań) musi zawsze wynikać z przeglądu systematycznego (nie z selektywnego przeglądu literatury), mimo że przegląd systematyczny nie zawsze wiąże się z metaanalizą.

Stronniczość językowa

Publikacja wyników badań w określonym języku, w zależności od charakteru i kierunku wyników. Od dawna pojawia się pytanie, czy istnieje uprzedzenie językowe, które powoduje, że badacze publikują swoje negatywne wyniki w czasopismach nieanglojęzycznych, a pozytywne wyniki rezerwują dla czasopism anglojęzycznych. Niektóre badania wykazały, że ograniczenia językowe w przeglądach systematycznych mogą zmienić wyniki przeglądu, a w innych przypadkach autorzy nie stwierdzili, że istnieje taka stronniczość.

Stronniczość raportowania wiedzy

Częstotliwość, z jaką ludzie piszą o działaniach, wynikach lub właściwościach, nie jest odzwierciedleniem częstotliwości w świecie rzeczywistym ani stopnia, w jakim właściwość jest charakterystyczna dla klasy jednostek. Ludzie piszą tylko o niektórych częściach otaczającego ich świata; wiele informacji pozostaje niedopowiedzianych.

Stronniczość raportowania wyników

Wybiórcze raportowanie niektórych wyników, ale nie innych, w zależności od charakteru i kierunku wyników. Badanie może zostać opublikowane w całości, ale z góry określone wyniki mogą zostać pominięte lub błędnie przedstawione. Wyniki skuteczności, które są statystycznie istotne, mają większą szansę na pełne opublikowanie w porównaniu z tymi, które nie są statystycznie istotne.

Wybiórcze zgłaszanie podejrzewanych lub potwierdzonych działań niepożądanych leczenia jest obszarem szczególnej troski ze względu na potencjalne szkody dla pacjentów. W badaniu zdarzeń niepożądanych dotyczących leków, przedłożonym skandynawskim organom licencjonowania leków, w raportach z opublikowanych badań odnotowano mniejsze prawdopodobieństwo odnotowania zdarzeń niepożądanych niż w niepublikowanych badaniach (na przykład odpowiednio 56 w porównaniu z 77% w przypadku fińskich badań dotyczących leków psychotropowych). Niedawna uwaga mediów świeckich i naukowych na temat niedokładnego zgłaszania działań niepożądanych leków (np. selektywnych inhibitorów wychwytu serotoniny, rozyglitazonu, rofekoksybu) zaowocowała dodatkowymi publikacjami, zbyt licznymi, aby je przejrzeć, wskazującymi na istotne selektywne zgłaszanie wyników (głównie tłumienie) znane lub podejrzewane zdarzenia niepożądane.

Languages

In other projects