Etikettarkiv: infliximab

Power overwhelming: inflammation, depression och varför det är ett sådant tjat om stickprovsstorlek

Publicerat i data analysis, med mera av

På förekommen anledning och vid närmare eftertanke tänkte jag utveckla varför det svaga positiva resultatet i den nyliga studien (Raison m fl 2013) av immunhämmande antikroppar mot depression inte är så trovärdigt — och varför författarna själva är mycket försiktiga i sina slutsatser. Observera — det här är inte en kritik av författarna. Jag använder bara deras artikel som räkneexempel. De är garanterat väl medvetna om problemet, men dock skyldiga till att ha uttryckt sig lite väl optimistiskt. Forskare är ofta lite väl optimistiska när de pratar om sina egna resultat.

Det finns flera lite olika sätt att räkna statistisk osäkerhet, men i den här artikeln angriper de huvudexperimentet med klassisk statistik. De mäter upp en skillnad (i det här fallet: minskning i Hamiltons depressionsskala under behandlingens gång) mellan två grupper (de som fått infliximab och placebo) och prövar om den är skild från noll. Det är ganska typiskt att säga att ett värde är signifikant skilt från noll om det är 5% chans att se ett så extremt värde av en slump ifall ingen skillnad finns. Å andra sidan, för att inte missa skillnader behöver vi göra ett experiment med tillräcklig sannolikhet att se en effekt om den faktiskt finns där. Detta kallas styrka. Små försök är inte trovärdiga därför att de har låg styrka.

I artikeln ifråga presenterar författarna en styrkeberäkning av sitt huvudexperiment: de vill visa att under rimliga antaganden om variation och effektstorlek så räcker 60 deltagare för att ha god chans att visa en effekt om den finns där (se Methods i artikeln). Med 5% signifikansnivå och en variation hämtad från litteraturen har de 80% chans att detektera en skillnad på 5 enheter på Hamiltonskalan. Så om det finns en skillnad som de missat är den antagligen betydligt mindre än så.

Sedan valde de att begränsa sig till deltagare med ”hög CRP”. Skillnaden på 3.1 enheter (se Comment och figur 3 i artikeln) är inte statistisk signifikant: alltså, osäkerheten är så stor att den skulle kunna vara noll eller mindre än noll. Hur stort borde uppföljningsförsöket vara för att kunna säga något hyfsat säkert om den här effekten? För att ha 80% styrka att detektera den skillnaden behöver de 162 deltagare, alltså hundra människor fler än första gången. Men det finns goda nyheter också: det är förstås möjligt att de genom att kontrollera CRP och begränsa sig till människor med mycket inflammation faktiskt minskar variationen jämfört med vad de antog i sin styrkeberäkning, så siffrorna behöver kanske inte vara fullt så pessimistiska.

Men antag att vi hittar en signifikant skillnad genom att bryta ner materialet i grupper och göra vidare analyser på dessa mindre grupper. Det finns två anledningar att vara lite skeptisk. Det första är att ju fler jämförelser och olika analyser vi prövar, desto större är risken att prata känslor med en död lax: alltså att råka på en tillräckligt stor skillnad bara av en slump. Även osannolika saker händer, efter hand. För det andra är det inte nog med att studier med liten styrka har liten chans att hitta något; om de hittar något tenderar resultaten att vara överskattningar.

Det kan vi se genom att simulera en situation med låg styrka: ett experiment med 22 deltagare, samma variation som ovan och en effekt på 5 enheter. Sedan låter vi datorn upprepa experimentet 1000 gånger. Resultaten varierar naturligtvis lite på grund av slumpen, men följande fick jag fram: 367 gånger var skillnaden signifikant skild från noll på 5%-nivån, vilket stämmer bra med den uppskattade styrkan på 36%. Histogrammen nedan visar den uppskattade effekten i de fall där skillnaden var signifikant. Oftast är den betydligt större än fem; när styrkan är låg är signifikanta resultat oftast överskattningar. Om vi testar att öka stickprovsstorleken, först till 60 och sedan till 100 blir problemet mindre.

infliximab_power_hist

Litteratur

Charles L. Raison, Robin E. Rutherford, Bobbi J. Woolwine, Chen Shuo, Pamela Schettler, Daniel F. Drake, Ebrahim Haroon, Andrew H. Miller. (2013) A Randomized Controlled Trial of the Tumor Necrosis Factor Antagonist Infliximab for Treatment-Resistant Depression. JAMA Psychiatry 70 ss. 31-41. doi:10.1001/2013.jamapsychiatry.4

Kod

För den intresserade finns R-kod för mina styrkeberäkningar på github.

Immunhämmande antikroppar hjälper nog inte mot depression

Publicerat i bioteknik av

Det var ett tag sedan jag skrev något om medicin, för medicin är inte riktigt min grej. Svt och DN hade i alla fall häromdagen artiklar om en studie som testat effekten av det biologiska läkemedlet infliximab på svårbehandlad depression. Båda artiklarna beskrev också från början denna speciella (och dyra) immunhämmande antikropp som en värktablett, men det har efterhand korrigerats nästan överallt. So called science skrev om den och letade också fram den vetenskapliga artikeln: A Randomized Controlled Trial of the Tumor Necrosis Factor Antagonist Infliximab for Treatment-Resistant Depression (tyvärr bakom betalvägg).

Författarnas hypotes är att inflammation orsakar åtminstone en del fall av depression och att ett immunhämmande medel som infliximab skulle kunna hjälpa vissa som leder av svårbehandlad depression. Tyvärr verkar resultatet vara att det inte hjälper. Infliximab är en biotekniskt tillverkad antikropp som angriper TNF-alfa, ett signalämne som är inblandat i inflammation. Så 60 människor med depression blev behandlade med infliximab eller placebo. De mätte depression med Hamiltons depressionsskala och som mått på inflammation mätte de koncentrationen av bland annat CRP, ett protein som finns i blodet och går upp vid inflammation — det senare för att se till att det fanns människor med inflammation jämnt fördelade i båda grupperna. Här är det på sin plats att erkänna att varken depression eller inflammation är mitt ämne, så jag läser helt enkelt artikeln och litar på författarna.

Efter tolv veckor med tre dropp med antikroppar hade båda grupperna blivit bättre (minskat i medeltal typ 7 poäng på skalan), men det var ingen skillnad på de som fått antikroppar och de som fått placebo. Huvudresultatet är negativt. Så vad kommer de påstått positiva resultaten ifrån? Jo, i efterhand gjorde de andra analyser för att se om det kanske finns någon effekt i någon mindre delmängd av patienterna, någon ny hypotes att titta närmare på i ett nytt experiment. Där fann de att människor med hög halt CRP i blodet (alltså mycket inflammation i kroppen) kanske svarar något bättre på infliximab (figur 3 och 4 i artikeln), men osäkerheten är fortfarande mycket stor. Enligt diagrammet i figur 3 kan effekten mycket väl vara noll eller negativ. Deras gräns för ”hög CRP” sattes ju genom att titta på resultaten i samma studie, och när de bara jämför de människor som har hög CRP finns det bara 22 deltagare kvar. Om författarna själva tror på det här och har pengar kommer de förhoppningsvis göra någon uppföljning som prövar effekten av infliximab endast på människor med hög CRP.

Det var också ett tag sedan jag klagade på bristen på källhänvisningar när tidningar skriver om vetenskapliga artiklar. Men bara för protokollet: varken DN eller Svt lyckas lägga in en länk till artikeln ifråga, och det är aldrig okej. Om det funnits en länk till originalartikeln hade vi kunnat klicka vidare och, utan att ens behöva ha tillgång till själva artikeln, kunnat läsa följande mening i sammanfattningen:

Results  No overall difference in change of HAM-D scores between treatment groups across time was found.

Litteratur

Charles L. Raison, Robin E. Rutherford, Bobbi J. Woolwine, Chen Shuo, Pamela Schettler, Daniel F. Drake, Ebrahim Haroon, Andrew H. Miller. (2013) A Randomized Controlled Trial of the Tumor Necrosis Factor Antagonist Infliximab for Treatment-Resistant Depression. JAMA Psychiatry 70 ss. 31-41. doi:10.1001/2013.jamapsychiatry.4

Vad är biologiska läkemedel?

Publicerat i bioteknik av

För några dagar sedan kom en artikel från Ekot — som ekade här och där — om biologiska läkemedel och hur förskrivningen av dem skiljer sig mellan olika delar av landet.

Men det står inte särskilt mycket om vilken sorts läkemedel det egentligen är fråga om, mer än att de är nya, bra och dyra. Så vad är biologiska läkemedel? Jag kan nog inte svara på varför de är dyrare (mer än att de är nya, relativt outforskade, med patent som fortfarande gäller), men istället blir det en liten utflykt till immunologins förlovade och ganska komplicerade land.

Fortsätt läsa →