Kategoriarkiv: med mera

Our puny scientist minds can’t grasp pizza deals (Guest & Martin 2021; postscript to data-driven science)

Publicerat i english, med mera av

In the last post about conceptions of data-driven science, I wrote about the idea that reality is so complicated that we might need computers to help us reason about it. To be fair, even simple relationships in small data are too much for our puny brains to handle intuitively. We need to do the calculations. Here is Guest & Martin’s Pizza Problem of scientific reasoning, as presented in a thread by @cretiredroy on Twitter:

I ordered a 9-inch Pizza.
After a while, the waiter brought two 5-inch pizzas and said, the 9-inch pizza was not available and he was giving me two 5-inches Pizzas instead, and that I am getting 1 inch more for free!

The area of a circle is pi times the square of the radius r. A number n of 5-inch pizzas is smaller than a 9-inch pizza if:

n \pi \cdot 5^2 < \pi \cdot 9^2

Which we can rearrange to:

n < (\frac 9 5)^2 = 3.24

@cretiredroy again:

I said that even if he gave three pizzas, I would still lose-out.
”How can you say you are giving me an extra inch for free?”
The owner was speechless.
He finally gave me 4 pizzas.

Take Maths seriously!

Guest & Martin (2021) use this simple problem as their illustration for computational model building: two 5 inch pizzas for the same price as one 9 inch pizza is not a good deal, because the 9 inch pizza contains more food. As I said before, I don’t think in inches and Swedish pizzas usually come in only one size, but this is counterintuitive to many people who have intuitions about inches and pizzas.

(In Guest & Martin's paper, the numbers are actually 12 and 18 inches. We can generalise to any radiuses of big and small pizzas:

n < (\frac {r_{big}} {r_{small}})^2

Plugging in 12 and 18 gives 2.25, meaning that three 12-inch pizzas would be needed to sweeten the deal.)

We assume that we already agree that the relevant quantity is the area of pizza that we get. If we were out to optimise the amount of crust maybe the circumference, which is 2 times pi times the radius r, would be more relevant. In that case:

2n \pi 5 < 2 \pi 9

n < \frac 9 5 = 1.8

And the two smaller pizzas are a better deal with respect to crust circumference.

The risk of inconsistencies in our scientific understanding because we cannot intuitively grasp the implications of our models is what Guest & Martin call "The pizza problem". They believe that it can be ameliorated by computational modelling. If we have to make the calculations, we will notice and have to deal with assumptions we would otherwise not think about.

This is a different benefit of doing the calculations than the intuition building I wrote about in my post about the Monty Hall problem:

The outcome of the simulation is less important than the feeling that came over me as I was running it, though. As I was taking on the role of the host and preparing to take away one of the losing options, it started feeling self-evident that the important thing is whether the first choice is right. If the first choice is right, holding is the right strategy. If the first choice is wrong, switching is the right option. And the first choice, clearly, is only right 1/3 of the time.

I don’t think anyone is saying that it is impossible to intuitively grasp the case of the pizza deals. If you are used to relationships with squares, you might do it as quickly as @cretiredroy in the Twitter thread. However, because even simple power law relationships and probability experiments are tricky for us to reason about when we are naive to them, that should give us pause about our ability to reason verbally about new causal patterns. We might need some help.

Guest & Martin use the pizza example to illustrate their model of science as a hierarchy of frameworks, theories, specifications, implementations, hypotheses and data. The "framework" contains concepts of pizza, food and order, leading to the idea to maximize the amount of food per order. Our decision to care about amount of pizza and not about crust circumference belongs here. They describe two competing "theories": one that we need to maximise surface area and one that we need to maximise number of pizzas. The specification is the model of the area of a circle, and the implementation is plugging the numbers into it.

They argue that the "theory", "specification" and "implementation" steps are often omitted, and that doing so (prematurely jumping on to data collection), leads to inconsistencies that could have been avoided by being explicit about these steps. That is, in the pizza case, one should first write down the equations for the surface area of pizzas and compute the results before ordering the two deals and weighing the pizzas.

Just writing down the equations is not enough. In their talk on the topic for Glasgow ReproducibiliTea, Guest & Martin (2020) emphasise that the pizza problem is an issue even when we already have a formal model that describes the problem well — as in the pizza case, everyone agrees on the maths of the area of a circle — but that does not prevent the result from being counterintuitive. The formal model does not actually help resolve the confusion until it is used to compute the area of the two pizza orders.

I wanted to illustrate this post with a photo of a pizza from the chippy in Penicuik, where you get a complimentary box of chips with the larger size pizza, but I couldn’t find it. Instead, here are some pizzas from #GeneticistsTweetingAboutPizza.

References

@cretiredroy Twitter thread https://twitter.com/cretiredroy/status/1542351846903529472

Guest, O., & Martin, A. E. (2021). How computational modeling can force theory building in psychological science. Perspectives on Psychological Science, 16(4), 789-802.

Guest O & Martin (2020). How computational modeling can force theory building in psychological science (Glasgow ReproTea). Recording. https://www.youtube.com/watch?v=_WV7EFvFAB8

Levels of data-driven science

Publicerat i english, med mera av

This list of gradually more radical conceptions represent my attempt at understanding the term ”data-driven science”. What does it mean?

Level 0: ”All science is already data-driven”

This is the non-answer that I expect from researchers who take ”data-driven” to mean ”empirical science as usual”, potentially distinguishing it from ”theory”, which they may dislike.

Level 1: ”My science is already data-driven”

This is the answer I expect from the ”milk recordings are Big Data” crew, i.e., researchers who are used to using large datasets, and don’t see anything truly new in the ”Big Data” movement (but might like to take part in the hype with their own research).

For example, Leonelli (2014) writes about developments in model organism databases and their relation to ”Big Data”. She argues that working with large datasets was nothing new for this community but that the Big Data discourse brought attention to the importance of data and data management:

There is strong continuity with practices of large data collection and assemblage conducted since the early modern period; and the core methods and epistemic problems of biological research, including exploratory experimentation, sampling and the search for causal mechanisms, remain crucial parts of inquiry in this area of science – particularly given the challenges encountered in developing and applying curatorial standards for data other than the high-throughput results of ‘omics’ approaches. Nevertheless, the novel recognition of the relevance of data as a research output, and the use of technologies that greatly facilitate their dissemination and re-use, provide an opportunity for all areas in biology to reinvent the exchange of scientific results and create new forms of inference and collaboration.

Level 2: Re-using data as much as possible

This answer is the notion that data-driven research is about making use of the data that is already out there as much as possible, putting it in new research contexts and possibly aggregating data from many sources.

This is the emphasis of the SciLife & Wallenberg program for ”data-driven life science”:

Experiments generate data, which can be analyzed to address specific hypotheses. The data can also be used and combined with other data, into larger and more complex sets of information, and generate new discoveries and new scientific models. Which, in their turn, can be addressed with new experiments.

Researchers in life science often collect large amounts of data to answer their research questions. Often, the same data can be used to answer other research questions, posed by other research groups. Perhaps many, many other questions, and many, many other research groups. This means that data analysis, data management and data sharing is central to each step of the research process …

In my opinion, taking this stance does not necessarily imply any ban on modelling, hypothesising or theorising (which is the next level). It’s a methodological emphasis on data, not a commitment to a particular philosophy of science.

Level 3: A philosophy of science that prioritises data exploration

This answer understands ”data-driven science” as a philosophy of science position that prioritises data exploration over modelling, hypothesising and theorising. Leonelli argues that this is one of the key features of data driven research (2012).

Extreme examples include Chris Anderson’s view that ”correlation is enough” and that large datasets have made theories and searches for causes obsolete. Anderson wrote in Wire 2008 about how ”petabyte-scale” data is making theory, hypotheses, models, and the search for causes obsolete.

The new availability of huge amounts of data, along with the statistical tools to crunch these numbers, offers a whole new way of understanding the world. Correlation supersedes causation, and science can advance even without coherent models, unified theories, or really any mechanistic explanation at all.

But faced with massive data, this approach to science — hypothesize, model, test — is becoming obsolete. Consider physics: Newtonian models were crude approximations of the truth (wrong at the atomic level, but still useful). A hundred years ago, statistically based quantum mechanics offered a better picture — but quantum mechanics is yet another model, and as such it, too, is flawed, no doubt a caricature of a more complex underlying reality. The reason physics has drifted into theoretical speculation about n-dimensional grand unified models over the past few decades (the ”beautiful story” phase of a discipline starved of data) is that we don’t know how to run the experiments that would falsify the hypotheses — the energies are too high, the accelerators too expensive, and so on.

/…/

There is now a better way. Petabytes allow us to say: ”Correlation is enough.” We can stop looking for models. We can analyze the data without hypotheses about what it might show. We can throw the numbers into the biggest computing clusters the world has ever seen and let statistical algorithms find patterns where science cannot.

I believe that this extreme position is incoherent. We can’t infer directly from data without a theory or model. The options are to do it with or without acknowledging and analysing the models we use. But there are less extreme versions that make more sense.

For example, van Helden (2013) argued that omic studies imply more broad and generic hypotheses, about what kinds of mechanisms and patterns one might expect to find in a large dataset, rather than hypothesising the identity of the genes, pathways or risk factors themselves.

Equipped with such huge data sets, we can perform data mining in an objective way. For some purists, this approach to data acquisition is anathema, as it is not ‘hypothesis-driven’. However, I submit that it is. In this case, the original hypothesis is broad or generic–we generate data, assess it and probably find something useful for elucidating our research problem. /…/ The hypothesis is that one will design an algorithm and find a pattern, which allows us to distinguish between cases and controls.

Anderson might be right that the world as revealed by data is too complicated for our puny brains to write down equations about; maybe machines can help. That brings us to the next level.

Level 4: Machine learning to replace scientific reasoning

This answer is the attitude that complex relationships in large data are too much for the human mind, and traditional theoretical models, to handle. Instead, we should use machine learning models to find patterns and make predictions using automated inference processes that are generally too intricate for humans to interpret intuitively. This is also one of Leonelli’s key features of data-driven research (2012).

Again, Anderson’s ”End of Theory” is an extreme example of this view, when he argues that the complex interactions between genes, epigenetics and environment make theoretical models of genetics useless.

Now biology is heading in the same direction. The models we were taught in school about ”dominant” and ”recessive” genes steering a strictly Mendelian process have turned out to be an even greater simplification of reality than Newton’s laws. The discovery of gene-protein interactions and other aspects of epigenetics has challenged the view of DNA as destiny and even introduced evidence that environment can influence inheritable traits, something once considered a genetic impossibility.

In short, the more we learn about biology, the further we find ourselves from a model that can explain it.

Anderson overstates how helpless genetic models are against complexity, but there is a point here, for example with regard to animal breeding. Part of what made genomics useful in modern animal breeding was giving up on the piecemeal identification of individual markers of large genetic effect, and instead throwing whole-genome information into a large statistical model. We estimate them all, without regard for their individual effect, without looking for genetic causes (”genetics without genes” as Lowe & Bruce (2019) put it), and turn them into a ranking of animals for selection decisions. However, this is level 3 stuff, because there is a human-graspable quantitative genetic theory underlying the whole machinery, with marker effect, breeding values, and equations that can be interpreted. A more radical vision of machine learning-based breeding would take away that too, no notion of genetic relationship between individuals, genetic correlation between traits, or separating genotype from phenotype. Will this work? I don’t know, but there are tendencies like this in the field, for example when researchers try to predict useful traits from high-dimensional omics or sensor data.

Apart from those pro-machine learning, anti-theory stances, you could have a pro-machine pro-theory stance. There several fields of research that try to use automated reasoning to help do theory. One interesting subfield of research that I only learned about recently is research around ”symbolic regression” and ”machine scientists” where you try to find mathematical expressions that fit data but allowing for a large variety of different expressions. It’s like a form of model selection where you allow a lot of flexibility about what kind of model you consider.

There is a whole field of this, but here is an example I read recently: Guimerà et al. (2020) used a Bayesian method, where they explore different expression with Markov Chain Monte Carlo, putting a prior on the mathematical expression based on equations from Wikipedia. This seems like something that could be part of a toolbox of a data-driven scientist who still won’t give up on the idea that we can understand what’s going on, even if we might need a help from a computer.

References

Anderson C., The End of Theory: The Data Deluge Makes the Scientific Method Obsolete. Wired.

van Helden P., 2013 Data-driven hypotheses. EMBO reports 14: 104–104.

Leonelli S., 2012 Introduction: Making sense of data-driven research in the biological and biomedical sciences. Studies in History and Philosophy of Science Part C: Studies in History and Philosophy of Biological and Biomedical Sciences 43: 1–3.

Leonelli S., 2014 What difference does quantity make? On the epistemology of Big Data in biology. Big Data & Society 1: 2053951714534395.

Lowe, James WE, and Ann Bruce., 2019 Genetics without genes? The centrality of genetic markers in livestock genetics and genomics. History and Philosophy of the Life Sciences 41.4

Guimerà, R., Reichardt, I., Aguilar-Mogas, A., Massucci, F. A., Miranda, M., Pallarès, J., & Sales-Pardo, M., 2020. A Bayesian machine scientist to aid in the solution of challenging scientific problems. Science advances, 6(5), eaav6971.

Akademiskt skrivande: Magnus Linton om bra text

Publicerat i med mera, svenska av

För några veckor sedan kom journalisten och författaren Manus Linton på videobesök till SLU och pratade om skrivande. Han är nämligen på uppdrag att få forskare att skriva bättre — han har varit ”writer-in-residence” (snygg titel) på Uppsala universitet och drivit workshopprojektet Skriven mening på samma tema. Det var inte klart för mig om det är samma projekt som pågår fortfarande trots att det enligt sidan ska ha slutat förra året, eller någon typ av fortsättning; sak samma. Föredraget handlade om vad bra text är, följt av tips. Han har en bok på samma ämne, Text & stil, som jag inte läst än men blev minst sagt sugen på.

Linton har mest arbetat med forskare inom samhällsvetenskap och humaniora, men jag tror ändå att flera poänger kan överföras på naturvetenskapliga texter. Eftersom jag verkar i ett fält med lite annan textkultur har jag lite svårt att känna igen den genre han beskrev som ”ditt nästa antologibidrag”, men jag vet i alla fall vad ”en essä på en dagstidnings en kultursida” är, även om det är tveksamt om jag någonsin kommer att skriva en sådan om min forskning. (Kultursideredaktörer, maila för all del!) Det handlade om skrivande som riktar sig till fler än de närmast sörjande — ”text som inte enbart är skriven för att undervisa eller övertyga de närmaste kollegorna”. Vilket till exempel kan innefatta forskningsansökningar, som ju oftast läses och bedöms av kunniga människor som inte är just experter på ämnet för ansökan. Och jag vågar påstå att det i viss mån kan gälla forskningsartiklar, åtminstone de som inte helt är skrivna enligt formulär 1A — till exempel olika översikt-, perspektiv- eller letter to the editor-artiklar.

Jag gillar att Linton ogenerat pratade om bra text. Det tycks mig som forskare gärna använder eufemismer som att något är ”precist” eller ”tydligt”, när de menar ”bra”. Vad menar han då med bra? En bra text fyra saker för sig: För det första, den innebär ett möte mellan författare och läsare, på så sätt att den respekterar läsarens förmåga och lämnar tillräckligt utrymme åt läsaren att tänka själv. För det andra är den meningsfull för tre olika sfärer samtidigt: för författaren själv — det finns motivation och intresse att skriva den; för den egna akademiska miljön — den har tillräcklig skärpa och stringens; och för världen utanför — den är begriplig och använder minimalt med jargong. För det tredje tar den risker. För det fjärde handlar den om något, ett visst problem, och kan visa varför det är viktigt.

Det var lätt att känna igen problembeskrivningarna. Många forskare skriver ”narcissistiskt eller ogeneröst”. Många forskare skriver ängsligt: ”Man får intrycket att huvudsyftet är att inte göra fel.” En del texter är i praktiken översikter som samplar andras slutsatser utan att bidra med något nytt — där inflikade han att naturvetare kanske inte känner igen den beskrivningen och jag fnissade för mig själv, för jag kände mycket väl igen beskrivningen. Han var också kritisk till begreppet populärvetenskap, eftersom det ”får forskare att fokusera på enkelhet, även språkligt”. Det är nog sant, kanske inte om journalistiskt kunniga forskningsskribenter, men väl om oss forskare när vi försöker skriva så att icke-forskare kan begripa. Det stämmer att det lätt blir för torftigt och för inriktat på att förklara.

För den långa listan konkreta tips tror jag man får vända sig till boken, men här är några minnesvärda tips och tekniker från föredraget: Skapa rörelse med perspektivbyten och att använda annat material än just den egna studien. Allt material — upplevelser, debatter, händelser — kan ha plats i en essä. Tänk på början och slutet; akademisk text slutar ofta svagt genom att bara ebba ut. (En vän lästen nyligen ett utkast till en av mina ansökningar och påpekade: ”Du avslutar inte med något”. Det stämde.) Vad gäller början, ge inte en massa torr bakgrund eller en rad abstrakta frågor, utan börja med något som har laddning, visar varför det som kommer är viktigt och bygger förtroende hos läsaren. Någon frågade om problemen med att skriva om kontroversiella etiska frågor, och svaret blev att man ska vara glad för att ens ämne är kontroversiellt. Balansera fakta (”hur”) och analys (”varför”). Sakpåståenden utan analys är tråkigt, men analys utan konkreta fakta är obegripligt. Jag påminns om ett citat från JBS Haldane (från hans ”How to write a popular science article”) som citerades i podcasten Genetics Unzipped nyligen: ”start from a known fact, such as a bomb explosion, a bird’s song’ or a piece of cheese” och ”proceed to your goal in a series of hops rather than a single long jump”.

Lärde jag mig något då? Det var många bra idéer som är värda att lägga på minnet. En av dem testade jag direkt — att ta bort underrubrikerna så att texten måste hänga ihop utan dem. Men om det är något vi lärt oss av att studera och undervisa är det att man inte blir särskilt mycket bättre på att göra något genom att lyssna på någon som pratar om det, hur kul och klokt det än är. Men jag ska ta fram några av hans tips nästa gång jag sitter och våndas över en asigt tråkig text jag skriver.

Computational Genetics Discussion Cookies

Publicerat i dear diary, english, med mera av

The Computational Genetics Discussion Group is an informal seminar series on anything quantitative genetics, genomics and breeding run by the Hickey group at the Roslin Institute. Over the last year and a half or so, I’ve been the one emailing people and bringing biscuits, and at some point, I got fed up with the biscuits available at my local Tesco. Here is my recipe for computational genetics discussion cookies.

CGDC
Makes ca 50 cookies

1. Melt and brown 250 g butter.

2. Mix 100 g white sugar, 100 g Demerara sugar, 65 g of golden syrup, and 2 teaspoons of vanilla extract.

3. Add the melted butter and two eggs and whisk together.

4. Mix 375 g of flour and 0.75 teaspoons of bicarbonate. Add this to the butter, egg and sugar mix.

5. Split the batter into two halves. To each half, add one of:

  • 300 g chopped chocolate
  • 5 crushed digestive biscuits and 2 teaspoons of ground cinnamon
  • 50 g of crushed mini pretzels and 200 g of chopped fruit jellies
  • 50 g of oats and 120 g of raisins (weigh the raisins dry and then soak in hot water)
  • 75 g of desiccated coconut and 120 g of raisins
  • 125 g of granola mix

6. Bake for 7.5 minutes at 200 degrees Celsius.

7. Let rest for at least two minutes before moving off of the tray.

Prata svenska

Publicerat i med mera, svenska, the practice of science av

Nu när jag inte alls behöver prata om genetik på svenska känns det plötsligt extra viktigt att tänka på det.

Helst skulle jag förstås vilja kunna prata om genetik på svenska med termer som är begripliga, smidiga och inte känns konstlade. Vad som känns konstlat är naturligtvis en smakfråga. Ska man skriva ”enbaspolymorfier” eller ”snippar”? Det första låter som kanslihussvenska och det andra är ett lustigt ljud med genitala associationer.

Jag kan komma på alla möjliga svepskäl att inte prata om genetik på svenska — ”det låter töntigt”; ”det finns inte ord” — men de är inte särskilt bra. Det är också såklart sant att någon som jag är bättre på mitt modersmål än ett andra språk jag lärde mig skolan, och antagligen både tänker och skriver mer effektivt och nyanserat på svenska än på engelska.

Vilka är de bästa källorna till svenska genetiska termer? Jag antar att de flesta svensktalande genetiker gör som jag och litar till en blandning av: vad vi hört äldre akademiker säga, uppslagsverk som Nationalencyklopedin och Wikipedia, Biotermgruppens lista, kanske KI-bibliotekets svenska MeSH-termer och, om allt annat tryter, översättning från engelska enligt eget huvud.

Genetisk terminologi har flera besvärliga egenskaper. Dels finns det många låneord från latin och grekiska — epistasi, pleiotropi, eukaryot, … — som antagligen inte direkt är självförklarande ens för den som kan latin eller grekiska. ”Epistasi” förresten … Biotermgruppen kallar det ”epistas”, KI-MeSH skriver ”epistasi” och Wikipedia ”epistasis”. Naturligtvis använder genetiker inom olika specialområden samma ord på olika sätt också. ”Pleiotropi” betyder tre olika saker (Paaby & Rockman 2013). Eller var det sju olika saker (Hodkin 1998)?

Sedan finns det massor av ord som betyder ungefär samma sak. Vad är skillnaden på ”variant” och ”allel”? Betyder ”gen” samma sak som ”locus”, eller är det ”variant” och ”locus” som betyder samma sak? Det beror på vem som svarar.

Och till sist verkar genetiker tro att att det hjälper läsaren, eller får dem att verka klyftiga, om de myntar massor av förkortningar. Och sedan helst, som med snipparna ovan, förvandlar förkortningarna till roliga små läten. Snipp och BLUP och tork och kvark voro sex små dvärgar.

It seems dplyr is overtaking correlation heatmaps

Publicerat i computer stuff, data analysis, med mera av

(… on my blog, that is.)

For a long time, my correlation heatmap with ggplot2 was the most viewed post on this blog. It still leads the overall top list, but by far the most searched and visited post nowadays is this one about dplyr (followed by it’s sibling about plyr).

I fully support this, since data wrangling and reorganization logically comes before plotting (especially in the ggplot2 philosophy).

But it’s also kind of a shame, because it’s not a very good dplyr post, and the one about the correlation heatmap is not a very good ggplot2 post. Thankfully, there is a new edition of the ggplot2 book by Hadley Wickham, and a new book by him and Garrett Grolemund about data analysis with modern R packages. I’m looking forward to reading them.

Personally, I still haven’t made the switch from plyr and reshape2 to dplyr and tidyr. But here is the updated tidyverse-using version of how to quickly calculate summary statistics from a data frame:

library(tidyr)
library(dplyr)
library(magrittr)

data <- data.frame(sex = c(rep(1, 1000), rep(2, 1000)),
                   treatment = rep(c(1, 2), 1000),
                   response1 = rnorm(2000, 0, 1),
                   response2 = rnorm(2000, 0, 1))

gather(data, response1, response2, value = "value", key = "variable") %>%
  group_by(sex, treatment, variable) %>%
  summarise(mean = mean(value), sd = sd(value))

Row by row we:

1-3: Load the packages.

5-8: Simulate some nonsense data.

10: Transform the simulated dataset to long form. This means that the two variables response1 and response2 get collected to one column, which will be called ”value”. The column ”key” will indicate which variable each row belongs to. (gather is tidyr’s version of melt.)

11: Group the resulting dataframe by sex, treatment and variable. (This is like the second argument to d*ply.)

12: Calculate the summary statistics.

Source: local data frame [8 x 5]
Groups: sex, treatment [?]

    sex treatment  variable        mean        sd
  (dbl)     (dbl)     (chr)       (dbl)     (dbl)
1     1         1 response1 -0.02806896 1.0400225
2     1         1 response2 -0.01822188 1.0350210
3     1         2 response1  0.06307962 1.0222481
4     1         2 response2 -0.01388931 0.9407992
5     2         1 response1 -0.06748091 0.9843697
6     2         1 response2  0.01269587 1.0189592
7     2         2 response1 -0.01399262 0.9696955
8     2         2 response2  0.10413442 0.9417059

Peerage of science, first impressions

Publicerat i english, med mera, the practice of science av

After I wrote a post about reviewing papers, Craig Primmer suggested on Twitter that I look into Peerage of Science. Peerage of Science is a portal and community for peer review. It has a lot of good ideas. It decouples reviewing from journal submission, but it is still made for papers aimed to be published in a conventional journal. It collects reviewers and manuscripts from a different fields in one place, allows interested reviewers to select papers they want to review, and provides anonymity (if the authors want it). I once wrote a few sentences about what I thought ”optimal peer review” would be like, for a PLOS early career researchers’ travel grant. (I did not get the grant.) My ideas for better peer review were probably not that bright, or that realistic, but they did share several features with the Peerage of Science model. Naturally, I was interested.

I’ve tried reviewing for Peerage of Science for a couple of months. My first impression is that it seems to work really well. The benefits are quite obvious: I’ve seen some of the papers get more reviews than they would typically get at a journal, and the reviews usually seem no less elaborate. The structured form for reviewing is helpful, and corresponds well with what I think a good review should be like. I think I’ll stick around, look out for the notifications, and jump in when a paper is close to my interests. I really hope enough people will use Peerage of Science for it to be successful.

There are also downsides to this model:

There seems to be an uneven allocation of reviewer effort. Some papers have a lot of reviewers, but some have only one. Of course, only the people at Peerage of Science know the actual distribution of reviews. Maybe one reviewer processes are actually very rare! This is a bit like post-publication review, except that there, you can at least know who else has already commented on a paper. I know some people think that this is a good thing. Papers that attract interest also attract scrutiny, and thus reviewer effort is directed towards where it is most needed. But I think that in the ideal case, every paper would be reviewed thoroughly. This could be helped by an indicator of how many other reviewers have engaged, or at least already posted their essays.

There is also the frustration of coming late to a process where one feels the reviewers have done a poor job. This was my first experience. I joined a review process that was at its last stages, and found a short, rather sloppy review that missed most of what I thought were the important points, and belaboured what I thought was a non-issue. Too late did I realize that I could do nothing about it.

Who reviews the reviewers? The reviewers do. I see the appeal of scoring and weighting reviews. It certainly makes reviewing more of a learning experience, which must be a good thing. But I feel rather confused about what I am supposed to write as reviewer feedback. Evidently, I’m not alone, because people seem to put rather different things in the feedback box.

Since the Peerage of Science team have designed the whole format and platform, I assume that every part of the process is thought through. The feedback forms, the prompts that are shown with each step, the point at which different pieces of information is revealed to you — this is part of a vision of better peer review. But sometimes, that vision doesn’t fully make sense to me. For example, if the authors want to sign their manuscripts, Peerage of Science has the following ominous note for them:

Peerage of Science encourages Authors to remain anonymous during the review process, to ensure unbiased peer review and publishing decisions. Reviewers usually expect this too, and may perceive signed submissions as attempts to influence their evaluation and respond accordingly.

Also, I’d really really really love to be able to turn down the frequency of email notifications. In the last four days, I’ve gotten more than one email a day about review processes I’m involved in, even if I can’t do anything more until after the next deadline.

Den sura genetikern

Publicerat i genetik, med mera, svenska av

Häromveckan skrev jag något kritiskt om vetenskap i medier. Det gör jag inte så ofta längre.

Det var en post om genetisk variation i MAOA-genen som kopplats till antisocialt beteende (med mera med mera) och dokumentären ”Ditt förutbestämda liv” som SVT sände ganska nyligen. Den går inte att se på SVT Play längre, men det finns en trailer i alla fall.

En gång i tiden så brukade jag läsa DN:s och SR:s vetenskapssidor och om jag hittade något intressant slå upp originalartiklarna, leta reda på pressmeddelanden, artiklar i engelskspråkiga tidningar som stått som förebild och så vidare. Ibland skrev jag kritiska brev och ibland postade jag länkar till originalartiklar, så de plockades upp av någon aggregator och länkades från nyhetsartikeln. Det var oskyldigare webbtider när nyhetstidningar var villiga att länka ogranskade bloggposter från sina artiklar. Men jag har nästan slutat med det, och när jag skriver något kritiskt gör det mig alltid lite nervös. Det är av flera anledningar:

1. Är det så viktigt att det är rätt?

Jag har förstås skaffat mig en massa onödigt bestämda åsikter om genetik, evolution och hur man bör uttrycka sig om dem. Det vore onödigt att tjafsa om alla dessa småsaker. Men jag tycker ändå att det är rimligt att kritisera beskrivningar av forskning som säger saker som inte är sanning, till exempel att ett par kandidatgenstudier från 2002-2003 är banbrytande och skriver om hela genetiken, eller att genetisk variation i MAOA är viktig för att förstå antisocialt beteende, när bevisen för det är i högsta grad skakiga. Dokumentären påstod till och med att Caspi et al 2003 (den om depression och serotonintransportgenen 5HTT) skulle vara en av världens mest refererade artiklar.

2. Tänk om jag har fel?

Det har jag ju ändå rätt ofta. Det finns en hel litteratur om MAOA, något tjog primärstudier eller så. De är, som jag skrev, en blandad kompott av positiva och negativa resultat (Foley & al 2004, Huang & al 2004, Haberstick & al 2005, Huizinga & al 2006, Kim-Cohen & al 2006, Nilsson & al 2006, Widom, Spatz & Brzustowicz 2006, Young & al 2006, Frazzetto & al 2007, Rief & al 2007, van der Vegt & al 2009, Weder & al 2009, Beach & al 2010, Derringer & al 2010, Edwards & al 2010, Enoch & al 2010). Det tyder på att effekten är för liten eller för variabel i förhållande till stickprovsstorleken. Knäckfrågan i det här fallet, som behövs för att kunna utvärdera både originalstudien och uppföljarna är: Om det nu skulle finnas en interaktion mellan varianter av MAOA och en dålig uppväxt, hur stor skulle den vara då? Tyvärr är det inte så lätt att veta.

Om vi skulle försöka oss på att rita en styrkekurva för interaktionen mellan MAOA och dålig uppväxt (Caspi & al 2002), det vill säga hur stor sannolikhet en studie av den här storleken har att hitta en effekt, så måste vi gissa vad en realistisk effekt skulle kunna vara. Artikeln gör en rad jämförelser, men om vi ska välja en så tycker jag det är rimligt att ta skillnaden mellan de som har riskvarianter och som inte blivit illa behandlade och de som har den och har blivit gravt illa behandlade under uppväxten. Om riskvarianter av MAOA verkligen gör människor mer sårbara för att bli illa behandlade under barndomen, så borde den här jämförelsen visa det. Vi behöver också välja en av variablerna att koncentrera oss på. Varför inte uppförandestörning (conduct disorder), vilket måste vara den som nämns i dokumentären.

Om vi simulerar data med olika oddskvoter (x-axeln; OR står för ”odds ratio”) och ritar en styrkekurva blir resultatet ungefär så här. (Obs, jag har läst av siffrorna från ett av diagrammen i artikeln. De är nog bara ungefär rätt.) Det vill säga, om vi antar samma andel ”gravt illa behandlade” individer och samma stickprovsstorlek, så ökar sannolikheten att hitta ett statistiskt signifikant resultat ungefär så här:

maoa_power

Det vill säga, den är inte särskilt stor. Vilka effektstorlekar kan vara rimliga? I samma artikel skattar de oddskvoten kopplad till att bli illa behandlad (hos de utan riskvarianten, och de är betydligt fler) till 2.5 för gravt illa behandlade och 1.3 för ”sannolikt” illa behandlade. Ficks & Waldman (2013) gjorde en metaanalys av studier med MAOA och antisocialt beteende (utan att ta hänsyn till interaktioner) och fick en oddskvot på 1.2. Rautiainen et al (2016) har gjort en helgenomsanalys av aggression hos vuxna och den största effekt de hittar är ungefär 2.2.

Men problemet med låg styrka är inte bara att det är svårt att få ett statistiskt signifikant resultat om det finns en stor och riktig skillnad. För om man, mot alla odds, hittar ett statistiskt signifikant resultat, hur stor ser effekten ut att vara? Den ser, med nödvändighet, ut att vara jättestor. Det här diagrammet visar den skattade effekten i simuleringar där resultatet var statistiskt signifikant (på 5%-nivån):

maoa_exaggeration

Men visst, det är förstås möjligt att de ursprungliga studierna hade tur med sina handfullar människor, att de som misslyckades med att detektera någon interaktion hade otur, och att MAOA-varianter kommer visa sig ha stora reproducerbara effekter när det efter hand börjar komma helgenomstudier som inkluderar interaktioner med miljövariabler. Jag håller inte andan.

(Koden bakom diagrammen finns på github. Förutom osäkerheten om vilken jämförelse som är den mest relevanta, så beror styrkan hos logistisk regression också på den konstanta termen, oddsen för beteendeproblem hos de som saknar riskvarianten. De är något fler än de som har den, men det är ändå en skattning med stor osäkerhet. Här har jag bara stoppat in den skattning jag fått ur data utläst ur diagrammet i Caspi & co 2002.)

3. Vill jag verkligen ha rollen som den professionella gnällspiken?

”Det finns en i varje familj. Två i min faktiskt.” Och det finns minst en på varje vetenskaplig konferens, i varje hörn av den vetenskapliga litteraturen, och på vetenskapsbloggar här och där … Alltså, någon som gjort det till sin uppgift att protestera, gärna med hög röst och blommigt språk, varje gång någon inte gör någon viss vetenskaplig idé rättvisa. Det finns förstås ett värde i kritik, och ingen har någon plikt att komma med ett bättre alternativ när de framför välgrundad kritik. Men det är ändå inte den skojigaste rollen, och det är inte riktigt vad jag vill viga mitt liv åt.

Så, varför inte skriva om något med arv och miljö som jag gillar? Här är en artikel jag såg publiceras ganska nyligen om förhållandet mellan arv, miljö och risk — i det här fallet handlar det om hjärtsjukdom.

Khera, Amit V., et al. ”Genetic Risk, Adherence to a Healthy Lifestyle, and Coronary Disease.” New England Journal of Medicine (2016).

Den här studien vinner, ur mitt perspektiv, på att den inte bara koncentrerar sig på en enda gen, utan kombinerar information från varianter av ett gäng (femtio) gener där varianter tidigare kopplats till risk för hjärtsjukdom. När det gäller komplexa egenskaper som påverkas av många genetiska varianter är det här en mycket bättre idé. Det är antagligen till och med en nödvändighet för att dra några meningsfulla slutsatser om genetisk risk. De kombinerar också ett antal miljövariabler som antas påverka risken för hjärtsjukdom, det vill säga mer eller mindre hälsosamma vanor.

(Artikeln är tillgänglig gratis men inte licensierad under någon rimlig licens, så jag visar inte det diagram från artikeln jag skulle vilja visa här. Klicka på länken och titta på ”Figure 3” om du vill se det.)

Själva sensmoralen i ”Ditt förutbestämda liv” var att gener i och för sig spelar roll, men att en bra uppväxt är bra för alla. Det kan i och för sig gömma sig gen–miljöinteraktioner under de additiva effekter som den här studien bygger på, men sensmoralen blir ändå densamma: ett hälsosamt leverne verkar vara bra för alla, även de som haft otur med sina genetiska varianter och fått hög genetisk risk.

4. Det känns orättvist mot de som försökt kommunicera vetenskap, och kanske kontraproduktivt.

Tack och lov behöver jag sällan skriva om saker som är särskilt långt ifrån det jag är utbildad inom. Vetenskapsjournalister och -reportrar gör det desto oftare, och dessutom på begränsad tid. Oftast gäller det dessutom forskning som är alldeles ny, och därför extra svår att utvärdera. Men i det här fallet gäller det faktiskt forskning som är över tio år gammal, och både de som gjorde dokumentären och Vetenskapens värld som valde dess inramning i SVT misslyckades helt, tycker jag, med att sätta den i perspektiv. Jag vet inte om det är författarna själva eller dokumentärmakarna som är orsak till att vinkeln var enastående genombrott som inte behöver ifrågasättas eller nyanseras. Kanske är det orättvist att kräva av Vetenskapens värld-redaktionen att de ska anlägga ett annat perspektiv än dokumentären de valt att sända. Eftersom att jag gärna vill vill att reportrar och journalister ska skriva entusiastiskt om genetisk forskning (inklusive helst min egen), så tvekar jag lite att skriva ner dem med arga brev. Förhoppningsvis tar de inte allt för illa upp.

Litteratur

Ficks, Courtney A., and Irwin D. Waldman. ”Candidate genes for aggression and antisocial behavior: a meta-analysis of association studies of the 5HTTLPR and MAOA-uVNTR.” Behavior genetics 44.5 (2014): 427-444.

Rautiainen, M. R., et al. ”Genome-wide association study of antisocial personality disorder.” Translational Psychiatry 6.9 (2016): e883.

Khera, Amit V., et al. ”Genetic Risk, Adherence to a Healthy Lifestyle, and Coronary Disease.” New England Journal of Medicine (2016).

(Samt en massa kandidatgenstudier om MAOA som jag länkar ovan.)

@sweden recap

Publicerat i english, med mera av

So, a couple of weeks ago I tweeted from the @sweden account. This is a short recap of some things that were said, and a few links that I promised people. Overall I think it went pretty well. I didn’t tweet as much as some other curators, but much much more than I usually do. This also meant I did spend my lunch and coffee breaks looking at my phone. My tweets are collected here, if for some reason you’d care to read them.

Of course, tweeting from a rotating curation account is very different from the way I normally use Twitter. First, I read much more than I write. One of the main purposes of Twitter, for me, is to get a steady stream of links to read. That doesn’t really work on an account that follows much more and entirely different people. A lot of what I wrote was prepared monologue, but I don’t think that’s necessarily a bad thing. I follow a lot of people on Twitter for their monologues. Also, thankfully, a lot of people asked me questions! Another thing that struck me is that so few people were unpleasant. There were a few extreme right folks who wanted me to retweet their racist tweets, but only a few. Then, a few felt the need to tell me that I’m utterly boring, which is fine. Someone lamented the fact that all curators are uneducated about the proper use of Twitter (it’s probably to build your personal brand or something). Also, a certain Swedish celebrity got put on ignore so I wouldn’t have to see him tagging each tweet with ”@sweden”. But that was pretty much all.

I talked quite a bit about my research. I spent more or less a full day on the chicken comb as a sexual ornament and genetics of comb mass. We discussed domestication as an evolutionary process, tonic immobility, and how to measure gene expression for eQTL mapping. I also wrote about Kauai feral chickens … And what I actually do in a day nowadays, that is: writing R code.

I got a question about what to say to your creationist friend. I think this depends on what the creationist friend believes and what their objections to evolution are. Unfortunately, I don’t think there is a simple knock-down argument against all forms of creationism, except that evolution works really well and has a lot of evidence going for it. I certainly don’t think it will do to rely on methodological naturalism and say that ”creation would be a supernatural event and outside the scope of science”. First, because I don’t think that is how science works. Say if unicorns, miraculous healing, and species popping into existence without relation to other species were actually part of the world, wouldn’t we want to study that? Second, that will never convince anyone, except of the irrelevance of science to their worldview.

But I think there are a handful of things that creationists often take issue with. First, some don’t believe in sequence variants creating new functions. This is often described with slogans about information, and how it cannot be created by random mutation. I don’t think ”sequence information” is a particularly useful concept, and would much prefer to talk about function and adaptation. That is what is important, after all, organisms acquiring new adaptations. It turns out, new functions arising can be observed, particularly in microorganisms. Some really fun and well-studied example occur in the Long Term Evolution Experiment; see Richard Lenski’s blog which has explanatory posts and links to papers.

Second, the formation of species come up a lot in these discussions. This is a bit tricky, because it’s not always clear what constitutes different species. The definition most people have heard is probably that individuals belong to different species if they cannot have fertile offspring. But just think of asexually reproducing organisms. There, individuals belong to different species if they’re sufficiently different. So we already have what is needed to understand the formation of species in the evolution of new functions. When it comes to sexually reproducing organisms, there are examples of the evolution of reproductive isolation — cases where it seems to be ongoing or to have happened recently. (See for instance this paper on hybrid incompatibility in Mimulus guttatus; I have blogged about it, but only in Swedish)

Third, there is the question of relatedness between species. In particular, some creationists really hate the idea that humans are apes. I think it is important to emphasize a couple of things that evolution does not say about humans and other apes. By the way, this isn’t just confusing for creationists, but for everyone. Evolution does not mean that humans descend from extant apes. Look at this phylogenetic tree from Perelman & al 2011. This is just like a family tree, but of populations: we see how chimps and humans have a recent common ancestor population. This is different than claiming that we would descend from extant chimps. Of course, chimps have also changed since the common ancestor, although not in the same ways as humans. (Again, I’ve written about this before in Swedish.)

journal.pgen.1001342.g001

Speaking of unicorns, I of course celebrated unicorn Friday:

Someone asked whether you can keep fruit flies for amateur genetics at home. That should be quite possible, and I don’t see any real problems with it either. The fruit fly community has really strong culture of classical genetics with crosses and stocks. I don’t know if stock centres would deliver to private customers, but I don’t see why they wouldn’t — except for transgenic flies. It turned out, however, that transgenic flies was actually what the person asking was after. And of course, I can’t recommend that. I must say, I have mixed feelings about do-it-yourself biotechnology. On the one hand, some home molecular biology should be possible and rewarding. On the other hand, a lot of things routinely used in molecular labs are actually really dangerous if misused, and not just for the user. For example, when making any type of construct in transgenic bacteria, antibiotics and antibiotic resistance genes are the standard screening markers. They are used to pick out the bacteria that have incorporated the piece of DNA you care about. This is not the kind of stuff you want to use without proper containment. So, in the fly example, you would not only have to handle the flies, but also transgenic antibiotic resistant bacteria safely and legally. Then again, a lot of the genetics I care about does not involve any of that, and could very well be done in a basement.

The @sweden account caught me under a teaching week; otherwise, all of my photos would’ve been my computer, my pen and my coffee mug. Now I got to walk the followers through agarose gel electrophoresis and a little transformation of bacteria:

And, finally, Swedish spring: