Достоверность ковидной статистики

Как можно строить данные на «70%-ных» тестах?

Был у меня в университетские годы приятель по имени Дмитрий Яковлевич. А он меня звал Алексей Валентинович. Так у нас с первого курса повелось. И еще мы были на "вы" с первого курса, хоть нам и было по 20 лет. Мы даже в армию успели сходить, оттрубив там положенные два года – он в Афганистан, я в Заполярье – снова оказались на одном курсе… и возобновили старую игру – на "вы" и по имени-отчеству. Даже наоборот – именно после армии в этой старомодности был особый смак.

В общем, мы были уже на втором, а может, даже и на третьем уже курсе – точно не помню. Дмитрий Яковлевич подошел ко мне с вопросом, как ему лучше написать курсовую. Шел, соответственно, то ли 1988, то ли 1989 год, в умирающем (но еще не знающем об этом) СССР была в разгаре весна, то есть до сдачи оставался буквально месяц. Я, впрочем, не удивился – Д.Я., как его называли друзья, имел репутацию гения, но раздолбая, занятия посещал выборочно и крайне придирчиво, мелкие технические детали типа графика сдачи курсовых его интересовали в последнюю очередь.

Я вежливо поинтересовался у коллеги-студента, есть ли у него хотя бы идея "курсовика", а главное, где и когда он собирается проводить эксперимент (самостоятельно проведенный студентом психологический эксперимент с настоящими испытуемыми был, помнится, непременным условием того, чтобы курсовая вообще была принята к рассмотрению). Спрашивая, я был, впрочем, практически уверен, что ничего у Яковлевича, конечно же, нет, и уже готовился дружески подтрунить над ним по этому поводу.

Но я ошибся. Оказывается, у Д.Я. уже все было! Он все обдумал и придумал: и идею, и "нулевую гипотезу", и, главное, сам эксперимент – необычный, но вполне реализуемый. Он даже уже знал, в какой именно школе его можно провести (студенты-психологи в те времена особо не парились и чаще всего проводили эксперименты на школьниках – благо, советские школы обычно довольно охотно шли на контакт, МГУ все-таки).

Уж не вспомню, в чем точно состояла суть эксперимента моего приятеля, какую именно теорию он планировал проверить на безответных школьниках. Помню лишь, что идея эксперимента мне понравилась.

- По-моему, прекрасно! – сказал я искренне. – Пойдет! А если еще и все подтвердится – вообще будет переворот в науке. Очень смело! Только смотрите – времени осталось мало. Успеете со школой договориться и всё организовать?

Дмитрий Яковлевич посмотрел на меня как на дурака.

- Да что я вам, клоун, что ли, Алексей Валентиныч? Зачем я буду проводить этот ваш "эксперимент"? Достаточно того, что я его придумал. Какие могут быть сомнения, что МОЯ гипотеза окажется верной? Конечно, будет!

- Как?! – опешил я. – Вы что, не будете делать эксперимент на реальных школьниках?!

- Конечно, нет! – отмахнулся Д.Я. – Какой смысл корячиться, если мы с вами и так знаем результат? Я не намерен делать бессмысленную работу! Да и сами же говорите, что времени на это нет. Собственно, я к вам не за этим пришел. У меня к вам вопрос как к знатоку математики, этой вашей… матстатистики. Вопрос сугубо конкретный. Конечно, результаты эксперимента я набросаю сам, гипотеза моя блестяще подтвердится – но к вам у меня вопрос как к знатоку: с каким уровнем достоверности? Что поставить – 99%? Или все-таки 99,9%? Я сам, само собой, склоняюсь к последнему варианту – но все-таки решил посоветоваться…

Я от такой наглости, признаться, на время потерял дар речи. Мало того, что этот аферист собрался полностью фальсифицировать эксперимент для курсовой – так этот гуманитарий заодно демонстрирует, что так и не усвоил даже основ матстата и теорвера! Вложив в голос максимальный сарказм, я ответил:

- Да вы охререли, дражайший Дмитрий Яковлевич! Не жирно ли будет – проверять гипотезы в студенческом курсовике на уровне значимости 99.9%?! Да еще в несуществующем эксперименте! Кто ж вам поверит?? Столько у физиков в докторской не бывает! Не выпендривайтесь, друг мой: ставьте 95%, а еще лучше 90%. Для нашей студенческой работы – это более чем достаточно!

И вот тут надо было видеть, какая метаморфоза вдруг приключилась с маленьким кургузым Д.Я., обычно походившим на нахохленную птицу-дрозда. Он внезапно выпрямился, постоянно блуждающая кривоватая ухмылка сошла с его лица, глаза налились гневом. Возможно, он даже привстал на цыпочки – и загремел:

- Да вы что, Валентиныч?? Вы что такое мне предлагаете? Вы что, забыли, кто я?! Вы забыли, кем МЫ С ВАМИ являемся?

- Кем?

- Мы – студенты Московского Университета! Лучшего ВУЗа страны! Может быть, для вас это – пустой звук; но не для меня! Я считаю себя будущим ученым, носителем славных традиций; мне, в конце концов, пока еще знакомо понятие Чести! Чести русского ученого!! И меня потрясает ваш цинизм!

- Какой цинизм?! – недоумевал я.

- Вы же только что предложили – и кому? Мне! Предложили мне опубликовать в моей, можно сказать, первой НАУЧНОЙ работе, что моя гипотеза подтверждается на уровне достоверности в 90%!

- Ну да, но…

- То есть я этим как бы признаю, что есть целых 10% вероятности, что моя гипотеза окажется неверной! Я ведь правильно понимаю?

- Само собой, но ведь…

- Так вот: не знаю, как Вам – но лично я посчитал бы для себя позором публиковать что-либо при настолько низком уровне достоверности. 10%! 1 шанс из десяти, что всё, что я написал – туфта! Я что, по-Вашему – халтурщик?!

- Да не будет у тебя на студенческом эксперименте никаких 99%, остолоп! – кажется, я тогда даже сорвался на "ты", пытаясь воззвать к разуму этого взбесившегося принципиального гуманитария. – сколько в твоем придуманном "эксперименте" - 20 школьников? Как ты на такой выборке что-то докажешь? Тут надо не 20, а 200 испытуемых! Или 2000! Ты пойми, это учебный пример!!

- Не заговаривайте мне зубы, Алексей Валентиныч! – отвечал мне взбешенный Д.Я. – Надо будет – сделаю и 2 тысячи. Но опошлить свою работу – не дам, не дождетесь! Я еще не утратил, в отличие от вас всех, приспособленцев, представлений о чести ученого! Эх, вы…

- Сделайте хотя бы 95%, безумец… - сказал я другу на прощанье. – Только не 99 – вас же отчислят…

Что там в итоге нарисовал у себя в курсовой Д.Я. – не знаю, мы учились на разных кафедрах. Но судя по тому, что его не отчислили – все у него прошло как по маслу. У него всегда всё "проскакивало", даже самое завиральное – все-таки он был гений. По слухам, он все-таки пошел "на компромисс" - подогнал "подтверждение гипотезы" на уровне 95%. Хотя и страшно ругался, что его, типа, заставляют "писать недостоверные проекты".

К чему я рассказал эту давнюю маленькую хохму? По-моему, она, как в капле воды, отражает состояние научного сознания в предсмертном Совке. С одной стороны – никакой науки, конечно, уже нет, царит сплошная халтура, мухлеж и фальсификации; но с другой – на некоем рудиментарном, почти подсознательном уровне как-то сохраняются – пусть уже чисто формально – требования "старой школы", вроде того, что надо все ж соблюдать некие элементарные требования к достоверности выдвигаемых гипотез. И все это в самородке по имени Д.Я. перемешалось самым удивительным образом.

И по контрасту – наше время, в котором то самое "научное сознание" растворилось уже вовсе без остатка. Пожалуй, только благодаря этой, дошедшей "до точки" деградации стали возможны, к примеру, ныне повсеместно и на полном серьезе применяемые "тесты на ковид" с официальной (!) достоверностью… в 70%. То есть 30% тестов (о чем неоднократно заявляли те же Ракова и Собянин) – или "ложноположительные", или "ложноотрицательные". Что бы по этому поводу сказал (давно, к сожалению, покойный) Дмитрий Яковлевич? Какая тут "честь русского/советского ученого"?

Да никакой. А научная, обывательская культура нынче такова, что люди просто в принципе не понимают, что такое "70% вероятности". Хотя пояснить можно легко: если бы врачи, вместо проведения (в течение 5-7 дней) "тестов на коронавирус" - просто подбрасывали бы монетку (орел – есть ковид, решка – нет ковида), то вероятность правильного ответа была бы 50%. Немногим меньше. Но зато – насколько быстрее!

Стоит ли говорить, что при этом вся "устрашающая статистика по коронавирусу" построена как раз на этих, "70%-ных" тестах. И от этой "чести российского ученого" никуда уже не скрыться.

Алексей Рощин, ЖЖ