израильское исследование

https://www.facebook.com/eugene.peskin/posts/4391704004221817

Eugene Peskin

Новые данные израильского минздрава:

за последний проанализированный месяц, с 20 июня, эффективность вакцины Biontech/Pfizer в предотвращении заражения и симптоматического заболевания COVID-19 упала до 40%. Начинали с 90+%, однако сменился штамм+прошло время.

Защита от тяжелого протекания по-прежнему очень высока и составляет 91% (хотя и снизилась с 98%).

Для тех израильтян , кто привился второй дозой еще в январе, эффективность вакцинации от заражения упала до 16% (sic!). [Тут, конечно, надо учитывать, что в первую очередь прививали возрастную группу риска.] Для привитых в апреле [недавно+группа значительно моложе] эффективность от заражения пока 75%.

Boris Lvin

А где данные минздрава? По линкам я вижу какие-то вольные рассказы о неких данных минздрава, якобы что-то подтверждающих, не более того.

Eugene Peskin

https://www.gov.il/BlobFolder/reports/vaccine-efficacy-safety-follow-up-committee/he/files_publications_corona_two-dose-vaccination-data.pdf

Boris Lvin

Спасибо!

Меня в этом раскладе несколько напрягает методология. Возможно, я чего-то просто недопонял.

Конкретно, непонятка такая. Расчет эффективности вакцины зависит, помимо прочего, от частоты заражения (в разрезе четырех градаций, от бессимптомного до летального) среди невакцинированных. Когда речь идет о двух тяжелых градациях, то есть госпитализациях и летальных исходах, то данные можно считать надежными, потому что там идет полный, поголовный учет. Но в случае двух слабых градаций все большую роль играет самодекларирование. Кто-то из невакцинированных с легким (то есть, надо полагать, неспецифичным) симптомом побежал сдавать ПЦР тест и извещать об этом куда положено. А кто-то и не побежал. Более того, по мере продвижения вакцинации можно ожидать, что в группе НЕвакцинированных будет расти доля тех, кому это все по барабану - по крайней мере, пока дело не дошло до госпитализации. И если так, то можно предполагать значительный недоучет бессимптомных и слабосимптоматических в группе невакцинированных, что в итоге выразится в заниженном показателе эффективности вакцины.

В чем я ошибаюсь?

Это я разглядываю вот эту картинку:



И еще один вопрос.

После посмотрения на картинки с breakthrough rates в недельных раскладах в разрезе месяца вакцинации - возникает подозрение, что значительную (а может, и вообще решающую) роль там сыграл родимый цикл.

Я специально положил рядом картинки по всем возрастным категориям. Видно, что "прорывов" меньше всего именно в те месяцы, когда число "случаев" в Израиле было на минимуме, примерно с конца марта и до конца июня. Сужу по тому, что этих "прорывов" прямо в последние пару недель оказывается относительно много (относительно апреля-июня) много среди всех групп вакцинированных, включая вакцинированных совсем недавно.

При этом несколько большая резистентность недавно вакцинированных по сравнению с вакцинированными на ранних стадиях операции может отражать, возможно, тот простой факт, что среди недавно вакцинированных выше доля ранее инфицированных, то есть имеющих тот самый иммунитет слизистой дыхательных путей, которого лишены остальные вакцинированные.

И снова - в чем я здесь ошибаюсь?



Eugene Peskin

1) Израиль каждый день тестирует значительную часть населения (0,5%-1%), прежде всего контактных. Такая сеть обнаружения вылавливает достаточно много. 2) Непривитые должны делать анализы чаще - так устроены допуски на различные мероприятия. Настороженность же к малосимптомным случаям низка как раз для привитых - как у самих привитых, так и наблюдающих врачей. Это известную тенденцию для всех прививок в данном случае мне подтвердили конкретно для Израиля этого июня - в кампусе одного из университетов кашлял/жаловался на горло условно каждый второй студент, при 95% привитости, но никому в голову не приходило идти тестироваться на ковид. 3) Соображения о более точном учете тяжелых исходов очевидны, учтены в первоначальной израильской модели (она, модель, опубликована, и просто дополняется цифрами, насколько я сужу). Поэтому доверительные интервалы для эффективности от заражения и симптоматического заболевания просто огромные, это видно на слайдах. 4) Я не уверен, что понял о каком цикле вы говорите. Если о волнах в связи с новыми штаммами, то они не цикличны.

Boris Lvin

К вашему пункту 4. Попробовал наложить на картинки с "прорывами" картинку "случаев" за тот же период. Получилось коряво, в соответствии с моим невеликим мастерством, но, надеюсь, понятно. По-моему, видно, что пики "прорывов" хорошо совпадают с периодами роста "случаев", и наоборот. И если так, то необходимо как-то учитывать этот фактор и, как минимум, не относить весь рост "прорывов" на то, что, мол, со временем эффективность вакцины ослабевает. Она, может, и ослабевает, но сам по себе график "прорывов" это еще не доказывает. Или, опять же как минимум, не показывает подлинные масштабы этого явления, завышая его из-за неучета фактора частоты "случаев".



Добавлю, что в свете известного наблюдения о том, что вакцинированных в общем случае тестируют реже (что вы сами тоже отметили), то с ростом масштабов вакцинации улавливание новых "случаев" ослабевает, поэтому самый правый хвост нижнего графика, возможно, следует считать искусственно заниженным по сравнению с предыдущим пиком. Иными словами, при сохранении неизменной интенсивности тестирования этот правый хвост (возможно) был бы существенно выше.

К вашему пункту 3. Вы совершенно правы - для "слабых" категорий они дали огромные доверительные интервалы, драматически отличные от таковых же для "тяжелых" категорий.

Проблема в том, что это различие в доверительных интервалах очень быстро теряется даже на уровне самой презентации, где зритель-читатель видит прежде всего столбики гистограммы, и именно они запоминаются. В последующих же пересказах, включая газетные и т.д., этот аспект теряется целиком и полностью, и все начинают рассуждать о низкой эффективности вакцин для "слабых" категорий заражения как о научно подтвержденном факте.

Что хуже всего, внимание журналистов, политиков и публики в целом оказывается сконцентрированным прежде всего на драматических показтелях (якобы) низкой эффективности вакцин для "слабых" категорий, что легко превращается в мысль об ослаблении эффективности вакцины вообще.

Таким образом буквально через итерации более надежный результат (о "тяжелых" категориях) почти исчезает из поля зрения, а гораздо менее надежный (о "слабых" категориях) приобретает всеобщую универсальность.

Eugene Peskin

В израиле "рост масштабов вакцинации" прекратился несколько месяцев назад. Там крохи подбираются, прежде всего за счет подростков. Широкий доверительный интервал не означает меньшую надежность, он означает меньшую точность. Этот интервал быстро и последовательно сползает вниз для обсуждаемого показателя.

Boris Lvin

Ну да, я это и написал. Вакцинация закончена, вакцинированных тестируют меньше, поэтому кривая недавно начавшегося роста положительных тестов может оказаться еще более заниженной, чем это было бы в случае, если бы тестирование шло с такой интенсивностью, как в первом квартале года.

Написал этот абзац, я решил проверить, так ли это или не так. И сразу убедился, что - нет, не так. Мое предположение было неверным. Количество тестов снова резко растет, начиная с первой декады июня:

И снова о манипулятивной журналистике

Boris Lokshin рассказал историю (точнее, напомнил о когдатошнем своем рассказе):

*****************************

( Read more... )

*********************

И дальше был такой разговор:

Boris Lvin

Но в чем конкретно вы усматриваете поучительность? Какие, по-вашему, из этой истории проистекают выводы?

У меня есть свои выводы, но мне интересно понять, что вынесли вы.

Boris Lokshin

ну я это больше для красного словца написал. Я то и до этого знал, что человека можно убедить в чем угодно.

Boris Lvin

Ну вот видите, а мой вывод примерно на 179 градусов противоположен.

Конкретно, мой вывод основан на том, что этот случай, как я уловил, уникален. Может, было еще несколько случаев, когда взрослых людей уболтали на предмет того, что они совершили преступление, которого на самом деле не совершали, как Мафф Портер в Томе Сойере. Но вся суть в том, что это крайняя редкость. Редчайшая редкость. И удалось это с людьми более чем маргинального поведения и скособоченной психики. И если она наводит на какие-то мысли, то это будут крайне неполиткорректные мысли насчет гражданского статуса таких людей. Если таких людей можно так уболтать, что они вообразят себя насильниками и убийцами, то в чем еще их можно убедить?

Но, согласитесь, как все-таки у ньюйоркеровцев ловко получилось.

Историю о том, что людей уболтать на признание в преступлении практически невозможно - они исхитрились переформатировать в историю о том, что людей уболтать на признание в приступлении легко как дважды два.

Историю о том, что игнорирование экспертов ведет к ошибочным решениям суда - они исхитрились переформатировать в историю о том, что доверие к экспертам ведет к ошибочным решениям суда.

Boris Lokshin

а как этот вывод связан с отказом вызова эксперта?

Boris Lvin

Это два разных вывода.

Один - о том, что нормальные люди, судя по всему, имеют прочный иммунитет от такого убалтывания, а поддаются ему все больше дети или психологически неустойчивые маргиналы. Этот вывод, между прочим, объясняет, почему все доверились их уболтанным показаниям - именно потому что все знают, что взрослых людей на такое не уболтать, а уж чтобы сразу несколько человек подряд, это просто из области невероятного.

А вот насчет НЕвызова эксперта - это другой вывод. Он, в свою очередь, тоже делится надвое. Во-первых, он про тамошний суд. Во-вторых, он про ньюйокеровскую говножуралистику.

В википедии этот же момент описывается чуть иначе:

Dr. Reena Roy, the Nebraska State Patrol forensic scientist who did the blood and semen analysis, was never called to the stand to testify during the case, despite her analysis determining that none of the defendants on trial were a specific match to blood or semen found at the scene.

https://en.wikipedia.org/wiki/Beatrice_Six

Судя же по статье Нью-Йоркера, она не просто не давала показаний, но ее специально отказались вызывать, несмотря на требования одного из обвиняемых.

Не вникал в процессуальные детали этого дела (некоторые википедические линки не работают или требуют отключения адблокера), но из того, что я увидел, здесь получается наглядный пример провала судебного процесса. Обвиняемый требует вызова эксперта (чьи показания в итоге все и решили), ему в этом отказывают. Почему?

Boris Lokshin

у вас есть предположения?

Boris Lvin

Нет, никаких. Но если бы мне поручили писать эту статью, то я в первую очередь пытался бы найти судью, ведущего процесс, и расспросить его. Плюс прокурора или кто там еще был. И как минимум написал бы, что, мол, пытался найти, но не смог (судья помер, отказался говорить и т.д.).

Вместо этого автор назидательно поучает нас:

It is not uncommon for law-enforcement officials, even judges, to suspend common sense in the presence of a scientific expert, whose superior training lends his personal opinions the weight of truth.

Так, блин, в том-то и дело, что судья отказался вызывать "scientific expert" с еёным superior training. Не в том, что судья доверился эксперту, а в том, что отказался его даже выслушать - несмотря на требование обвиняемого.

Как по мне, этот ключевой факт переворачивает всю историю с ее высосанной из пальца моралью с ног на голову.

Если почитать https://web.archive.org/web/20180901044746/https://www.omaha.com/news/crime/beatrice-six-trial-even-in-forensics-didn-t-point-to/article_2fb60ab8-2754-5bb8-a8c5-4b4f0e5fa978.html - то станет понятнее, что все еще более непонятнее.

Статья завершается так:

At White’s trial in 1989, the prosecutor read a statement to the jury that said if Roy had testified, she would have said forensic testing failed to rule out White, Winslow and Gonzalez. White’s attorney also agreed to the statement.

On Tuesday, Roy said she was not consulted about that statement. Asked whether it was true, she was concise.

“No."

Это в каком-то смысле отвечает на вопрос, почему ее не позвали - получается, что и обвинение, и защита согласились с тем, что она не поможет. Но, опять-таки, если бы я был журналистом Нью-Йоркера, я бы именно вокруг этой истории и танцевал бы. Разбирался бы, выяснял бы, переспрашивал бы. Потому что в ней вся суть.

Boris Lokshin

"Историю о том, что людей уболтать на признание в преступлении практически невозможно - они исхитрились переформатировать в историю о том, что людей уболтать на признание в приступлении легко как дважды два." Ну, все-таки нет. Вы сказали, что большинство считает, что людей уболтать на признание в преступлении практически невозможно. Но это совсем не значит, что это на самом деле так. У большинства нет никакого опыта по этой части. Со вторым утверждением я согласен.

Boris Lvin

Как же нет опыта? У большинства есть огромный, гигантский негативны опыт. Вокруг нас живет множество людей, среди них обитают сонмы психологов. И при этом мы никогда (в смысле - до данной истории) не слышали о том, чтобы психологи уболтали взрослого невиновного человека до такой степени, чтобы он признал себя виновным и продолжал настаивать на этом десятки лет. По крайней мере, все эти небраскинцы точно не слышали. То есть для них это был такой же опыт, как опыт, говорящий, что запаркованная машина не может сама по себе переехать из моего двора в ваш - соотственно, если я обнаруживаю свою машину в вашем дворе, то делаю вывод, что вы ее угнали.

Отсюда третий вывод, о важнейшем механизме журналистской манипуляции. Возможно - главном. Он состоит в том, чтобы добиться генерализации частного опыта исключительно художественными средствами.

И кто же, получается, здесь по-настоящему искусный манипулятор? Те психологи, которым удалось запудрить мозги нескольким несчастным маргиналам, не способным справиться с простейшими бытовыми проблемами? Или Рэчел Авив, успешно запудрившая мозги тысячам и тысячам своих интеллектуальных читателей?

Не-манипулятивный подход был бы такой. Скажем, помню, у Гладуэлла был очерк о ремнях безопасности, в том же Нью-Йоркере. Он тоже начинал с художественного рассказа о какой-то конкретной семье - как они откуда-то выехали, куда-то спешили, повернули туда, доехали сюда и т.д., а потом попали в ужасную аварию и все погибли. И все с чрезмерной детализированностью, типа марки ихней машины, их возраста и профессии и всего такого прочего. Но после этого он переходил к более сухим данным и рассказывал, сколько всего гибнет в авариях за год и так далее. То есть частный опыт был не более чем иллюстрацией и затравкой для разговора об общих тенденциях.

Манипулятивный же подход ограничивается первой частью. Рассказ о частном случае невероятно детализируется, нагружается эмоциями, именами и датами, прямой речью и прочими подобного рода вещами - после чего у читателя остается прочное ощущение, что речь идет о важнейшей системной проблеме общества.