Добрый день. Подскажите, пожалуйста, когда применяется поправка Бенджамини-Хохберга? Я правильно поняла, что если я одновременно беру, например, 20 показателей крови и сравниваю их между группами, то все 20 рассчитанных p надо править? А если у меня 20 показателей крови (в таблице в одной главе диссертации) и 20 клинических показателей (в таблице в другой главе),я правлю каждую таблицу отдельно или все p в диссертации? И с какого количества анализируемых показателей применяется эта поправка?

Когда необходимо удержать на номинальном уровне значимости групповую ошибку I рода. Т.е. При множественных проверках одной и той же нулевой гипотезы на одном и том же экспериментальном материале.



Вы поняли неправильно.
Если вы изучаете одновременно 20 признаков, возникает многомерная статистика - т.е. статистика не скалярных величин, но векторов. Знать оттого надо один раз проверить равенство двух векторов признаков. Многомерным аналогом критерия Стьюдента в этой ситуации является критерий Хотеллинга. Непараметрический аналог - критерий Пури-Сена-Тамуры.



Тут вообще ничего не понял, но возможно вы и сами решите для себя этот вопрос, прочитав предыдущие ответы.

Смотря как сформулированы цели и задачи исследования.
Если нужно "Проверить, различается ли статистически значимо при таком-то уровне значимости хотя бы один показатель в одной и в другой группе", то нужно контролировать групповую ошибку первого рода, как написано выше.
Если по каждому показателю сформулирован свой вопрос и своя нулевая гипотеза, то можно ничего не корректировать.
Как обычно, все упирается в план анализа данных, точнее в его традиционное для медицины отсутствие.
Ну и еще нужно понимать, чей риск отражает ошибка первого рода - пациента или диссертанта:)

Спасибо. Если критерий показал различие многомерных средних, то что делать дальше? Как выявить конкретные показатели, по которым есть различия?

Тогда маркируйте эти две совокупности 0 и 1 и обучайте на них любой бинарный классификатор, способный быстренько ответить на вопрос об относительной важности предикторов. Да хоть бы и логистическую регрессию.

Заданный вопрос, к сожалению, не такой простой. Пока писал ответ, возник ожидаемый вопрос: "что делать дальше?".

На изначальный вопрос можно ответить так: да, необходимо весь набор p-значений корректировать. Обоснование:

"First, the Type I error rate is inflated when using several univariate tests; for example, two univariate t tests would have a Type I error rate of (.95)(.95) = .90, so 1 − .90 = .10 (probability of falsely rejecting the null hypothesis; a Type I error rate), not the individual Type I error rate of .05. A researcher could test each univariate t test at the .025 level to avoid an inflated Type I error rate. This has been referred to as the Dunn?Bonferroni adjustment to the alpha level, where the alpha level is divided by the number of tests; for example, .05 divided by 2 = .025. The multivariate test could incorporate both the tests and keep the alpha level at the .05 level, thus maintaining the power for the test of group mean differences." https://study.sagepub.com/multivariatewithr (p. 65).

"In general, when testing m null hypotheses using independent test statistics, the probability of committing at least one Type I error is 1 − (1 − α)m, which reduces to the previous expression for m = 2. Figure 1.1 displays the probability of committing at least one Type I error for m = 1, ..., 100 and alpha = 0:01, 0:05, and 0:10. Clearly, the probability quickly reaches 1 for sufficiently large values of m. In other words, if there is a large number of experimental questions and no multiplicity adjustment, the decision maker will commit a Type I error almost surely and conclude for a seemingly significant effect when there is none." https://doi.org/10.1201/9781420010909 (p. 1-2).

"Let us suppose, for example, that we want to test for an association between each of ten SNPs and the presence of disease. For simplicity, we assume that each SNP is in a separate gene and our tests are independent. Further suppose we are primarily interested in the main effects of the SNPs and not their interactions. In this case, for each SNP i = 1, ..., 10, we construct a 2 * 3 contingency table and calculate a chi2-statistic corresponding to the null hypothesis H0 : ORi = 1 as described in Section 2.2.1. Suppose the resulting ordered p-values are given by ... " https://doi.org/10.1007/978-0-387-89554-3 (p. 109-110)

https://academic.oup.com/ajcn/article/102/4/721/4564678 - обязательная статья для автора вопроса.

До кучи:
https://www.ncbi.nlm.nih.gov/pmc/articles/PMC2907892/
https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5506159/
https://www.ncbi.nlm.nih.gov/pmc/articles/PMC1713204/
http://www.stat.cmu.edu/~ryantibs/journalclub/fdr.pdf
Как я понял прочитанное, авторы действительно предлагают проводить коррекцию p-значений по набору одномерных тестов. Тем не менее, если были какие-то исходные основания считать, что коррекцию проводить не надо (например, этический комитет запретил набирать много людей), то можно последовать совету ogurtsov.

Про многомерный тест Вам совершенно справедливо указал 100$. Позволю продолжение цитаты из первого источника:

"The second reason is that the univariate test ignores covariance (correlation) among dependent variables. The separate univariate t tests would not5670252 the relation among the dependent variables. Another good reason to conduct multivariate analyses is when a set of dependent variables have a theoretical basis or rationale for being together. The third reason is that a researcher may not find a single univariate mean difference between groups, but jointly, a mean difference may exist when considering the set of dependent variables. These three reasons for conducting a multivariate analysis provide a sound rationale to consider when analyzing data with multiple dependent variables." https://study.sagepub.com/multivariatewithr (p. 65).

Выделенное является частичным ответом на Ваш второй вопрос. В целом, можно выполнить серию одномерных тестов, а можно выполнить LDA или какую-то другую процедуру классификации (предложение подсмотрел тут https://stats.stackexchange.com/questions/1...inant-analysis).

Для R есть MANOVA пакеты {MANOVA.RM}, {npmv}, {rankMANOVA}, в которых наверняка есть какие-то post-hoc процедуры. Возможно, Вам это поможет.

Раз зашла речь об оценке важности предикторов, то кроме запощенной третьего дня ссылки https://pbiecek.github.io/ema/localDiagnostics.html могу порекомендовать перевод "Остерегайтесь обычных важностей случайного леса" из сборника https://drive.google.com/file/d/1xMejDTwDvX...a9eQ7IOnEc/view

Блин, ogurtsov, а нельзя было дать ссылку на что-нибудь менее объемное? А то ж я все вынужден был прочитать )

В духе плаката Моора "Ты записался добровольцем?" так и хочется спросить: "А ты уже используешь пермутированные важности?". Ась?)

Там вся подборка статей очень хорошая, рекомендую направо и налево.