Рандомизация, как описать? Опции

[sayrus]

Проблема следующего порядка.
В исследование включено 100 человек (условно). С помощью компьютерной программы участников рандомизировали в 2 группы (1:1). Дали задание. По мере поступления решений участников исследования блоками по 10 человек рандомизировали еще раз. И опять давали задание. И так, пока не были решены n-ое число заданий или не вышло время исследования. Вопрос: как правильно было бы представить общую характеристику участников (включает около 25 показателей), чтобы всем стало ясно, что рандомизация была успешной. По каждому заданию отдельно или по итогу выполнения всех этапов рандомизации? Первый вариант, на первый взгляд, очевиден, но и также очевидно, что займет много места (число таблиц с характеристиками = числу заданий заданий), что является важным ограничением (планируется публикация). Второй вариант (в котором каждый участник выступит как самостоятельная единица) вроде бы тоже возможен (и уж точно удобней в описании), но смущает что один и тот же участник может быть как в группе "контроль", так и в группе "вмешательство". Это особенно бросается в глаза, когда описываешь дискретные признаки. Вроде участников 100, а при частотном анализе оказывается, что их уже, например, 350. Как быть?

[sayrus]

Про <разрезание> эксперимента так и не понял. Последовательная блочная (да еще и с изменением размеров блока) рандомизация - обычное дело для экспериментов в параллельных группах. Не возьмусь утверждать, что нет ничего лучше, но раз общепринят - значит есть основания.

Про <<публиковать в Интернет-приложении>> - не выход. Это только мы <поскромничали> и взяли 5 текстов (опыта мало, решили начать с малого), на самом деле, в паре похожих экспериментов их брали сотнями. Только поступали коллеги проще. Текст и его копию рассылали случайным образом 2 участникам. В нашем случае цель была несколько шире: не только оценить насколько доступным стал текст (первичная цель), но и каким разнообразием мнений отличаются участники (вторичная цель). Кроме того, я писал, что цель была оценить эффективность трансформации НЕ каждого отдельного текста: при разнородных постоянно поступающих текстах и неодинаковом вкладе в их изменение "трансформаторов" это было бы бессмысленным. Важен был суммарный (средний) эффект. И в этом случае при постоянно увеличивающемся числе участников последовательная блочная рандомизация - на мой взгляд выход. Вы пишите, что нет. Может посоветуйте доступную для понимая литературу, а то Вы утверждаете, а доказывать приходится толь ко мне (пока не очень удачно).

Возвращаясь к сути вопроса, еще раз обозначу его: КАК ОПИСАТЬ ГРУППЫ РАНДОМИЗАЦИИ? Как быть если текстов оказалось бы больше, например 30-40 (результат годовой работы группы "трансформаторов" текстов). Такое даже в Приложениях не публикуют. И для меня очевидно, что это не выход.

Думал, что можно сравнивать 2 группы: тех кто оценивал исходный вариант и тех кто - трансформированный, и не обращать внимание на то, что участники в группах дублируются (т.е. после оценки одного текста, всякий следующий раз участник был бы как <новенький>). Но не уверен, что так можно. На сегодняшний день решение пока одно, дать описание общей группы, а уж была рандомизация успешной или нет, пусть каждый решает сам. Ведь, применив предложенный Вами подход я столкнулся бы с той же проблемой.
Кстати, не подскажете как реализовать этот способ рандомизации в автоматическом режиме. Обязательно попробую и его.


<<когда Вы приняли решение использовать последовательную рандомизацию, Вы разрезали один эксперимент на 5. Теперь у Вас 5 экспериментов, а не один и надо это учитывать>>
Как? Подскажите, пожалуйста. Я бы учел! Или единственный выход публиковать n-ое число таблиц в Приложении? Сомневаюсь! Но видимо безосновательно. Доказать не могу

[плав]

И в этом случае при постоянно увеличивающемся числе участников последовательная блочная рандомизация - на мой взгляд выход. Вы пишите, что нет. Может посоветуйте доступную для понимая литературу, а то Вы утверждаете, а доказывать приходится толь ко мне (пока не очень удачно).

Почитайте практически любое руководство по планированию факториальных экспериментов, начиная с Монтгомери. Кроме того, я не вижу связи между количеством участников и сложностью. Если Ваша задача - трансформация (средняя), возьмите один текст, трансформируйте его и работайте с ним. Если Вам нужны разные тексты, значит Вы предполагаете, что они различны. Это надо учитывать при организации исследования.

Возвращаясь к сути вопроса, еще раз обозначу его: КАК ОПИСАТЬ ГРУППЫ РАНДОМИЗАЦИИ? Как быть если текстов оказалось бы больше, например 30-40 (результат годовой работы группы "трансформаторов" текстов). Такое даже в Приложениях не публикуют. И для меня очевидно, что это не выход.
А зачем каждого человека прогонять сквозь все тесты, если трансформация это и есть вмешательство? Делается парный дизайн. Если нет, то тогда не стоит перегружать исследование оцениваемыми параметрами.

Думал, что можно сравнивать 2 группы: тех кто оценивал исходный вариант и тех кто - трансформированный, и не обращать внимание на то, что участники в группах дублируются (т.е. после оценки одного текста, всякий следующий раз участник был бы как <новенький>). Но не уверен, что так можно. На сегодняшний день решение пока одно, дать описание общей группы, а уж была рандомизация успешной или нет, пусть каждый решает сам. Ведь, применив предложенный Вами подход я столкнулся бы с той же проблемой.
Кстати, не подскажете как реализовать этот способ рандомизации в автоматическом режиме. Обязательно попробую и его.

Алгоритм, в принципе, такой - вначале создается исходная матрица (ортогональная для 4-х периодов с четырьмя вмешательствами, блок - 6):
A B C D
B C D A
C D A B
D A B C
D C B A
A D C B
B A D C
C B A D
Можно взять два блока или один. Затем случайным образом перемешиваются строки и столбцы - коды зависят от используемой системы, но, в принципе, зная язык сделать не очень сложно (строго говоря, присваиваем строкам случайные номера и сортируем по строкам, затем аналогично столбцам и сортируем по столбцам). Готовый блок используется для исследования.

Наконец понял, в чем проблема - у Вас нет реального перекреста. Один и тот же участник не получает текст в двух разных вариантах.
В этой ситуации можно было делать так (беру для примера только три текста):
ААA
AAB
ABA
BAA
АВB
BAB
BBA
ВBB
И далее как описано выше перестановка строк и столбцов.
Однако более эффективно было бы наложить ограничения на дизайн, например, чтобы каждый человек получил одинаковое число трансформированных и не трансформированных текстов. Тогда надо четное число текстов и цепочка выглядит, например так:
ААВВ
ВВАА
АВАВ
ВАВА
ВААВ
АВВА

[sayrus]

Могу ли я показать Вам плав протокол и коротко то, что получилось. А то я чувствую, что без реального описания теряется суть вопроса.
Думаю после этого можно будет поделиться с аудиторией и выводами и практическими советами. Если у Вас найдется время, подскажите, как лучше прислать Вам материал?
Про матрицу понятно, спасибо! Меня больше интересовало, можно ли этот вариант рандомизации выполнить автоматически (с помощью программы) и как быть, если заранее число участников неизвестно или даже более того, чем больше тем лучше (а соответственно, включаешь в исследование пока "включается")

[плав]

Могу ли я показать Вам плав протокол и коротко то, что получилось. А то я чувствую, что без реального описания теряется суть вопроса.
Думаю после этого можно будет поделиться с аудиторией и выводами и практическими советами. Если у Вас найдется время, подскажите, как лучше прислать Вам материал?
Про матрицу понятно, спасибо! Меня больше интересовало, можно ли этот вариант рандомизации выполнить автоматически (с помощью программы) и как быть, если заранее число участников неизвестно или даже более того, чем больше тем лучше (а соответственно, включаешь в исследование пока "включается")

можете послать в личку, у меня сейчас будет немного напряженная неделя, быстрого ответа не гарантирую, но попробую. Рандомизация и выполняется с помощью программы - несколько строк кода в SAS, например (можно и в R, и в SPSS). Если заранее число участников неизвестно - проблемы нет, набираете блоками, они заранее рандомизированы.