Рандомизация, как описать? Опции

[sayrus]

Проблема следующего порядка.
В исследование включено 100 человек (условно). С помощью компьютерной программы участников рандомизировали в 2 группы (1:1). Дали задание. По мере поступления решений участников исследования блоками по 10 человек рандомизировали еще раз. И опять давали задание. И так, пока не были решены n-ое число заданий или не вышло время исследования. Вопрос: как правильно было бы представить общую характеристику участников (включает около 25 показателей), чтобы всем стало ясно, что рандомизация была успешной. По каждому заданию отдельно или по итогу выполнения всех этапов рандомизации? Первый вариант, на первый взгляд, очевиден, но и также очевидно, что займет много места (число таблиц с характеристиками = числу заданий заданий), что является важным ограничением (планируется публикация). Второй вариант (в котором каждый участник выступит как самостоятельная единица) вроде бы тоже возможен (и уж точно удобней в описании), но смущает что один и тот же участник может быть как в группе "контроль", так и в группе "вмешательство". Это особенно бросается в глаза, когда описываешь дискретные признаки. Вроде участников 100, а при частотном анализе оказывается, что их уже, например, 350. Как быть?

[плав]

Проблема следующего порядка.
В исследование включено 100 человек (условно). С помощью компьютерной программы участников рандомизировали в 2 группы (1:1). Дали задание. По мере поступления решений участников исследования блоками по 10 человек рандомизировали еще раз. И опять давали задание. И так, пока не были решены n-ое число заданий или не вышло время исследования. Вопрос: как правильно было бы представить общую характеристику участников (включает около 25 показателей), чтобы всем стало ясно, что рандомизация была успешной. По каждому заданию отдельно или по итогу выполнения всех этапов рандомизации? Первый вариант, на первый взгляд, очевиден, но и также очевидно, что займет много места (число таблиц с характеристиками = числу заданий заданий), что является важным ограничением (планируется публикация). Второй вариант (в котором каждый участник выступит как самостоятельная единица) вроде бы тоже возможен (и уж точно удобней в описании), но смущает что один и тот же участник может быть как в группе "контроль", так и в группе "вмешательство". Это особенно бросается в глаза, когда описываешь дискретные признаки. Вроде участников 100, а при частотном анализе оказывается, что их уже, например, 350. Как быть?

К моменту начала исследования у Вас должна была быть готова матрица рандомизации по всем n заданиям, которая должна была быть описана в протоколе. А матрица должна была быть получена путем случайных перестановок всех возможных комбинаций последовательностей 25 заданий - судя по описанию, вероятность получения задания n25 не одинакова для всех участников исследования - соответственно, рандомизация нарушена.

[sayrus]

Давайте еще раз.
Заданий было 5. А 25 - это характеристики участников (пол, возраст и пр.). Задания были изначально определены, и предоставлялись участникам в определенной последовательности (сначала 1-е, потом, 2-е и т.д.). Задача - как описать группу участников, чтобы стало ясно, что рандомизация была (успешной/нарушена). Рандомизация была простой, без стратификации.

[sayrus]

Может кто-то из модераторов форума взглянув на протокол исследования все-таки смог бы что-то посоветовать.
Готов предоставить все имеющиеся данные.
Хотелось бы, чтобы "получилось", а не "вышло".

[плав]

Давайте еще раз.
Заданий было 5. А 25 - это характеристики участников (пол, возраст и пр.). Задания были изначально определены, и предоставлялись участникам в определенной последовательности (сначала 1-е, потом, 2-е и т.д.). Задача - как описать группу участников, чтобы стало ясно, что рандомизация была (успешной/нарушена). Рандомизация была простой, без стратификации.

Но выше Вы описываете что-то другое. Там одна рандомизация, потом другая, и так пока не выйдет время. А сейчас пишете про простую рандомизацию. Непонятно, какое было вмешательство (оно-то и определяет группы рандомизации).

[sayrus]

Но выше Вы описываете что-то другое. Там одна рандомизация, потом другая, и так пока не выйдет время. А сейчас пишете про простую рандомизацию. Непонятно, какое было вмешательство (оно-то и определяет группы рандомизации).

Простая рандомизация - подразумевал, что без стратификации, т.е. без стандартизации групп по какому-нибудь признаку или признакам, характеризующим участников. Этим я хотел подчеркнуть, что дополнительных условий при рандомизации не было. Хотя в общем она была 2-компонентной, простой - на первом этапе, и блочной - на последующих (см. ниже).

Итак, вмешательство было следующим. Имелся текст (первый вариант), его трансформировали, получили второй вариант (предположительно оптимальный вариант; оптимальный для восприятия). Текстов было 5. Соответственно, имелось 5 исходных текстов и 5 трансформированных "копий". Были участники исследования - 100 человек. Оптимальность для восприятия оценивали по 5-бальной шкале. Целью было оценить эффективность изменения не каждого отдельного текста, а получить суммарную оценку, т.е. изменились ли в общем (в среднем) тексты или нет. Такой подход связан с тем, что текстов в принципе может быть существенно больше, а трансформирует текст команда, вклад каждого участника которой на разных этапах может быть неодинаков. На первом этапе (перед раздачей первой пары текстов) рандомизация была одномоментной (т.е. с помощью программы группа в 100 человек была разом поделена 1:1). На основании полученной последовательности одним достался текст ?1 (исходный), вторым ?1 (исправленный). В последующем, по мере выполнения задания (получения от участников оценки восприятия текста), участников рандомизировали блоками (по 10 человек, последовательно присылавших заключения). Рандомизация опять же была была в 2 группы, отношение 1:1. И так до тех пор, пока участник не оценил все 5 текстов (исходных или исправленных вариантов). В ходе исследования некоторые участники отказывались от дальнейшего продолжения совсем, некоторые - от оценки только некоторых (1 или больше) текстов (т.е. могли оценить тексты ?1 и 2, пропускали ?3 и затем оценивали ?4 и 5; что такое возможно предполагалось еще при планировании). Проблема в следующем. Как описать группы рандомизации, чтобы стала ясна ее адекватность? Каждый участник был охарактеризован по 25 пунктам (количественные и качественные признаки, например, пол, возраст и т.д.). Сравнение групп по этим показателям могло бы ответить на поставленный мною вопрос, но только в обычном случае, при рандомизации в параллельные группы (в т.ч. и при перекрестном дизайне исследования). Но при многократном "перекресте" возникла проблема. Если представленного описания хода исследования недостаточно, могу сбросить все в личку. К сожалению, для публичного обсуждения материал пока не готов.

[плав]

Простая рандомизация - подразумевал, что без стратификации, т.е. без стандартизации групп по какому-нибудь признаку или признакам, характеризующим участников. Этим я хотел подчеркнуть, что дополнительных условий при рандомизации не было. Хотя в общем она была 2-компонентной, простой - на первом этапе, и блочной - на последующих (см. ниже).

Итак, вмешательство было следующим. Имелся текст (первый вариант), его трансформировали, получили второй вариант (предположительно оптимальный вариант; оптимальный для восприятия). Текстов было 5. Соответственно, имелось 5 исходных текстов и 5 трансформированных "копий". Были участники исследования - 100 человек. Оптимальность для восприятия оценивали по 5-бальной шкале. Целью было оценить эффективность изменения не каждого отдельного текста, а получить суммарную оценку, т.е. изменились ли в общем (в среднем) тексты или нет. Такой подход связан с тем, что текстов в принципе может быть существенно больше, а трансформирует текст команда, вклад каждого участника которой на разных этапах может быть неодинаков. На первом этапе (перед раздачей первой пары текстов) рандомизация была одномоментной (т.е. с помощью программы группа в 100 человек была разом поделена 1:1). На основании полученной последовательности одним достался текст ?1 (исходный), вторым ?1 (исправленный). В последующем, по мере выполнения задания (получения от участников оценки восприятия текста), участников рандомизировали блоками (по 10 человек, последовательно присылавших заключения). Рандомизация опять же была была в 2 группы, отношение 1:1. И так до тех пор, пока участник не оценил все 5 текстов (исходных или исправленных вариантов). В ходе исследования некоторые участники отказывались от дальнейшего продолжения совсем, некоторые - от оценки только некоторых (1 или больше) текстов (т.е. могли оценить тексты ?1 и 2, пропускали ?3 и затем оценивали ?4 и 5; что такое возможно предполагалось еще при планировании). Проблема в следующем. Как описать группы рандомизации, чтобы стала ясна ее адекватность? Каждый участник был охарактеризован по 25 пунктам (количественные и качественные признаки, например, пол, возраст и т.д.). Сравнение групп по этим показателям могло бы ответить на поставленный мною вопрос, но только в обычном случае, при рандомизации в параллельные группы (в т.ч. и при перекрестном дизайне исследования). Но при многократном "перекресте" возникла проблема. Если представленного описания хода исследования недостаточно, могу сбросить все в личку. К сожалению, для публичного обсуждения материал пока не готов.

я не уверен, что при таком дизайне Вы вообще имеете реальную рандомизацию. Рандомизация означает, что каждый человек имеет одинаковую вероятность получить каждое вмешательство. Я не уверен, что у Вас такое получалось, ввиду последовательной процедуры, зависящей от времени выполнения задания, есть подозрение, что пропуски будут концентрироваться в группе более медленно работающих, соответственно у них вероятности получить тексты будут иными, чем у более быстро работающих. Соответственно, первый этап, доказать, что мое предположение неправильно и действительно все группы имели одинаковую вероятность получить все тексты.
Соответственно далее, Вам надо описать последовательность текстов для каждого человека, т.е. 1х2п3х4х5п и т.д., и посмотреть частоту встречаемости каждой такой цепочки. Далее Вы либо сравниваете похожие цепочки (скорее всего не получится, много комбинаций цепочек), либо сравниваете просто каждый этап (все лица с первым текстом), затем все лица со вторым текстом и т.д. - у Вас будет 5 таблиц сравнения по пяти этапам исследования.
На самом деле, дизайн был не очень удачным, он, скорее всего, является не сбалансированным, надо было делать иначе (это для тех, кто будет читать ветку) - вначале сделать сбалансированную матрицу цепочек, причем лучше начинать не с одного текста, а разных - возможно, что один текст влияет на восприятие другого текста, carryover, затем рандомизировать полученную 5*100 матрицу путем случайной перестановки строк и столбцов, и использовать эту матрицу для всего исследования. Подобный подход является стандартным для перекрестных исследований.

[sayrus]

<<я не уверен, что при таком дизайне Вы вообще имеете реальную рандомизацию. Рандомизация означает, что каждый человек имеет одинаковую вероятность получить каждое вмешательство. Я не уверен, что у Вас такое получалось, ввиду последовательной процедуры, зависящей от времени выполнения задания, есть подозрение, что пропуски будут концентрироваться в группе более медленно работающих, соответственно у них вероятности получить тексты будут иными, чем у более быстро работающих>>

Разве блочная рандомизация не направлена на решение именно этой проблемы - необходимости последовательного включения участников? Не ясно, о каких пропусках идет речь. Участники в сравниваемых группах на каждом этапе (после получения каждого задания) выбывали с одинаковой частотой (причины выбывания также не различались), равно как и по итогу всего исследования. Время, которое участники <потратили> на оценку текста в группах (указывали сами) также было одинаковым. Наверное надо отметить, что участники были <ослеплены> относительно цели исследования. Исследование на этапе планирования было ограничено временем, как по отдельным заданиям, так и в целом, но уже сразу после начала исследования первое ограничение было снято (стало понятно, что оно излишне строгое), а ко второму прибегнуть так и не пришлось. Мне кажется, что в данном случае блочная рандомизация сама собой выполняла еще и функцию стратификации, позволяя стандартизировать участников с разной скоростью <участия>: быстрых ... средних ... медленных.

<<Соответственно, первый этап, доказать, что мое предположение неправильно и действительно все группы имели одинаковую вероятность получить все тексты>>

Наверное, <имели ли все больные одинаковую вероятность получить тексты>. Да, определенно. Никаких ограничений с нашей стороны не было. Участник получал текст, только если хотел этого (т.е. предоставлял ответ на предыдущий текст, который мог быть в виде оценки или отказа). Как уже писал, участники в группах выбывали одинаково часто.

<<Соответственно далее, Вам надо описать последовательность текстов для каждого человека, т.е. 1х2п3х4х5п и т.д., и посмотреть частоту встречаемости каждой такой цепочки. Далее Вы либо сравниваете похожие цепочки (скорее всего не получится, много комбинаций цепочек), либо сравниваете просто каждый этап (все лица с первым текстом), затем все лица со вторым текстом и т.д. - у Вас будет 5 таблиц сравнения по пяти этапам исследования>>

С 5 таблицами исключено. Не представляю, какой журнал это опубликует. Даже тот, в котором я работаю, на это не пойдет Сопоставление по 27 характеристикам (именно столько их было: пол, возраст и прочее) показало, что различия при p<0,05 (вводилась поправка на непрерывность) были обнаружены в 6 из 135 (27х5) сравнений (4,4%). Как будто Ваше предположение оказывается неверным.

<<На самом деле, дизайн был не очень удачным, он, скорее всего, является не сбалансированным, надо было делать иначе (это для тех, кто будет читать ветку) - вначале сделать сбалансированную матрицу цепочек, причем лучше начинать не с одного текста, а разных - возможно, что один текст влияет на восприятие другого текста, carryover, затем рандомизировать полученную 5*100 матрицу путем случайной перестановки строк и столбцов, и использовать эту матрицу для всего исследования. Подобный подход является стандартным для перекрестных исследований>>

Скорее всего, не влияет, тексты по смыслу не связаны, каждый раз о разном, обучаемость также маловероятна, во всяком случае, на примере 5 текстов. Ну и конечно самый главный вопрос: даже если сделать матрицу, как Вы советуете, как сопоставлять группы. Ведь их опять получиться 5 пар. Как уже отмечал, представить 5 таблиц - не вариант. Тем более что и в моем варианте все получилось, а преимущество матрицы над блочной рандомизацией для меня не очевидно.

Сообщение отредактировал sayrus - 3.09.2010 - 00:23

[плав]

Наверное, <имели ли все больные одинаковую вероятность получить тексты>. Да, определенно. Никаких ограничений с нашей стороны не было. Участник получал текст, только если хотел этого (т.е. предоставлял ответ на предыдущий текст, который мог быть в виде оценки или отказа). Как уже писал, участники в группах выбывали одинаково часто.
Одинаковая вероятность и желание участника вещи разные.


С 5 таблицами исключено. Не представляю, какой журнал это опубликует. Даже тот, в котором я работаю, на это не пойдет Сопоставление по 27 характеристикам (именно столько их было: пол, возраст и прочее) показало, что различия при p<0,05 (вводилась поправка на непрерывность) были обнаружены в 6 из 135 (27х5) сравнений (4,4%). Как будто Ваше предположение оказывается неверным.
Не обязательно предоставлять все таблицы в статье. Обычно такая информация предоставляется в виде приложения, ряд журналов дает ее в своем Интернет-приложении. Иначе, поскольку в реальности у Вас было пять экспериментов действовать сложно. Сформулирую свою мысль четче - когда Вы приняли решение использовать последовательную рандомизацию, Вы разрезали один эксперимент на 5. Теперь у Вас 5 экспериментов, а не один и надо это учитывать.
Что же касается 4,4% различий я бы не был бы столь оптимистичным. Невозможность отвергнуть нулевую гипотезу не означает возможности ее принятия. Соответственно, если бы у Вас в 135 сравнениях 95% оказались на уровне 0,8, а остальные - на уровне 0,2-0,3 - я бы согласился. В том виде, как Вы пишите - нет. Не путайте, пожалуйста, необходимость доказать различия и необходимость доказать одинаковость (эквивалентность).

Скорее всего, не влияет, тексты по смыслу не связаны, каждый раз о разном, обучаемость также маловероятна, во всяком случае, на примере 5 текстов. Ну и конечно самый главный вопрос: даже если сделать матрицу, как Вы советуете, как сопоставлять группы. Ведь их опять получиться 5 пар. Как уже отмечал, представить 5 таблиц - не вариант. Тем более что и в моем варианте все получилось, а преимущество матрицы над блочной рандомизацией для меня не очевидно.

"Скорее всего" не доказательство. Вы должны сделать анализ, чтобы исключить carryover эффект. Пока Вы этого не сделали, он существует (как эффект усталости, "врабатывания" и т.д.). Насчет того, что в Вашем варианте "все получилось" Вы опять-таки не знаете. Вы получили какой-то результат, но нет ли там систематической ошибки Вы никак установить не можете.
Еще раз повторюсь, блочной рандомизации у Вас не было, поэтому Вам и не понятно преимущество блочной рандомизации (матрицы) над последовательной (точнее, последовательно-блочной - т.к. внутри эксперименты Вы использовали блоки) - т.е. над разрезанием эксперимента на 5 частей.

[sayrus]

Про <разрезание> эксперимента так и не понял. Последовательная блочная (да еще и с изменением размеров блока) рандомизация - обычное дело для экспериментов в параллельных группах. Не возьмусь утверждать, что нет ничего лучше, но раз общепринят - значит есть основания.

Про <<публиковать в Интернет-приложении>> - не выход. Это только мы <поскромничали> и взяли 5 текстов (опыта мало, решили начать с малого), на самом деле, в паре похожих экспериментов их брали сотнями. Только поступали коллеги проще. Текст и его копию рассылали случайным образом 2 участникам. В нашем случае цель была несколько шире: не только оценить насколько доступным стал текст (первичная цель), но и каким разнообразием мнений отличаются участники (вторичная цель). Кроме того, я писал, что цель была оценить эффективность трансформации НЕ каждого отдельного текста: при разнородных постоянно поступающих текстах и неодинаковом вкладе в их изменение "трансформаторов" это было бы бессмысленным. Важен был суммарный (средний) эффект. И в этом случае при постоянно увеличивающемся числе участников последовательная блочная рандомизация - на мой взгляд выход. Вы пишите, что нет. Может посоветуйте доступную для понимая литературу, а то Вы утверждаете, а доказывать приходится толь ко мне (пока не очень удачно).

Возвращаясь к сути вопроса, еще раз обозначу его: КАК ОПИСАТЬ ГРУППЫ РАНДОМИЗАЦИИ? Как быть если текстов оказалось бы больше, например 30-40 (результат годовой работы группы "трансформаторов" текстов). Такое даже в Приложениях не публикуют. И для меня очевидно, что это не выход.

Думал, что можно сравнивать 2 группы: тех кто оценивал исходный вариант и тех кто - трансформированный, и не обращать внимание на то, что участники в группах дублируются (т.е. после оценки одного текста, всякий следующий раз участник был бы как <новенький>). Но не уверен, что так можно. На сегодняшний день решение пока одно, дать описание общей группы, а уж была рандомизация успешной или нет, пусть каждый решает сам. Ведь, применив предложенный Вами подход я столкнулся бы с той же проблемой.
Кстати, не подскажете как реализовать этот способ рандомизации в автоматическом режиме. Обязательно попробую и его.


<<когда Вы приняли решение использовать последовательную рандомизацию, Вы разрезали один эксперимент на 5. Теперь у Вас 5 экспериментов, а не один и надо это учитывать>>
Как? Подскажите, пожалуйста. Я бы учел! Или единственный выход публиковать n-ое число таблиц в Приложении? Сомневаюсь! Но видимо безосновательно. Доказать не могу

[плав]

И в этом случае при постоянно увеличивающемся числе участников последовательная блочная рандомизация - на мой взгляд выход. Вы пишите, что нет. Может посоветуйте доступную для понимая литературу, а то Вы утверждаете, а доказывать приходится толь ко мне (пока не очень удачно).

Почитайте практически любое руководство по планированию факториальных экспериментов, начиная с Монтгомери. Кроме того, я не вижу связи между количеством участников и сложностью. Если Ваша задача - трансформация (средняя), возьмите один текст, трансформируйте его и работайте с ним. Если Вам нужны разные тексты, значит Вы предполагаете, что они различны. Это надо учитывать при организации исследования.

Возвращаясь к сути вопроса, еще раз обозначу его: КАК ОПИСАТЬ ГРУППЫ РАНДОМИЗАЦИИ? Как быть если текстов оказалось бы больше, например 30-40 (результат годовой работы группы "трансформаторов" текстов). Такое даже в Приложениях не публикуют. И для меня очевидно, что это не выход.
А зачем каждого человека прогонять сквозь все тесты, если трансформация это и есть вмешательство? Делается парный дизайн. Если нет, то тогда не стоит перегружать исследование оцениваемыми параметрами.

Думал, что можно сравнивать 2 группы: тех кто оценивал исходный вариант и тех кто - трансформированный, и не обращать внимание на то, что участники в группах дублируются (т.е. после оценки одного текста, всякий следующий раз участник был бы как <новенький>). Но не уверен, что так можно. На сегодняшний день решение пока одно, дать описание общей группы, а уж была рандомизация успешной или нет, пусть каждый решает сам. Ведь, применив предложенный Вами подход я столкнулся бы с той же проблемой.
Кстати, не подскажете как реализовать этот способ рандомизации в автоматическом режиме. Обязательно попробую и его.

Алгоритм, в принципе, такой - вначале создается исходная матрица (ортогональная для 4-х периодов с четырьмя вмешательствами, блок - 6):
A B C D
B C D A
C D A B
D A B C
D C B A
A D C B
B A D C
C B A D
Можно взять два блока или один. Затем случайным образом перемешиваются строки и столбцы - коды зависят от используемой системы, но, в принципе, зная язык сделать не очень сложно (строго говоря, присваиваем строкам случайные номера и сортируем по строкам, затем аналогично столбцам и сортируем по столбцам). Готовый блок используется для исследования.

Наконец понял, в чем проблема - у Вас нет реального перекреста. Один и тот же участник не получает текст в двух разных вариантах.
В этой ситуации можно было делать так (беру для примера только три текста):
ААA
AAB
ABA
BAA
АВB
BAB
BBA
ВBB
И далее как описано выше перестановка строк и столбцов.
Однако более эффективно было бы наложить ограничения на дизайн, например, чтобы каждый человек получил одинаковое число трансформированных и не трансформированных текстов. Тогда надо четное число текстов и цепочка выглядит, например так:
ААВВ
ВВАА
АВАВ
ВАВА
ВААВ
АВВА

[sayrus]

Могу ли я показать Вам плав протокол и коротко то, что получилось. А то я чувствую, что без реального описания теряется суть вопроса.
Думаю после этого можно будет поделиться с аудиторией и выводами и практическими советами. Если у Вас найдется время, подскажите, как лучше прислать Вам материал?
Про матрицу понятно, спасибо! Меня больше интересовало, можно ли этот вариант рандомизации выполнить автоматически (с помощью программы) и как быть, если заранее число участников неизвестно или даже более того, чем больше тем лучше (а соответственно, включаешь в исследование пока "включается")

[плав]

Могу ли я показать Вам плав протокол и коротко то, что получилось. А то я чувствую, что без реального описания теряется суть вопроса.
Думаю после этого можно будет поделиться с аудиторией и выводами и практическими советами. Если у Вас найдется время, подскажите, как лучше прислать Вам материал?
Про матрицу понятно, спасибо! Меня больше интересовало, можно ли этот вариант рандомизации выполнить автоматически (с помощью программы) и как быть, если заранее число участников неизвестно или даже более того, чем больше тем лучше (а соответственно, включаешь в исследование пока "включается")

можете послать в личку, у меня сейчас будет немного напряженная неделя, быстрого ответа не гарантирую, но попробую. Рандомизация и выполняется с помощью программы - несколько строк кода в SAS, например (можно и в R, и в SPSS). Если заранее число участников неизвестно - проблемы нет, набираете блоками, они заранее рандомизированы.