Надежность теста Опции

[Anton]

Кто может помочь трактовать результаты определения надежность теста (опросника)?

1). Альфа Кронбаха - 0,981
2). Половинное расщепление: альфа Кронбаха - 0,974 (43 пункта) и 0,974 (42 пункта); коэффициент Спирмена-Брауна 0,771, коэффициент половинного расщепления Гуттмана - 0,766.


Альфа колеблется от 0 до 1. А гуттман и спирмен?

заранее спасибо!

[плав]

Вопрос не совсем понятен, попробую ответить так как понял:
1) Отричательный коэффициент корреляции при повторном тестировании означает, что тест ненадежен и его использовать нельзя (т.е. те, у кого были высокие значения, снизислиь, у кого были низкие - повысились, похоже на случайные колебания с регрессией к среднему
2) Корреляция считается по суммарному результату (суммарный бал до/после по всем испытуемым)
3) Чаще всего используется не корреляция по Пирсону, а Спирмановский коэффициент корреляции (поскольку значения ранговые)
4) Для внутрненней согласованности теста используются разные части одного и того же теста (например, четные и нечетные вопросы), параллельные формы теста - соответственно, две формы теста

[DavVlad]

Вопрос не совсем понятен, попробую ответить так как понял:
1) Отрицательный коэффициент корреляции при повторном тестировании означает, что тест ненадежен и его использовать нельзя (т.е. те, у кого были высокие значения, снизислиь, у кого были низкие - повысились, похоже на случайные колебания с регрессией к среднему
2) Корреляция считается по суммарному результату (суммарный бал до/после по всем испытуемым)
3) Чаще всего используется не корреляция по Пирсону, а Спирмановский коэффициент корреляции (поскольку значения ранговые)
4) Для внутрненней согласованности теста используются разные части одного и того же теста (например, четные и нечетные вопросы), параллельные формы теста - соответственно, две формы теста

Спасибо за ответы по пунктам 2 и 3.
Отдельно хочу остановиться на пунктах 1 и 4.
1) На сколько я понимаю, вы имеете в виду повторное тестирование по одному и тому же тесту (имеющему идентичные задания) через небольшой промежуток времени (7-10 дней). У меня другая ситуация. Тест не психологический, он критериально-ориентированный. Методика ретеста изменена. Испытуемый тестируется дважды подряд по одному и тому же тесту, но задания, которые он получает разные. Это компьютерное тестировние и требование к тесту таково, что он должен состоять из кластеров фасетных заданий. Какие методы обработки следует использовать в этом случае и как оценивать их результаты.
4) Я слышал что наиболее эффективным является коэффициент альфа Кронбаха, так как существует проблема разбиения результатов тестирования на две части. Этот коэффициент является усредненным для всех возможных вариантов надежностей с разбиением на половины. Но возникает вопрос, если тест не психологический, он может и должен состоять из заданий разной сложности и разных форматов, что вполне естественно приводит к его внутренней несогласованности - несогласованности отдельных частей друг с другом и с конечным результатом.

[плав]

1) На сколько я понимаю, вы имеете в виду повторное тестирование по одному и тому же тесту (имеющему идентичные задания) через небольшой промежуток времени (7-10 дней). У меня другая ситуация. Тест не психологический, он критериально-ориентированный. Методика ретеста изменена. Испытуемый тестируется дважды подряд по одному и тому же тесту, но задания, которые он получает разные. Это компьютерное тестировние и требование к тесту таково, что он должен состоять из кластеров фасетных заданий. Какие методы обработки следует использовать в этом случае и как оценивать их результаты.
4) Я слышал что наиболее эффективным является коэффициент альфа Кронбаха, так как существует проблема разбиения результатов тестирования на две части. Этот коэффициент является усредненным для всех возможных вариантов надежностей с разбиением на половины. Но возникает вопрос, если тест не психологический, он может и должен состоять из заданий разной сложности и разных форматов, что вполне естественно приводит к его внутренней несогласованности - несогласованности отдельных частей друг с другом и с конечным результатом.

1) Терминология непонятная, критериально-ориентированными тестами обычно называют тесты в которых есть внешние критерии оценки (либо экспертные, либо какие-то другие). Это добаваляет к оценке обычной конструктной валидности (той, которая и проверяется альфа Кронбаха) еще и критериальную валидность, которая оценвается обычно при помощи коэффициентов согласия типа коэффициента каппа. Возможно, у Вас именно такая задача, но обычно в этом случае один и тот же тест дают разным оценщикам, а не наоборот. Однако общая логика одинакова - перво-наперво надо доказать, что все задания измеряют одно и то же (т.е. между ними существует корреляция и тут мы подходим к
4) Если в тесте несогласовнные задания, он не является тестом (по крайней мере внутри теста должны быть шкалы, состоящие из согласованных заданий). Если задания разной сложности и форматов это еще не означает, что они не будут согласованными, т.е. вероятность ответа на один вопрос (задание) повышает вероятность ответа на другой. Если тестовые задания независимы, то такой набор не считается тестом. А альфа Кронбаха как раз согласованность и измеряет. Ответ про деление пополам был связан с упоминанием Вами корреляционных коэффициентов, а расчет надежности через коэффициенты корреляции ведется только в случае деления теста пополам.