Уважаемый Игорь!
Не могли бы Вы поделиться алгоритмом или ссылкой как рассчитать достигаемый уровень значимости для двухвыборочного критерия Смирнова?
У меня Vista не поддерживает АттеСтатовскую справку.
Очень надо.
С уважением.

В Рекомендациях по стандартизации Р.50.1.037-2002 Росстандарта России установлено, что P-значения статистики Sm для проверки нормальности критерием типа Смирнова (модифицированным критерием Смирнова) в случае сложной гипотезы, когда оба параметра распределения оцениваются по эмпирической выборке, могут быть аппроксимированы функцией логнормального распределения с двумя параметрами (0,1164; 0,5436). Логнормальное распределение легко вычисляется через нормальное распределения (подробнее см. Справку "Как начать работу"). Ссылки в Справке. Как прочитать Справку - см. методы ниже.

1. Для Vista и 7-ки с сайта Microsoft грузится компонент для чтения Справки HLP.
2. Для AtteStat предлагаются для скачивания полные исходные тексты, содержащие в числе прочего файлы всех Справок в формате RTF. Все алгоритмы расчетов запрограммированы на языке Си и также доступны. Сами исходники - часть переведена с исправлениями и оптимизацией с языка Фортран других авторов (ссылки на оригиналы указаны в исходниках), часть - выполнена самостоятельно.

Спасибо Вам и за ответ и за АттеСтат

Уважаемый Игорь!

У меня возник вопрос теперь уже по критерию Пейджа:
для вот такого набора исходных данных (6 блоков)
АттеСтат считает статистику критерия = 73, при ручном счете получается 74.
Взгляните, пожалуйста.

Исходные данные

3 5 1
2 1 3
1 6 5
4 3 2
5 4 6
6 2 4

Ранжировка:

2 3 1
2 1 3
1 3 2
3 2 1
2 1 3
3 1 2

Ранговые 13 11 12
суммы

О Вашем расчете. Ранжировка - правильно. Ранговые суммы - правильно. Согласно формуле критерия результат будет = 13 * 1 + 11 * 2 + 12 * 3 = 71. Это, видимо, и есть правильный результат. Непонятно, откуда 74.

Об AtteStat. Похоже, тоже ошибка. Причем сделана не опечатка в программе - так и задумано было. Сейчас вспомнить трудно, из какого источника формула, но именно в формуле. Исправил. Стало тоже 71.

74 - это верно, нужно проранжировать ранговые суммы: 11*1+12*2+13*3

Спасибо за оперативный ответ.
По поводу расчета: критерий проверяет гипотезу упорядоченности m1<=m2<=m3<= b etc., где хотя бы одно из неравенств строгое.
И вот тут начинаются непонятки: Кобзарь, Тюрин и Макаров пишут, что ранговые суммы предварительно упорядочиваются по возрастанию, т.е.
расчет производится как: L = 1*11+2*12+3*13=11+24+39=74.
Холлендер и Вульф считают так же, как и Вы.
Вот я и хочу смекнуть, как правильно.

Еще вариант реализации и ссылку на источник можно посмотреть здесь http://bm2.genes.nig.ac.jp/RGM2/R_current/...trend.test.html

Да, наверное, так и надо сделать. А авторам точнее описывать алгоритмы. Иначе, как минимум, ссылки на таких авторов будут убраны. Как уже не раз случалось.

To p2004г:
Мерси, сходил по Вашей ссылке. Для приведенного там примера статистика критерия L=342 получается,
если не производить ранжировок ранговых сумм по возрастанию, а тупо умножать их на номер столбца в порядке появления.

Кстати, а R - это серьезный продукт или самоделка, в которой возможно все?

To DrgLena:
Интересно, это мы с Вами спотыкаемся об какой-то чисто российский косяк, или парень по фамилии Пейдж настолько невнятно изложил свою идею?

Бесплатная программа статистических расчётов R появилась 1976 году. Несмотря на свой солидный возраст, эта система поддерживается и развивается. На официальном сайте http://www.r-project.org есть репозиторий http://cran.r-project.org/ , состоящий из 2500 пакетов для разных целей, который регулярно пополняется исследователями-энтузиастами. Вы можете стать одним из них, написать свой пакет статистических вычислений и выложить его для всеобщего пользования. Такие монстры статистики, как SPSS и StatSoft, включают в свой интерфейс вызов модулей R, откуда следует, что R достаточно авторитетная "самоделка".

В любой программе есть ошибки. Это единственное, что могут гарантировать их авторы/поставщики.

Авторы обычно излагают идею в виде неудобоваримом. Поэтому, даже при наличии оригинальных источников, программы пишутся по толковым более поздним источникам. См. списки литературы к любой программе - там практически нет оригинальных статей. А есть ссылки на монографии Conover, Zar, Sokal - ни одной из них нет ни русском переводе, ни в оригинале в электронном виде. Точная и полная информация очень дозируется.

R это открытая реализация S от БелЛаборатори. S (а с ним и его отрытая реализация) признанное стандартное средство у статистиков профессионалов. Согласитесь смешно обсуждать новый предложенный стат метод не имея его доступной реализации (подтверждение это данный тред)? Или использовать коммерческий продукт по принципу черного ящика.

http://cran.r-project.org/doc/FAQ/R-FAQ.html#What-is-R_003f

Вот еще реализация http://cran.r-project.org/web/packages/coi...nettes/coin.pdf

If we assume that the products are ordered, the Page test is appropriate and
can be computed as follows
R> independence_test(scores ~ product | sitting, data = egg_data,
+ scores = list(product = 1:10),
+ ytrafo = yt)
Asymptotic General Independence Test
data: scores by
product (1 < 2 < 3 < 4 < 5 < 6 < 7 < 8 < 9 < 10)
stratified by sitting
Z = -6.2166, p-value = 5.081e-10
alternative hypothesis: two.sided

К сожалению, у меня нет первоисточника (за 14$ желающие могут получить), но мы неоднократно убеждались на этом форуме, что переводы на русский не точны, что ранжируется, строки, колонки, ранговые суммы, может не внятно указано в некоторых источниках. Но есть источники, которые прошли проверку временем, Кобзаря вы упоминали. Мне также нравится проводить проверку ручным расчетом с тем, который выдают солидные пакеты, имеющие хорошую документацию, соответствующие ссылки, дают бесплатный месяц для изучения, при этом документация остается. Я доверяю StatXact. Я могу выложить их пример и результат для этого теста и свой ручной, который совпадает. Ранговые суммы ранжируются.

Согласен. Сейчас так и сделано в AtteStat. Только замечание одно. "Ранжируются" значит "присваиваются ранги". А ранговым суммам ранги не присваиваются - они сортируются по возрастанию, т.е. от меньшего к большему.

Если кому-то понадобится - удобный алгоритм ранжирования: выборка сортируется тем или иным способом (с сохранением информации о перестановках в отдельном массиве). Затем вместо элементов выборки ставятся порядковые номера: 1, 2, 3 и т.д. Затем порядок полученной выборки из порядковых номеров восстанавливается в соответствии с информацией о перестановках - т.е. варианта полученной выборки просто занимает свое место, указанное соответствующим номером массива перестановок.

В R именно так и происходит сортировка

x[ordered(x)]

> ordered(c(0.3,0.1,0.3567))
[1] 0.3 0.1 0.3567
Levels: 0.1 < 0.3 < 0.3567

Конечно, Вы правы, спасибо!

Спасибо всем, кто откликнулся.

Я так мыслю, что если тестируется H0: m1=m2=m3... против альтернативы упорядоченности
(не зря же он в некоторых источниках именуется L-критерием тенденций Пейджа), значит эту упорядоченность надо создать , т.е. отсортировать ранговые суммы по возрастанию.

Потому, что если динамика обратная (как в примере у Тюрина и Макарова в "Анализе данных на компьютере"), то последний столбец будет иметь минимальную ранговую сумму, а в тестовую статистику войдет с максимальным множителем.
Для себя решил, что буду сортировать.

Кстати, довольно интересно, что критерий допускает наличие связанных рангов, но в отличие от того же Фридмана формула в этом случае никак не модифицируется.

А как мне научиться приаттачивать Ёкселевские файлы к сообщениям? Мне тут пишут, что у меня нет прав для файлов такого типа.

В zip-архиве.

Понял, спасибо

Только что нарыл ссылку на оригинал.
Сэкономлю всем желающим 14 гринов

Вот на таких парнях, как я, Google и приподнялся

http://docs.google.com/viewer?a=v&q=ca..._eg3x0UXK9K9bqg

Ссылка сильная. Спасибо.

Однако, как предупреждалось выше, статья методически бесполезна, как почти все оригинальные работы. Данные специально подобраны, чтобы сортировать суммы рангов не нужно было. Потому непонятно, то ли сортировать надо, то ли нет. Дальше идет какой-то хи-квадрат. В-общем, с тем, что печатается в современных источниках, только название общее.

Немного не по теме - посмотрите, к примеру, работы Фишера. Они все доступны бесплатно на сайте университета Аделаиды. По сравнению с тем же Гланцем - это полный кошмар. Хотя, конечно, классику читать надо.

Вы не дочитали до п. 4.1. Я так понимаю, что у исследователя должны быть априори некие сильные резоны ожидать сдвига от столбца к столбцу (слева направо). Тогда решение о сортировке в порядке возрастания принимает исследователь (ищет эту самую тенденцию). В противном случае тест не применим. Не зря он (автор) оперирует в статье словечком "predicted". Хотя, возможно, надо тщательней переводить.

Да, Игорь, вот еще косметический дефект Аттестата: для критерия Жарка-Беры достигаемый уровень значимости (см. вложение) вроде бы посчитан неверно. Критерий аппроксимируется хи-квадратом с 2-мя степенями свободы. В файле содержится расчет с помощью XLSTAT (xlstat.com)

Спасибо, ссылка на первоисточник (Page) полезная. Под формулой (3) как раз и написано, что такое Y (?ranking of the j-th column) и что такое sum of ranks.

Маленькая ремарка: ОНА (автор). Выходит критерий правильно называть не "критерий Пейжда", а "критерий Пейдж".

Да, помнится мне, что мы на форуме уже с ней знакомились, не удобная фамилия для поисковых машин, но первоисточник, все же нашелся.

Не, то была Квейд.

Видел в Инете заметку о его смерти в 2005 г. Там ясно написано "Hi was 81".
Кроме того, я не уверен, что у женщин в Америке бывают вторые имена (Ellis Batten)

Да, выходит Вы правы. К тому же служил в морском корпусе в годы II Мировой войны. Значит у них "Ellis" типа наших "Женя". Вопрос с полом прояснён.

Посчитано правильно. Выведено значение 2*min(p,1-p). Тоже вопрос еще. Сейчас вывел просто p.

Авторитетнейшая прога для анализа временных рядов EViews (www.EViews.com) тоже выдает J-B=0.513696; Probability=0.773486

Просто хочется какого-то единого знаменателя у разных программ.
Я потому и назвал это "косметическим дефектом".

> Игорь

У меня небольшое пожелание.

Хотелось бы сделать текст справки масштабируемым колесом мыши.

Спасибо

Скоро все на Linux перейдем. Там и сделаем. Продолжение развития программы для платформы Windows считаю бесперспективным.

Новых версий AtteStat для Microsoft Excel больше не будет. Гарантируется исправление замеченных ошибок в последней версии.

Начата разработка мультисистемной версии AtteStat для Windows, Linux, MacOS. Разработка ведется с использованием библиотеки Qt. Т.о. из тех же самых исходных текстов на языке C++ компилируется версия программы для любой ОС, имеющей реализацию Qt. Пакет Qt производится компанией Nokia. Распространяется бесплатно. В настоящий момент на основе опубликованных примеров разработана база программы, а именно простые электронные таблицы. Поддерживается буфер обмена. Тестовая версия пока не доступна широким пользователям.

Видимо, Российское представительство компании Microsoft делает что-то не так, если от продуктов компании (по большому счету качественных и удобных и пользователям, и программистам) уходят самые лояльные сторонники, популяризировавшие ее продукты и принесшие компании миллионы рублей прибыли своей борьбой за лицензионное ПО.

А почему такая экзотика? Наверное проще было бы перенести пакет на OpenOffice Calc или Вы хотите чтобы это был самостоятельный пакет, а не надстройка?

Сначала - требование мультисистемности. Нашли мультистемную программу - OpenOffice.org. По крайней мере Basic тот же самый. Но Basic в OpenOffice.org не умеет подключать библиотеки на C++ (хотя у нас опыт подключения DLL к OpenOffice.org для Windows был). Кроме того, писать на Basic расчетную программу невозможно в силу низкого быстродействия любого интерпретатора (там, где компилируемая программа на C работает сотые доли секунды, программа на Basic может потратить минуты). Кандидат - Java, но пришлось бы переписать на нем весь расчетный код. Вариант - только C. Компилировать модули C/C++ все равно придется для каждой платформы.

Самостоятельный пакет - это второе требование. Ну насколько самостоятельный - некие системно зависимые, но имеющие один и тот же интерфейс для различных (всех?) ОС библиотеки все равно используются. Qt от Nokia - потому что это лучшая мультисистемная библиотека. По информации из книги Макса Шлее, с использованием Qt разработаны KDE, Opera, Skype, Adobe Photoshop Album, Google Earth, VirtualBox, VLC. Сейчас Qt (+ визуальный пакет разработчика Qt Creator от Nokia) очень хорош, поразительно хорош (Netbeans от Oracle хуже). Правда, нужно представлять, что довести работу даже до промежуточных практически значимых результатов - трудное дело, которое потребует много времени. Поможет то, что по простоте использования Qt равных практически не имеет (проще только коммерческие RAD системы). Например, код подключения к SQL серверу занимает три строчки на C++. Простые электронные таблицы, уже достаточные для установки расчетного функционала, занимают (исходники) 49 кБ. Причем работать это будет под Windows, Linux, MacOS и всеми прочими Unix. И это не скрипт, это скомпилированная программа, имеющая максимальное быстродействие (быстрее только ассемблер, да и это еще не факт).

Забавная ситуация, неожиданно давшая свидетельство в пользу мультисистемности Qt. В начале изучения Qt я просто забыл указать путь к исполняемым файлам. Нашел пример. Начал его компилировать. Получил ошибку. Написал автору. Через 5 минут понял, что сделал глупость, но письмо уже было отправлено. Вот фрагмент ответа: "Hi Igor, I never compiled this program for Windows so even if you manage to compile it, it might not work properly". Беспочвенное опасение! Дальше идет совет указать путь, что уже было сделано раньше. Самое главное в том, что программа, НИКОГДА не компилировавшаяся для Windows, заработала сразу и так, как надо!

Мы говорим С++, подразумеваем Qt. Мы говорим Qt, подразумеваем C++ (стих. В.Маяковского "О Qt" с испр.)

Интересное замечание. Вы тоже заметили, что текст на C/C++ по эстетике и выразительности похож на стихи В. Маяковского?

Отвлечение по теме. Если бы довелось отправиться, скажем, на Марс в один конец, в числе трех любимых книг взял бы с собой русское издание 1992 года "Язык программирования Си" Кернигана и Ритчи. Остальные две Толкиена: "Хоббит" в переводе Рахмановой и Радуговский 3-томник "Властелина колец" в переводе Муравьева. Не сговариваясь, обратил внимание, что у многих знакомых программистов на C/C++ набор совершенно тот же самый.

Доброго дня всем... Пользуюсь AtteStat часто и давненько. Математических знаний и программирования, ессесенно, не хватат. Но программа ОЧЕНЬ устраивала. Удалил старую версию, поставил в. 12.5 и.... нет некоторых модулей-(((. В частности, непараметрической статистики, нормальности распределения не вижу-(((. С этой программой уже все?-((((

Фрагмент скриншота Excel прилагаю. Установил AtteStat 30 секунд назад. Конфигурация компьютера: Windows XP Home + Office XP Standard (2002), оба пакета лицензионные, со всеми обновлениями.

Сегодня днем ставил AtteStat на следующую конфигурацию: Windows XP Professional + Office 2007 Профессиональный+, оба лицензионные, корпоративная лицензия, со всеми обновлениями.

Вывод: у вас проблема не с AtteStat, а с компьютером (скорее всего, с Windows или с Office). Такой случай уже был один раз года 2 назад в одном из городов Восточной Сибири. Диагноз подтвердился.

Скорее всего даже с Windows. В одном из городов Южного Урала тоже был такой случай и этим летом - ставились последние 2-3 версии, включая 12.5. Не устанавливался модуль корреляционного анализа (Cora). Мой вывод - виновата сборка Windows, т.к. с лицензионными версиями и полноценными (VLK) пиратскими версиями такого не наблюдалось. Причём даже так: одна и та же сборка может на одном компьютере работать нормально, а на другом - нет. Проблемы были при установке облегчённых (урезанных) версий Windows XP на нетбук, причём в одном случае наряду с AtteStat отказывались нормально работать и другие программы, в частности архиваторы сообщали об ошибках в архивах rar и zip, хотя на других компьютерах они открывались.

При "изгнании" этим летом с домашнего компьютера жены, на котором, собственно, AtteStat и создавался время от времени, на компьютер, отданный сыном (после покупки им нового), перешел в разработке с лицензионного Office 2003 (версия Base = Word + Excel) на имевшуюся на компьютере лицензионную версию Office XP (версия Standard = Word + Excel + PowerPoint). Это предыстория. А последствия таковы.

Обнаружилось, что файлы Excel, содержащие макросы, созданные в версии 2003, после внесения любых исправлений (хоть буквы в комментариях) в данные макросы, внесенные в версии 2002 (она же Office XP), переставали нормально загружаться в версии 2002. А именно, были ошибки при подключении DLL, чего ранее никогда не наблюдалось. Проблема решилась просто. Загрузка производилась с блокированием макросов. Затем из VBA экспортировались модули и формы. После чего Excel закрывался, затем открывался снова. Модули и формы импортировались. Проекту назначалось старое имя. Ошибка исчезала. На исправление одного модуля уходила пара минут.

Microsoft вообще не гарантирует прямую и обратную совместимость файлов Office. Word в меньшей степени, Excel - немного (единственный известный мне случай см. выше). Самые большие проблемы - у Access (кстати, мощная отличная программа, особенно в версии 2007), но о нем не будем.

Вывод - где можно, нужно пользоваться открытыми или общеупотребительными форматами. Особенно не нравится то, что сотворили с форматом HLP (исключив его поддержку из последних версий Windows). Зачем это было сделано, совершенно непонятно, ибо программа чтения HLP доступна для загрузки с сайта Microsoft для всех версий Windows.

Да. Вы правы. Та же версия на домашнем показывает полные модули, а ноут - нет. Хотя... Офис 2007 лицензионный стоит и там, и там, Windows ХР - тоже с одного диска. Значит, проблема в ноутбуке с его системой.
Спасибо, хоть успокоился, что с программой все в порядке. А то уж думал, что AtteStat, как программа, не будет существовать.

Попробуйте сейчас. Корректно деинсталлируйте прежнюю версию. Загрузите и установите новую. Сейчас весь пакет AtteStat пересобран в старой версии Office XP (2002).

Скачал снова на ноутбук. Все так же.... некоторые модули отсутствуют. Это проблема с ноутом, потому что на домашнем компьютере эта же программа работает нормально.