Версия для печати темы

Автор: psychologist 18.03.2014 - 12:05

Подскажите, пожалуйста, что такое
expl.var и prp totl
и как в моем случае их можно интерпретировать

Автор: p2004r 18.03.2014 - 13:17

Это "сырая" вариация нагружающая каждую из осей, и доля вариации оси в суммарной вариации.

Традиционно строится диаграмма на которой смотрят наличие признаков "простой структуры". Определив сколько первых осей входят именно в "простую структуру" производят только их вращение, перераспределяя их суммарную вариацию. Критерий вращения --- максимизация вариации вдоль векторов исходных переменных.

Так же в случае получения на такой диаграмме "прямой линии" падения вкладов осей делается вывод о полной случайности анализируемых показателей.

Собственно поиск "простой структуры" и заключается в определении где "прямая линия" белого шума переходит в нечто "обладающее формой". Можно рандомизацией исходного набора данных измерить что можно выяделить достоверно http://p2004r.blogspot.com/2011/04/blog-post.html .

Иногда наблюдается "экспоненциальный распад" и выбрать точку так просто нельзя, у нас "смесь систем" и надо ручками смотреть как выделенные оси друг с другом соотносятся. Например анализируем временной ряд и в нем надо выкинуть гармоническую компоненту, достаточно найти её компоненты и исключить, потом провести обратную проекцию.

То есть это "ёмкость" фазового пространства в котором расположена !траектория"-"состояния" изучаемой системы породившей набор данных.

Автор: psychologist 18.03.2014 - 19:01

эмммм, p2004r я прошу простить меня за мой гуманитаризм) но нельзя ли это как-то на более простом языке сказать. В statistica можно на эту диаграмму посмотреть.
Да, ещё хотел спрочить, факторный анализ объединяет в факторы те переменные которые макс. друг с другом связаны, иными словами в фактор вошли переменные, которые измеряют что то одно. Также именно эти переменные отвественны за корреляцию с остальными. Но что можно сказать о переменных, которые в фактор вошли с низкими весами меньше 0,1. Значит ли это, что эти переменные ни с чем не связаны и никак не коррелируют?

Автор: p2004r 20.03.2014 - 20:55

1) В последних версиях статистики встроен R

2) Факторы это линейные оценки неких параметров исчерпывающе описывающих каноническую систему порождающую всю ковариацию измеряемых переменных.
Выкидывать что либо можно только построив интервальные оценки параметров. "На глаз" неопытному человеку довольно трудно пользоваться даже всеми этими "осыпями" и "сломанными тростями". Это прежде всего эксплораторный метод анализа и экспериментатор должен смотреть "на картинку" ковариации, а не пялится на "циферки". Если модель созреет в результате разглядывания "картинки" ковариации, то всегда можно провести конфирматорный факторный анализ заложив в него свои наблюдения как гипотезу и получить вожделенную "циферку" (р<0.05)

Ковырять же всё это (бутсреп оценки факторного анализа) в родных скриптах Статистики я когда пробовал и советовать повторять этот подвиг могу только злейшему врагу .

Автор: psychologist 20.03.2014 - 23:10

Да, нам тоже говорили, что это исследовательский метод. А как понять смысл фразы "часть дисперсии переменной объясняемая соотв. компонентой(фактором)". Мне просто сложно уяснить что значит объясняемая дисперсия, например объясняется 70% это как понять? дисперсия это мера изменчивости или сигма в квадрате.

Автор: p2004r 22.03.2014 - 00:17

Потому что это стандартное отклонение корень из дисперсии, а не наоборот дисперсия (ковариация) первична во всей этой истории. А любая модель способна некую часть этой дисперсии объяснить. В том числе модель линейной регрессии которая и представляет из себя каждую выделяемую компоненту факторного анализа. Уравнение линии.

70% так же как понимаете r^2 --- детерминация как детерминация. Дисперсия, вариация, ко вариация это все конфигурация точек измерений вокруг матожидания. Факторный анализ фактически проводит с этой конфигурацией простейшие геометрические преобразования. Все "корреляционные матрицы" и прочие "призраки" это всего навсего побочный продукт, никаких особых смыслов не несущие. Есть просто построение новой системы координат, единой и для выборочных значений и для показателей эти выборочные значения описывающих.

Автор: psychologist 24.03.2014 - 13:12

А зачем вообще нужна дисперсия, если данные лучше описывать через стандартное отклонение.
вот допустим у меня среднее по росту =170 см. пусть сигма =4 см, а учитывая, что сигма это корень из дисперсии, то дисперсия получается 16 см. Так зачем такой мерой изменчивости пользоваться?

Автор: p2004r 25.03.2014 - 21:21

полностью поддерживаю, поскольку такой мерой как "см" в данном случае никак воспользоваться не удастся

Автор: 100$ 25.03.2014 - 21:57

Садись, псюхологист. Два. Завтра в школу с родителями.

Из чистого альтруизма: если сигма равна 4 см, то дисперсия 16 см^2.

Автор: psychologist 25.03.2014 - 23:05

А чего 2 сразу?Я же пишу не чтобы пофлудить. Я пытаюсь осознать зачем нужна дисперсия ,как мера разброса для количественных шкал?
Descriptive Statistics (Матрица)
среднее \ Variance \ Std.Dev.

подчиняемый 5,3 / 12,8805263 \ 3,58894501

если с см правда неуместно, то вот пример из моего исследования. Что я могу сказать о дисперсии, она маленькая или большая?

Автор: p2004r 26.03.2014 - 08:35

Вам увы пока рано задавать вопросы, в хорошем вопросе всегда заключается не менее половины ответа В данном случае Вы волнуетесь вопросом "об этикетках", а речь шла о содержимом. Весь факторный анализ занимается анализом ковариации, частным случаем которой является вариация, для соотнесения которой в одномерном случае с матожиданием придумали стандартное отклонение. Поскольку ничего вменяемого Вы "про приборы" (шкалу измерения) опять не сказали, могу только ответить цитатой --- "50".

Автор: 100$ 26.03.2014 - 08:52

Так это я еще округлил в большую сторону.



На этот вопрос пытаются ответить расчетом коэффициентов вариации и осцилляции. На этом статистика заканчивается, и начинается теория относительности: два волоса на голове - это мало, а в компоте - много.

Автор: psychologist 26.03.2014 - 10:35

ну вот, только хочешь развиваться, так тебе двойку ставят:). Открою небольшой секрет: у нас в ВУЗе так детально, когда представляешь результаты исследования, никто не будет спрашивать, а почему дисперсия такая, а почему df такое и так далее. Если используется сравнение, то ограничатся просмотром средних и сигм. Т.е. там все проще.
Наверное, вы задали вопрос зачем в таком случае я всех достаю своими вопросами? Ответ на этот вопрос тоже простой: мне интересно и углубляюсь в детали не для кого-то , а для себя.

ЗЫ: шкала измерения количественная. Не ординальная, не абсолютная, не номинальная,а количественная.

Автор: p2004r 26.03.2014 - 13:55

Эпиграф -- .... но чем, скажи, измеришь ты глубину Восточного океана? (С)

Просто бесценное уточнение... Это так толсто, что даже уже тонко!

ОРДИНАЛЬНАЯ ШКАЛА --- Шкала, позволяющая устанавливать соотношение равенства, неравенства и последовательности между пунктами, при отсутствия точки отсчета и дистанции между ними.

АБСОЛЮТНАЯ ШКАЛА - вариант шкалы, предназначенный для измерения непрерывных свойств объекта, для которой выполняются все 4 типа отношений между числами и объектами: 1) эквивалентность, 2) порядок, 3) равенство интервалов и 4) равенство отношений. А. ш. имеет единственную нулевую точку, относительно которой определяются все остальные шкальные значения.

Количественная шкала - это шкала, для для измерения значений количественных переменных. К количественным шкалам относят интервальную шкалу и шкалу отношений.

Навеяло :

Животные делятся:

а) принадлежащих Императору,
б) набальзамированных,
в) прирученных,
г) молочных поросят,
д) сирен,
е) сказочных,
ж) бродячих собак,
з) включённых в эту классификацию,
и) бегающих как сумасшедшие,
к) бесчисленных,
л) нарисованных тончайшей кистью из верблюжьей шерсти,
м) прочих,
н) разбивших цветочную вазу,
о) похожих издали на мух.

Вернемся к нашим баранам-шкалам. Так что коэффициент вариации будет забавно смотреться у шкалы интервалов. Сможете ответить почему?

Автор: DrgLena 27.03.2014 - 18:11

А что вы можете сказать о среднем? Это примерно сирена, но немножко и муха?

Автор: 100$ 27.03.2014 - 20:19

Ну всё. Навалились на горемычного школяра и совсем затюкали. А ведь мы в ответственности за тех, кого приручили. Ведь пропадет он без нас.

DrgLena, вы все еще отмечаете 8 марта? А то в номинальной шкале понятие среднего не определено.

Автор: DrgLena 27.03.2014 - 21:44

Для психолога, который называет себя гуманитарист, очень важно понять, что такое среднее. Я ведь не спросила, что такое гуманитарист, хотя психолог мог бы знать значение этого слова.

Психологи, как и психиатры имеют в своем распоряжении очень не много средств доказательства эффективности своих вмешательств или интерверций, как принято в психиатрии. Но, все таки, существуют различные шкалы оценки психического состояния, когнитивных нарушений и т.д. и опыт работы по анализу таких данных. Например, для шкалы HCL32 известно выделение 2-х или 4 факторов по результатам факторного анализа. Психологист мог бы подробнее поведать нам о характере данных и задачах, которые он хочет решить, тогда помощь могла бы быть более эффективной.

Автор: p2004r 27.03.2014 - 22:53

да Вы так и не прекратили отмечать у человека интервальная шкала

Автор: Liz 28.03.2014 - 21:32

"p2004r: Коэффициент Вариации будет забавно смотреться у шкалы интервалов."
А в чём забавность? Для сравнения рассеяния величин, измеренных в интервальных шкалах, КВ и приспособлен.

Автор: p2004r 29.03.2014 - 10:05

В том, что у шкалы интервалов нет "законной" точки отсчета. Например одна и та же температура может быть измерена и в градуса Цельсия и Фаренгейта (то есть по интервальной шкале). Какие получаться коэффициенты вариации? Вот именно поэтому в шкале интервалов запрещено действие деление когда обе величины имеют размерность шкалы интервалов, смещение произвольно выбранного нуля изменяет результаты деления.

Вместе с тем температура измеренная в шкале отношений (градусы Кельвина от абсолютного нуля) уже разрешает такое действие как деление величин измеренных в ней.

То есть Вы всегда должны доказать инвариантность выведенного вами результата анализа к положению "нуля" на используемой интервальной шкале.

Автор: Liz 29.03.2014 - 19:06

"p2004r: Например одна и та же температура может быть измерена и в градусах Цельсия и Фаренгейта. Какие получаться Коэффициенты Вариации?"
Разные. Вот и делаем вывод: разброс данных при СПОСОБЕ (шкале) Цельсия меньше чем при СПОСОБЕ (шкале) Фаренгейта. Для сравнений подобного рода КВ, собственно, и нужен.
P.S. "p2004r: В шкале интервалов запрещено деление когда обе величины имеют размерность шкалы интервалов."
Если только это не одна и та же шкала, как в случае КВ (=SD/Mean).

Автор: p2004r 29.03.2014 - 21:53

Мда... Одни и те же данные и какие разные коэффициенты вариации Вы где такие "выводы" публикуете? Это просто новое слово Я бы даже сказал ПАРАДИГМА!

Автор: psychologist 10.05.2014 - 16:48

Свою тему совсем забросил, а тут было столько много умных высказываний.
Возвращаясь к ФА, т.е. к сабжу. Если кто хорошо знает программу Статистика . я так и не понял, а где там можно сделать косоугольное вращение? там только варимаксы, квартимаксы и так далее, но нет косоугОльного.

Автор: nokh 11.05.2014 - 19:35

Да, в этом пакете действительно нет косоугольных вращений (по крайней мере - в версиях 5-8). Возможность корреляции факторов между собой - достаточно тонкая штука, в моих областях исследования - вещь чаще просто невозможная. А для области психологии, где такое считают есть более "заточенный" пакет - SPSS. Прямой облимин там точно есть, остальное по памяти не скажу...

Автор: 100$ 14.05.2014 - 11:05

Интересно, какая драма должна была произойти в судьбе исследователя, чтобы душа его отвергла ортогональное вращение и возжелала косоугольного?

Автор: psychologist 19.05.2014 - 11:10

nokh, верно факторный анализ в русле психологии и зародился, начиная с факторных моделей интеллекта. Да в СПСС он есть, прямой облимин. У меня 10 -ая статистика и там нет, там только это
см. рисунок

хотя вроде 12-ая статистика вышла. Может там будет заветный Direct oblimin.

100$, мне интересно просто посмотреть чем вращения отличаются. А то бывает фактор нагружен только одной переменной, что не есть хорошо. Порой эксперименты с вращением позволяют посмотреть, может ещё какая то переменная туда попадет.

Автор: psychologist 25.05.2014 - 23:54

Такс, наткнулся на ошибку. Из-за чего это?

"корреляционная матрица некорректная и детерминанта корр.матрица равно нулю. Максимальное кол-во компонент ,которое может быть извлечено будет равняться числу положительных собственных значений для матрицы"
Помогите, пожалуйста, это во внятный вид перевести . что значит некорректная матрица.

Автор: 100$ 26.05.2014 - 00:22

Не "некорректная", а "плохо обусловленная" ("ill conditioned"). Это означает, что , как минимум, одна строка (или столбец) этой матрицы представляет собой линейную комбинацию остальных. Определитель ("детерминант") такой матрицы равен нулю. Как минимум одно собственное число такой матрицы равно нулю. Программа тактично сообщает, что число факторов будет меньше размерности такой матрицы и равняться количеству ее ненулевых собственных чисел.

Автор: psychologist 26.05.2014 - 15:19

Ага, этим разобрались, а можно как-то вычислить какая именно строка или столбец является линейной комбинацией, чтобы его убрать?

Автор: 100$ 26.05.2014 - 15:42

По идее та (тот (столбец) в силу симметричности корр. матрицы это неважно), которая соответствует нулевому собственному числу.

Автор: p2004r 26.05.2014 - 18:49

... шел 21 век, коммерческие пакеты все еще не использовали в расчетах svd разложение

Автор: 100$ 26.05.2014 - 20:04

Жуть. Просто ужас, летящий на крыльях ночи.

Автор: psychologist 26.05.2014 - 21:55

svd разложение точно в mathcad есть, помню что что-то говорили , но вряд кто маткад проходит в вузах, только либо статистику либо спсс
Но в целом сильно ли влияет эта ошибку на подсчет факторов или нет?

Автор: p2004r 26.05.2014 - 23:13

да сильно влияет, svd применимо к любым данным, в отличии от простого спектрального разложения матрицы .

Автор: p2004r 26.05.2014 - 23:15

с точки зрения заплатившего "дурные деньги" за окаменелость, пожалуй да

Автор: psychologist 4.06.2014 - 12:04

и снова здравствуйте. Скажите, как можно объяснить,что график нормализованного стресса такой странный. На нем не видно точку перегиба, а соответственно мне сложно понять сколько брать факторов. Таблица полной объясненной дисперсии показывает 19 компонент, но это ерунда какая-то. Вообще из-за чего такое может быть.

Автор: nokh 4.06.2014 - 16:54

Такой график говорит о том, что данные плохо обобщаются, т.е. переменные содержат больше уникальной информации, чем общей. Это можно обнаружить по малому числу значимых корреляций в наборе. Также на практике такое может быть если в наборе много дихотомических переменных (0/1, да/нет, и т.п.), а, строго говоря, такие переменные нельзя включать в факторный анализ. В вашем случае я бы посмотрел решения с 3 и с 6 факторами после вращения. Если вариант с 6 факторами заметно улучшает интерпретируемость первых трёх факторов + хорошо объясняются 4, 5 и 6 - оставил бы 6. Больше нет смысла брать. Можно, конечно, опереться на всякие стоп-критерии коих много, но я им не особо доверяю. Моя практика показывает, что первый (ранний) вариант критерия осыпи Кэттелла даёт наиболее интерпретируемые компоненты и факторы.

Автор: anserovtv 4.06.2014 - 19:01

Можно проверить пригодность данных для проведения факторного анализа по критерию КМО
(мера выборочной адекватности Кайзера-Мейера-Олкина)
и критерию сферичности Бартлетта (многомерной нормальности).
Оба критерия реализованы в SPSS.
Во многих случаях факторный анализ можно заменить более простым кластерным анализом переменных со специальной метрикой.

Автор: psychologist 4.06.2014 - 19:19

ясно, я вас понял. Заинтриговали, а что за стоп критерии.Я почитаю. и да, забыл сказать, что когда метод извлечения выбираешь не главные компоненты, а максимальное правдоподобие. он писал такую ошибку и ФА не проводился.
Матрица корреляций
a Эта матрица не является положительно определенной.
Это как понимать?

Автор: 100$ 4.06.2014 - 21:17

А понимать это надо так: в методе максимального правдоподобия на диагонали корр. матрицы стоят не единицы, а численные значения общностей. В этом случае часто и густо матрица перестает удовлетворять критерию Сильвестра (критерию положительной (полу)определенности), в силу чего у нее появляются отрицательные собственные значения. Поскольку для формирования матрицы факторных нагрузок собственные вектора матрицы корреляций умножаются на корень квадратный из соответствующего собственного числа, то отрицательные собственные числа для этого не подходят. На этом факторный анализ (бесславно) заканчивается.

Автор: 100$ 4.06.2014 - 21:32

Небольшое уточнение косметического характера.
Критерий сферичности Бартлетта (1954 г.) тестирует гипотезу не о многомерной нормальности, а о пропорциональности корреляционной матрицы (некой) единичной матрице. Это - суть и смысл понятия сферичности.
Тестирование многомерной нормальности начнется маленько позже: начиная с работ Мардиа - многомерные асимметрия и эксцесс (это 1976 г.), многомерного аналога критерия Шапиро-Уилка (позже 1965 г.), и критерия Хенце-Цирклера (1992 г.)
Ну, вот, как бы и все. Спасибо за внимание.

Автор: p2004r 5.06.2014 - 00:49

1) Ну так рандомизируйте переменные (разрушив тем самым связи) и постройте для данного датасета собственные значения "когда связей нет вообще". Точка пересечения с уже построенным графиком и даст сколько компонент надо выделить. Это если бороться "не выходя из танка".

2) А по хорошему надо понять что это разведочный анализ, а не конфирматорный и построить таки просто серию биплотов. Там скорее всего масса выбросов и прочих вещей, и их просто видно "с помощью глаз".

Автор: anserovtv 5.06.2014 - 18:34

Один источник (СПбГУ):
С помощью критерия Бартлетта проверяют , отличаются ли корреляции от нуля: если p-значение меньше 0,05 , то данные приемлемы для проведения ФА.
Там есть и подробное название критерия, как я написал выше.
Другой источник (руководство пользователя):
С помощью критерия Бартлетта проверяют гипотезу о равенстве корреляционной матрицы единичной. (Без слова нормальность!!)
Понимаю, что это одно и то же.
Когда же в России будет единый дискурс в этой науке?
Специально для психологиста о проблемах при проведении ФА: http://alexwin1961.livejournal.com/63249.html

Автор: p2004r 5.06.2014 - 22:19

сдуем пыль со старых ссылок

http://p2004r.blogspot.com/2011/04/blog-post.html

вот более красивый код

http://molbiol.ru/forums/index.php?showtopic=102724&hl=ps2004r&st=750#

Автор: nokh 6.06.2014 - 04:05

Хороший обзор: http://jackson.eeb.utoronto.ca/files/2012/10/Peres-Netoetal2005.pdf

Автор: p2004r 6.06.2014 - 09:28

о! мой велосипед в группе лидеров

Автор: psychologist 8.06.2014 - 22:22

Коллеги, у меня только один вопрос: Где вы так глубоко статистику изучили. В нашем учебнике слава Богу есть понятие общность .

Автор: p2004r 9.06.2014 - 10:31

"Портки, да онучи. Духмяны, пахучи. Вот путь наш ... "(С) Т.Шаов