Форум врачей-аспирантов

Здравствуйте, гость ( Вход | Регистрация )

2 страниц V   1 2 >  
Добавить ответ в эту темуОткрыть тему
> Помогите выбрать статистический метод, Множественные сравнения?
E_VA
сообщение 18.10.2015 - 14:20
Сообщение #1





Группа: Пользователи
Сообщений: 17
Регистрация: 18.10.2015
Пользователь №: 27589



Добрый день! Помогите, пожалуйста, определиться с выбором метода.

Гипотеза: для больных старческого возраста применение данной операции также эффективно и безопасно, как для остальных.
Имеется база из 100 пациентов. Ряд показателей: несколько опросников (до и после операции), оценка результата операции (по нескольким шкалам), наличие осложнение (несколько видов, измерены как "есть/нет"), оценка хода операции и восстановления после нее (длительность операции, длительность анестезии, длительность пребывания в стационаре?). Интересующая группа старческого возраста - 17 человек. Проверка данных на нормальность дала отрицательный результат.

На первый взгляд хочется с помощью опросников до операции протестировать их исходную независимость от возраста. Затем посмотреть есть ли различие в остальных показателях в зависимости от возраста. Возникают вопросы по применяемым методам. Есть несколько соображений.
1. Смотреть зависимость: с помощью коэффициента корреляции (Спирмена, а для бинарных данных - бисериальный коэффициент корреляции).
2. Разбить выборку на 2 группы: до 75 лет и после. Затем сравнение с использованием Манна-Уитни.
3. Разбить выборку на 4 группы: 0-24; 25-49;50-74; 74 и более . Сделать сравнение по Краскеллу-Уоллису, а затем (если что-то было обнаружено), то применять критерий Данна.

На фоне всех этих соображений гнетет вопрос о множественных сравнениях (так как кол-во показателей около 30). Есть ощущение, что данная проблема может обесценить предложенные подходы. Прошу помочь разобраться в данном вопросе и, при необходимости, порекомендовать куда "копать" дальше.

Сообщение отредактировал E_VA - 18.10.2015 - 14:25
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
Игорь
сообщение 18.10.2015 - 18:30
Сообщение #2





Группа: Пользователи
Сообщений: 1114
Регистрация: 10.04.2007
Пользователь №: 4040



Если данные разнородные (разные шкалы), то все перечисленные критерии неприменимы.


Сообщение отредактировал Игорь - 18.10.2015 - 18:36


Signature
Ebsignasnan prei wissant Deiws ainat! As gijwans! Sta ast stas arwis!
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
E_VA
сообщение 18.10.2015 - 18:59
Сообщение #3





Группа: Пользователи
Сообщений: 17
Регистрация: 18.10.2015
Пользователь №: 27589



Цитата(Игорь @ 18.10.2015 - 21:30) *
Если данные разнородные (разные шкалы), то все перечисленные критерии неприменимы.


Если я правильно понимаю ограничения по использованию инструментов, то
по предложению 1 я сравниваю количественный показатель возраст с количественным и порядковым с помощью корреляции Спирмена, а количественный с номинальным (да/нет) с помощью бисериального коэффициента корреляции;
по предложению 2 количественные и порядковые показатели для групп при помощи Мана-Уитни, номинальные (да/нет) - точный критерий Фишера;
по предложению 3 количественные и порядковые показатели для групп при помощи Краскелла-Уолиса, а затем Данна, номинальные (да/нет) - пока еще ищу в литературе, что можно использовать.

Была еще одна идея к предложению 1 по номинальным (да/нет) признакам - разбить выборку на 2 группы по признаку да/нет и сравнить в них возрасты с помощью Манна-Уитни. Т.е. наблюдается ли отличие по возрасту группы с осложнениями и группы без них.

Сообщение отредактировал E_VA - 18.10.2015 - 19:10
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
p2004r
сообщение 19.10.2015 - 08:39
Сообщение #4





Группа: Пользователи
Сообщений: 1091
Регистрация: 26.08.2010
Пользователь №: 22699



удалено

Сообщение отредактировал p2004r - 15.02.2017 - 12:00


Signature
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
E_VA
сообщение 19.10.2015 - 09:36
Сообщение #5





Группа: Пользователи
Сообщений: 17
Регистрация: 18.10.2015
Пользователь №: 27589



Цитата(p2004r @ 19.10.2015 - 11:39) *
гипотеза сформулирована неконкретно, без детализации "эффективно", "безопасно" применительно к проведенным измерениям.


Если под безопасно (как у других возрастов) понимать: та же частота осложнений, что и у других возрастов, а под эффективно (как у других возрастов) - те же показатели опросников после операции. То будет корректно?

Сообщение отредактировал E_VA - 19.10.2015 - 09:37
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
p2004r
сообщение 19.10.2015 - 12:43
Сообщение #6





Группа: Пользователи
Сообщений: 1091
Регистрация: 26.08.2010
Пользователь №: 22699



удалено

Сообщение отредактировал p2004r - 15.02.2017 - 12:00


Signature
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
E_VA
сообщение 19.10.2015 - 16:14
Сообщение #7





Группа: Пользователи
Сообщений: 17
Регистрация: 18.10.2015
Пользователь №: 27589



Цитата(p2004r @ 19.10.2015 - 15:43) *
1) Вот выкручиваться не надо smile.gif, "точно также" имеет очень отдаленное отношение к "эффективности" и "безопасности". Имеет смысл отношение "также или лучше", где "лучше" придется определить для _каждой_ используемой шкалы (для частоты осложнений это легче всего). Тогда будет сформулировано корректно.

2) Можно сначала рассмотреть чем отличается "целевая группа" от всех остальных. И уже для агрегированных (например обычным LDA) отличий вывести критерий "эффективно", "безопасно".

PS второе лучше поскольку показатели еще и коррелированы и можно "долго искать угол в круглом доме" (и даже найти этот "угол)"


Извините, пожалуйста, если дальше пойдут глупые вопросы/утверждения. Очень стараюсь понять, но видно не хватает знаний и опыта.

1) Определение отношений также ?или лучше? для показателей: частота осложнений ? чем меньше в группе ? тем лучше, для шкал: 0- хорошо?. максимальное значение ? плохо (все шкалы упорядочены), аналогично для количественных данных ? всегда можно сказать что лучше.

2) Естественно, предварительно (сравнение групп непараметрическими методами) я просмотрела сравнение групп по показателям, где намечаются отличия. Они намечаются только в показателях, которые связаны с длительностью нахождения в стационаре, палате интенсивной терапии и т.п. (это логично, так как за пожилыми более ?внимательный? уход). По осложнениям и шкалам вроде как не намечаются. Понимаю, что применяла тут не совсем корректные методы, но это была прикидка.

3) Полностью согласна, что данные у меня коррелированы ? т.е. все опросники показывают выздоровление, вот только освещают его различные аспекты. Поэтому в силу множественных сравнений шанс найти ?угол в круглом доме? у меня есть. Собственно чего и опасаюсь.

4) Если, я верно поняла, то LDA (линейный дискриминантный анализ) предлагается использовать для того, чтобы найти те переменные, которые различают группы (пожилые и прочие). Насколько я знаю, там есть 2 существенных для моего случая ограничения: нормальность данных и количественные или порядковые данные. Т.е. для решения такой задачи его нельзя использовать.

5) По итогам обсуждения сделала для себя промежуточный вывод (предположение, как решать поставленную задачу) :
1 шаг - нужно показатели разбить на независимые (в какой-то степени, так как придется принимать решение о мере независимости) группы. По идее, при реализации шага 1 ? должны возникнуть группы по безопасности и группы по эффективности.;
2 шаг - из каждой группы выделить 1,
3 шаг - спокойно (так как уже нет зависимости и не опасны в этом контексте множественные сравнения) сравнивать по выделенному из каждой группы показателю.
Верен ли этот подход? Или снова куда-то в сторону заносит?
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
anserovtv
сообщение 19.10.2015 - 20:24
Сообщение #8





Группа: Пользователи
Сообщений: 219
Регистрация: 4.06.2013
Из: Тверь
Пользователь №: 24927



E_VA
Я бы пытался создать единую модель для оценки влияния дихотомической переменной (возраст) на другие переменные.
Это - очень сложная задача, но проблема множественности сравнений будет снята.
Примеры таких моделей (но в психологии) хорошо известны. В рамках этой модели можно бороться и с отклонениями от нормальности по каждой переменной.
Модель может содержать и структурную и измерительную составляющие. Можно выполнить предварительную генерацию модели и ее частей.
Более простое: по результатам опросников (и некоторым другим переменным) можно пытаться выполнить факторный анализ и вычислить факторные оценки.
После этого можно сравнивать категории возраста по факторным оценкам: часто картинка становится более отчетливой, т. е. если категории не отличались по переменным, то могут отличаться по факторным оценкам.
Полезно выполнить и анализ качества опросников (альфа Кронбаха), а возрастные категории сравнивать только по информативным вопросам.

Сообщение отредактировал anserovtv - 19.10.2015 - 21:12
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
p2004r
сообщение 19.10.2015 - 22:28
Сообщение #9





Группа: Пользователи
Сообщений: 1091
Регистрация: 26.08.2010
Пользователь №: 22699



Цитата(E_VA @ 19.10.2015 - 16:14) *
Извините, пожалуйста, если дальше пойдут глупые вопросы/утверждения. Очень стараюсь понять, но видно не хватает знаний и опыта.

1) Определение отношений также ?или лучше? для показателей: частота осложнений ? чем меньше в группе ? тем лучше, для шкал: 0- хорошо?. максимальное значение ? плохо (все шкалы упорядочены), аналогично для количественных данных ? всегда можно сказать что лучше.

2) Естественно, предварительно (сравнение групп непараметрическими методами) я просмотрела сравнение групп по показателям, где намечаются отличия. Они намечаются только в показателях, которые связаны с длительностью нахождения в стационаре, палате интенсивной терапии и т.п. (это логично, так как за пожилыми более ?внимательный? уход). По осложнениям и шкалам вроде как не намечаются. Понимаю, что применяла тут не совсем корректные методы, но это была прикидка.

3) Полностью согласна, что данные у меня коррелированы ? т.е. все опросники показывают выздоровление, вот только освещают его различные аспекты. Поэтому в силу множественных сравнений шанс найти ?угол в круглом доме? у меня есть. Собственно чего и опасаюсь.

4) Если, я верно поняла, то LDA (линейный дискриминантный анализ) предлагается использовать для того, чтобы найти те переменные, которые различают группы (пожилые и прочие). Насколько я знаю, там есть 2 существенных для моего случая ограничения: нормальность данных и количественные или порядковые данные. Т.е. для решения такой задачи его нельзя использовать.

5) По итогам обсуждения сделала для себя промежуточный вывод (предположение, как решать поставленную задачу) :
1 шаг - нужно показатели разбить на независимые (в какой-то степени, так как придется принимать решение о мере независимости) группы. По идее, при реализации шага 1 ? должны возникнуть группы по безопасности и группы по эффективности.;
2 шаг - из каждой группы выделить 1,
3 шаг - спокойно (так как уже нет зависимости и не опасны в этом контексте множественные сравнения) сравнивать по выделенному из каждой группы показателю.
Верен ли этот подход? Или снова куда-то в сторону заносит?


1) Если "очень хорошо" не начинает означать плохо, то можно. Но придется для всех шкал это сформулировать явно, и наверняка пойдет взаимодействие шкал.

2) 3) Вместо того что бы смотреть глазами, лучше применить какой либо метод "редукции размерности"

4) Никакого отношения к нормальному распределению Linear Discriminant Analysis не имеет (того "выводильщика" который "вывел" его и PCA из всяких к.к. следует публично посадить на кол), это обыкновенная геометрия (только критерий выбора ортогональной системы координат немного не такой как в PCA). Любые переменные можно свести к набору (dummi) бинарных переменных.

5) Да как то так, только лучше (выбрав только влияющие значимо показатели) построить модель объясняющую разделение (обычно логистическая регрессия). И надо помнить, что может группы значимо (например по результатам кроссвалидации) и не разделяются. То есть сначала доказать что различие в принципе есть, а потом разобрать в чем оно собственно состоит и какая связь между всеми значимыми показателями.


Signature
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
E_VA
сообщение 27.10.2015 - 18:41
Сообщение #10





Группа: Пользователи
Сообщений: 17
Регистрация: 18.10.2015
Пользователь №: 27589



Цитата(p2004r @ 20.10.2015 - 01:28) *
5) Да как то так, только лучше (выбрав только влияющие значимо показатели) построить модель объясняющую разделение (обычно логистическая регрессия). И надо помнить, что может группы значимо (например по результатам кроссвалидации) и не разделяются. То есть сначала доказать что различие в принципе есть, а потом разобрать в чем оно собственно состоит и какая связь между всеми значимыми показателями.


Огромное спасибо за проявленное внимание к моему вопросу и попытку помочь разобраться!

Постаралась последовать рекомендациям. Получились следующие результаты (что с ними делать далее "ума не приложу").
1) По показателям осложнений (все бинарные признаки) посмотрела таблицы сопряженности. Из 9 показателей выявила 5 зависимых пар (точный критерий Фишера). В качестве силы связи смотрела коэффициент Фи-квадрат (0.25 - 0.55). Рассматривались в том числе таблица сопряженности "возраст - осложнение" по всем осложнениям. Зависимости не обнаружено.
По оценке результатов операции (опросники, шкалы оценки итогов) смотрела: коэффициент корреляции Спирмена. Шкалы, связанные с оценкой качества жизни, имеют корреляцию порядка 0,75-0,9. Шкалы оценки итогов: 0,69-0,71. Аналогично сравнивала возрастные группы по показателям (Манн-Уитни) - не различаются.
Для перепроверки результатов для опросников провела факторный анализ : выделяет максимум 2 фактора, но можно оставить и 1.
Были еще количественные показатели, характеризующие длительность пребывания пациента в больнице, длительность операции, итого 5 показателей. Все значимо коррелируют по Спирмену, но сильно зависима (0,81) только пара из них. Аналогично сравнивала возрастные группы по показателям (Манн-Уитни) - выявлено различие только по 1 показателю.

2) Использование LDA (с пошаговым включением) привело к тому, что для дискриминации использовано только 2 показателя из группы показателей, характеризующих длительность пребывания пациента в больнице. При этом 35% пациентов старческого возраста классифицировано неверно.

3) Тестовая попытка построить логистическую регрессию при использовании всех осложнений, типичного опросника, типичной оценки результатов и 4 показателей пребывания в больнице проваливается из-за вычислительной проблемы. (пакет SPSS)
Может, конечно, я что-то не так делаю, но по идее, если нет связи между зависимыми переменными регрессии и классифицирующей, то сама регрессия и не должна строится.

На самом деле ожидается, что от возраста не зависит безопасность и эффективность. Но именно доказать с использованием данных инструментов у меня не получается.
Если мое сообщение уже тянет на полноценную личную консультацию, то буду благодарна ей на возмездной основе (прошу написать ЛС).

Сообщение отредактировал E_VA - 28.10.2015 - 08:43
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
nokh
сообщение 3.11.2015 - 22:17
Сообщение #11





Группа: Пользователи
Сообщений: 1202
Регистрация: 13.01.2008
Из: Челябинск
Пользователь №: 4704



Цитата(E_VA @ 27.10.2015 - 20:41) *
3) Тестовая попытка построить логистическую регрессию при использовании всех осложнений, типичного опросника, типичной оценки результатов и 4 показателей пребывания в больнице проваливается из-за вычислительной проблемы. (пакет SPSS)
Может, конечно, я что-то не так делаю, но по идее, если нет связи между зависимыми переменными регрессии и классифицирующей, то сама регрессия и не должна строится.

На самом деле ожидается, что от возраста не зависит безопасность и эффективность. Но именно доказать с использованием данных инструментов у меня не получается.
Если мое сообщение уже тянет на полноценную личную консультацию, то буду благодарна ей на возмездной основе (прошу написать ЛС).

Скорее всего разбираться вам предстоит самостоятельно, т.к. в вашу задачу нужно вникать предметно. Техниками вы владеете, поэтому результат будет: если покрутите так и эдак, то картинка сложится, может только нужно дать вылежаться материалу пару-тройку недель, переключиться пока на другое.
По поводу логистической регрессии - это капризная штука, когда число покзателей велико по сравнению с объёмом выборки. Моя практика говорит, что больше 5-7 покзателей даже пошаговой техникой часто "проваливаются".
Помочь картинке сложится могут разведочные многомерные техники типа главных компонент. Посмотреть можно весь объём данных даже обычным PCA, хотя лучше - нелинейным (есть в SPSS): номинальные и порядковые признаки лучше обработаются. Но такие анализы требуют практики трактовки. Если в вашем окружении есть люди, имеющие такую практику - обязательно попробуйте!
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
E_VA
сообщение 5.11.2015 - 12:45
Сообщение #12





Группа: Пользователи
Сообщений: 17
Регистрация: 18.10.2015
Пользователь №: 27589



Цитата(nokh @ 4.11.2015 - 01:17) *
Скорее всего разбираться вам предстоит самостоятельно, т.к. в вашу задачу нужно вникать предметно. Техниками вы владеете, поэтому результат будет: если покрутите так и эдак, то картинка сложится, может только нужно дать вылежаться материалу пару-тройку недель, переключиться пока на другое.
По поводу логистической регрессии - это капризная штука, когда число покзателей велико по сравнению с объёмом выборки. Моя практика говорит, что больше 5-7 покзателей даже пошаговой техникой часто "проваливаются".
Помочь картинке сложится могут разведочные многомерные техники типа главных компонент. Посмотреть можно весь объём данных даже обычным PCA, хотя лучше - нелинейным (есть в SPSS): номинальные и порядковые признаки лучше обработаются. Но такие анализы требуют практики трактовки. Если в вашем окружении есть люди, имеющие такую практику - обязательно попробуйте!


Был предложен еще один подход к данной задаче - метод классификации RandomForest (ОГРОМНОЕ спасибо p2004r).
В итоге у меня получилась вот такая структура исследования:
1 этап: анализ с помощью корреляций, таблиц сопряженности, сравнения групп + графики. Вывод, что связи обнаружены только по 2 показателям (p около 0,03).
2 этап: с учетом проблемы множественных сравнений применен метод классификации RandomForest. Классификация проводилась по группам показателей:
- исходные данные групп (цель - показать однородность),
- безопасность (цель - попробовать найти факторы, которые помогли бы провести разделение),
- эффективность (цель - попробовать найти факторы, которые помогли бы провести разделение).
Итоги второго этапа: ни при одной классификации не достигнут 50% результат по определению группы старческого возраста.

На основании проведенного анализа делается вывод, что безопасность и эффективность операционного вмешательства у больных старческого возраста, такая же, как и у других возрастов. Тут под безопасностью понимается только совокупность исследуемых осложнений.

Использование метода классификации, а не логистической регрессии, мне больше понравилось, так как нет ограничений на вид распределения признаков, их дисперсий и т.д. Как я поняла, данный инструмент перебирает практически все возможные варианты классификаций, что уже можно считать основанием для отрицательного ответа. А отрицательный ответ по логистической регрессии может быть связан с неверным выбором функциональной зависимости, да и "кривыми ручками" при подборе параметров.

Сообщение отредактировал E_VA - 5.11.2015 - 12:45
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
anserovtv
сообщение 10.11.2015 - 08:31
Сообщение #13





Группа: Пользователи
Сообщений: 219
Регистрация: 4.06.2013
Из: Тверь
Пользователь №: 24927



Решение задачи кажется мне странным.
Random Forest обычно применяют в исследованиях с очень большим числом наблюдений.
Не может быть эффективность бинарной классификации менее 50 % - это может говорить о неверных настройках программ /площадь под ROC-кривой менее 0,5/.
Кроме случайного леса есть и другие методы классификации. Мне кажется , что в данном случае достаточно использовать простые деревья классификации .
Я бы попробовал применить и самоорганизующиеся карты Кохонена (если хватит данных) - в некоторой степени аналог Random Forest (также используется голосование) и др. методы.

При этом нельзя в качестве зависимой переменной использовать категории возраста, а нужно использовать категории осложнений и др. с одной из независимых переменных - возраст или его категории. Иначе получается, что определение возраста по этим данным - одна из задач исследования, но ведь данные собирались для совсем другой / чисто медицинской/ цели./ Данные изначально не являются информативными для определения возраста или его категории./
Полезно построить ROC- кривые / если категорий две / и их сравнить.
Также предварительно следует проверить качество данных на предмет дубликатов и противоречий.
В других методах следует обратить внимание на мощность - полагаю, что у Вас мало данных.

Сообщение отредактировал anserovtv - 10.11.2015 - 14:57
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
E_VA
сообщение 10.11.2015 - 16:07
Сообщение #14





Группа: Пользователи
Сообщений: 17
Регистрация: 18.10.2015
Пользователь №: 27589



Цитата(anserovtv @ 10.11.2015 - 11:31) *
Решение задачи кажется мне странным.
Random Forest обычно применяют в исследованиях с очень большим числом наблюдений.
Не может быть эффективность бинарной классификации менее 50 % - это может говорить о неверных настройках программ /площадь под ROC-кривой менее 0,5/.
Кроме случайного леса есть и другие методы классификации. Мне кажется , что в данном случае достаточно использовать простые деревья классификации .
Я бы попробовал применить и самоорганизующиеся карты Кохонена (если хватит данных) - в некоторой степени аналог Random Forest (также используется голосование) и др. методы.

При этом нельзя в качестве зависимой переменной использовать категории возраста, а нужно использовать категории осложнений и др. с одной из независимых переменных - возраст или его категории. Иначе получается, что определение возраста по этим данным - одна из задач исследования, но ведь данные собирались для совсем другой / чисто медицинской/ цели./ Данные изначально не являются информативными для определения возраста или его категории./
Полезно построить ROC- кривые / если категорий две / и их сравнить.


У меня выборка 114 случаев. Если рассматривать 2 группы: 17 - группа пожилых, 97 остальные. Под неверной классификацией я имела в виду, что верная классификация пожилых была менее, чем в 50% случаев: 7 из 17 были определены верно. Была идея, что может из 97 выбирать случайным образом 17 и сравнивать, чтобы объем выборок был одинаковым, но, показалось , что тут будет потеряна информация.
Скажу сразу, что строились и логистические регрессии, там также процент верной классификации не превышал по группе пожилых 50% (максимум 5 человек). Т.е. результаты данных подходов были близки.

С точки зрения корректности предлагаемого подхода. Конечно, прямая постановка - зависит ли успех/осложнение от возраста. В такой простой постановке (методами сравнения возрастных групп по разным признакам) получен ответ нет. Но осложнений много, способов оценки успеха тоже много. На мой взгляд, если на основании набора признаков можно "предсказать" возраст, то получается, что в этом наборе имеется информация о возрасте (как я себе это представляю - например, конкретный тип осложнения + конкретная оценка успеха более присущи пожилым). Безусловно, никаких выводов о причинно-следственной связи делаться не будет, а только вывод о том, что в наборе "предикторов" содержится (не содержится) информация о возрасте. Или тут я все-таки что-то серьезно недопонимаю?

Сообщение отредактировал E_VA - 10.11.2015 - 16:45
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 
anserovtv
сообщение 11.11.2015 - 19:31
Сообщение #15





Группа: Пользователи
Сообщений: 219
Регистрация: 4.06.2013
Из: Тверь
Пользователь №: 24927



Алгоритм Random Forest обычно дает близкую к 100% эффективность (поэтому и используется как альтернатива более классическим методам классификации при всех его недостатках).
Низкая эффективность в Вашем случае лишний раз доказывает, что по этим данным нельзя получить нужные Вам выводы.
Конечно, можно выполнять различные манипуляции с числовыми данными, но не все из них имеют практический смысл.
.

Сообщение отредактировал anserovtv - 11.11.2015 - 19:32
Вернуться в начало страницы
 
+Ответить с цитированием данного сообщения
 

2 страниц V   1 2 >
Добавить ответ в эту темуОткрыть тему