Простите, что с не медицинской тематикой лезу, а больше с дизайном эксперимента в маркетинге.
Проводя аналитику по сетям кафешек, мы обнаружили странную вещь, что на мытье посуды, тратится очень много ресурсов, а именно: времени, зарплат работникам, затрат на закупку моющего средства и воды. Есть идея, которую я хочу проверить, что моющее средство не оптимально и надо выбрать среди сотней моющих средств на рынке наилучшее в этих условиях.

Я не знаю как мне спроектировать план исследования, т.е. начать надо с методологии анализа имеющего средства и сравнения его с другими средствами.
Какими мне нужно руководствоваться критериями, метриками, какие признаки исследовать, как собирать данные, уверен тут будет вероятностная математическая модель

Если есть какие-то идеи с чего начать план анализа, буду рад каждой.

установил библиотечку keras
нашел в хелпе описание




А прикладного примера в хелпе нет, обычно он есть. Мне без него сложно перенести идею на мои данные.
в роле object
мой датасет должен быть?
setwd(mydir)
mydat=read.csv(mydat)

Приветствую. , пожалуйста, мне тут метод выбрать в такой задаче.
У меня есть данные по 80 приборам, по каждому циклу, для каждого прибор, разные датчики дают указание. Как я могу предложить на основании этих данных, что прибор неисправен? Какой статистический метод я должен использовать?
Прибор считается вышедшим из строя, если больше измерений по нему нет. Например, есть измерения по циклам 1-151. Значит, что на 152 цикле прибор вышел из строя.

Может ли тут помочь анализ выживаемости?

100$, разобрался с Уайтом.
Независимость случайной величины это хорошо или плохо? Если плохо, то как избавиться от А/корр-ции

100$, а можно Вас попросить кинуть сюда пример расчета в эксель? Я правильно понял, что мы просто берем остатки после регрессии(по "подозрительному регрессору") и делаем корреляцию по Спирману с ними, если она положительная(кстати какой коэффициент считает достаточным,чтобы говорить о гетероскедастичности?), то делаем вывод о гетероскедастичности?
Ещё вопрос об автокорреляциях, скажите же, я верно понял, что автокорреляция, это корреляция со временным рядом, но на лаг назад. Т.е. есть 12 месяцев, 12-1=11 месяцев, и я ряд на к-лаг назад коррелирую с исходным рядом. Так почему же нужно избавляться от автокорреляций.

Здравствуйте. Не подскажите, как в spss посмотреть наличие гетероскедастичности , не только используя графики рассеяния в регрессионном анализе, а в частности интересует реализация теста Уайта. Есть такое или как быть?
Также на вики
https://ru.wikipedia.org/wiki/%D0%A2%D0%B5%...%B5%D0%BD%D0%B0
говорится, что можно проверить через тест Спирмана. Я знаю про ранговые корреляции Спирмана, но в данном случае, я как не читаю, не понимаю что требуется. Как они через корреляции это определяют?

В самую точку! Спасибо.

Необходимо изучить спрос покупателей, а лучше сказать, что они покупают совместно с одним товаром. Например, купил мобильный телефон, ну обычно покупают чехол, ну это простой и ясный пример. Случае посложнее, когда много наименований товара.
Как выяснить вот эту вот последовательность притенения товара после покупки первого.
Мои мысли это использовать кросстабы и что- то из data mining например, правило ассоциаций. Но тогда вопрос как же правильно оформить набор данных.
Как всегда буду благодарен за помощь.

Ещё чуть-чуть уточню. Говоря о перевыборках , Вы имеете ввиду вот это?
http://www.statmethods.net/stats/resampling.html

p2004r, Вы имеете ввиду сделать трансформацию Бокс-Кокса?
Насчет перевыборок пока не въехал, что Вы имеете ввиду. Уточните пожалуйста)

Подскажите, пожалуйста, столкнулся со странной ситуацией. По одному параметру у меня
минимальное значение 0
Максимальное 4000
среднее 5,2
но сигма =11
т.е. 5,2+-11, иными словами разброс от -5,8 до 16,2, но откуда минусовые значения, если в данных меньше нуля точно ничего нет.

по поводу первого вопроса
ну вот скрин
Мы можем как-то проинтерпретировать это расстояние? что оно значит?

По поводу второго вопроса. Есть ли в R такая возможность, просмотреть матрицу. Если покажите код с меня простава;)

И можно про алгоритмы выбора оптимального числа кластеров? В SPSS или хотя бы в R есть библиотечки?

1. А как мне интерпретировать вот допустим:
наблюдение 1 кластер 2 расстояние =9046523457,445 какой я могу сделать вывод из этого расстояния. Оно подлежит интерпретации
2.Есть ли метод в статистики, который сам определяет требуется ли нормализация или нет.
3.Если в кластере одно наблюдение можно ли этот кластер считать как полноценный?

не, у меня совпал 3 раза)
А надо данные нормализовывать?

Ещё вопросик из экономики. Сделал быстрый кластерный анализ к-мин. Но группы попавшие в 4 кластера в спсс и статистика не совпадают. Вот эксель файл. Там вкладки с результатами кластеризации в спсс и статистика. Из-за чего это?
И такой вопрос. На первой вкладке исходные данные. Надо ли эти цифры как-то нормализовывать или оставить как есть,а то они большие, речь о миллионных суммах?

Я знаю, как работает нейронная сеть, а может в ЛС ссылку дадите и это не будет рекламой.
100$, я, кажется, понял, вы имеете ввиду симплексный подход. А почему Вы математику и статистику различаете. И там и там вычисления. Математика ведь основа статистики. По крайней мере нейронные сети это та же статистика, но там много математики. Но в любом случае, вроде направления движения я понял. Спс.

Разноплановые ответы:) а можно ли при помощи feature engineering как-то сформировать потребительскую корзину и сделать как-то по ней кластеризацию с целью выделения сегментов товаров?
anserovtv, а можно хоть как-то ознакомиться с тем как работают эти программы?
100$, а в SPSS есть возможность линейного программирования?

Хотя форум больше по медицинской статистике, но тут очень много умный людей, которые знают любую статистику.

Есть такая задача. Поставщик Х поставляет товары с артикулами А,B,C,D,E,F.. и так далее. Каждые полгода идет новая коллекция и надо снова закупать.(пусть это будут платья)
уже артикулы G,H,I,J,K....
По каждому артикулу от предыдущей коллекции от A-F имеется в SQL такая инфа
пол (всего их может быть до 9: юношеская для мальчика, юношеская для девушек, взрослая для мужчин, взрослая для женщин....)
-цвет
-цена
-размер
-сколько было заказов
-какие остатки
-статистика продаж каждый день

Зная такую информацию, как можно спрогнозировать сколько единиц каждого из артикулов стоит заказать? Как правильно действовать?

Буду рад любому совету.

Столкнулся с такой проблемой. Написал приложение, запустил бета-тест платный(приложение рассчитано на категорию людей, которые могут заплатить 1500-2000р. за него), но что-то клиентов мало.Какие мне нужны данные, чтобы проанализировать в чем тут дело?

Извините, если надоел
rapid miner - хорошая софтина для анализа текста, я его полностью изучил, все понятно, кроме одного: Что там с русским языком? В частности tokenize (разбивка на лексемы).
Там только на английском языке, стоп-слова также.
Можно там кто-то прикрутить русский язык или быть может есть какое-то расширение.
Вообще было бы здорово, если бы кто-то знал, как там накрутить рус. яз.

Выходные настали. Простите, что не мог на буднях ответить. Разрываюсь. Итак давайте начнем отвечать. Хотелось бы начать ответ пользователю Nokh, хоть он решил временно уйти в сторонку. Потому что не столь я Вас не услышал, сколь мы оба друг друга не услышали.
Я проанализировал Ваш пост.
Я понял вашу идею по поводу организации данных. Я Вас услышал


эта фраза соприкасается с вопросом пользователя p2004r Желтым цветом в моем макросе обозначается как раз-таки отсутствии ассоциации или совстречаемости запросов. Т.е. на запрос X1 выдается ответ X2, Но когда Х2 становится сам запросом ответ X1 не появляется. это желтое. Я потом убрал строчку в макросе, чтобы не мозолила глаза, пусть просто будет пустая клетка

не будем

Тут задача из серии big data . На счет КА согласен тут он не уместен. Хотя бы потому что дендрограмма получится сверх огромной, её не проанализируешь. Может я плохо старался на мат.статистике, но помоему такие поп.пакеты как spss,statistica,sas не любят когда в них загружают много данных и речь я веду не о кейсах, их сколь угодно, я больше о переменных. атрибуты, как вы их называете.
Что это значит? А это значит, что я и подумал, что мне надо какой-то свой алгоритм разработать, но на базе известных! Мы программеры ленивый народ) Нам не хочется что-то редуцировать, нам хочется один раз сделать алгоритм и пользоваться, т.к. такие задачи будут часто! Пускай он и будет включать сам редуцирование. Т.е. мне надо понять,что в таких случаях делают, а потом уже писать код.

Ну и ещё по поводу организации данных. Всегда как нас учили необходимо сначала разбираться какая у нас шкала. С одной стороны, если принюхаться, то можно подумать, что мои данные в номинативной шкале. Но все-таки я думаю они в ранговой шкале. Я не смотрю на них как на качественные признаки. Я смотрю на них как удаленность друг от друга. Кто вообще стоит рядом, а кто-то очень далеко.
В плане вашего предположения по организации данных, мне тогда вообще всю методологию менять надо было. Но согласитесь интересно понять почему когда я вижу X1 и получаю ответ Y ,а когда ввожу Y не получаю Х1 ? Почему вдруг с обратной стороны яндекс не считает, что эти ответы чем то близки?
Единственное, где я Вас возможно и не услышал, так это то, как вы себе кейсы предствляете. Т.к. столбцы всегда будут такими как есть сейчас.



ещё как понимаю, иначе бы не просил помочь как такие задачи решаются

и здесь не спорю

так скажите как это делать.собственно для меня это и был начала поста этого. чаша Грааля так сказать. как кодировать то

приведите пример этого пакета. Я знаю в статистика есть модуль текст майнинга.но он ограниченный . Кластеризовать тексты он не может
его исходные данные
это набор текстов и обязательно столбец, где указано относится текст к этой теме или нет. А что если мне не нужно обучать прогу, чтобы на базе текстов она потом могла определить будут ли следующие тексты относится к этой теме или нет.
пример тут, я читал, не подходит
http://statosphere.ru/blog/136-statistica-...-miner----.html
Моя задача это впихать мои 6000 файлов в программу и чтобы она исходя из запросов и снипетов к ним в каждом файле могла сама найти те запросы, которые семантически близки друг к другу.


думаю вы получили ответ на этот вопрос.

а вот на этот вопрос у меня нет ответа, т.к. если совстречаемости фраз нет, то ячейка пустая(желтая) и что делать тогда ? Как работать с пропущенными данными? Столбец удалять нельзя, там может быть много совстречаемости этой переменной с другой.,строчку тоже ну удалишь , т.к. там может быть тоже много совстречаемости со след.переменными.

на выходных подробнее отвечу. а касательно последнего вопроса. желтый цвет можно убрать, я его делал с целью типа постуя ячейка. совстречаемости между запросами нет. но потом оставил это идею.

anserovtv, спасибо Вам, статья полезная.
nokh


Там по сути данные как для многомерного шкалирования.
может в картинках будет понятнее.
вот то что было напарсено
1. вы видите в столбце А какие-то фразы, а потом ,если присмотреться, эти фразы транспонированы. И уже каждая фраза стала сама запросом от которого идут ответы
Я думаю с этим ясно.
D1 ремонт ноутбуков, D4 компьютерная помощь 3 шага.
G1 компьютерная помощь G3 ремонт ноутбуков
3 шага- 2 шага =1 шаг. т.е. запросы стоят близко.

кашеобразный граф, наверное уже видели.


смотрим матрицу
типичный пример данных для КА или МШ

Согласен, что вся исследовательская работа на моих макросах, но какое уже отлаженное ПО сможет мне дать визуализацию. Визуализировать большое кол-во данных это непростая задача. Матрица тут 375х375


Плюс попутно решаю задачу и классификации текстов. У меня есть 6000 документов. в каждом запрос какой-то и к нему по 50 снипетов. Задача исходя из этих данных также посмотреть какие запросы похожи семантически. Можно ли эту задачу решить в среде statistica 10 или тут нужно отдельное ПО.

Добрый день. Спасибо администрации за идею создания такого полезного форума. Мой вопрос не столь по медицине, сколь из области маркетинга. Я провожу одно исследование. Не вдаваясь в подробности, цель исследования это изучить какие запросы яндексом воспринимаются как семантически близкие. Как я стал это делать. Я сам программист больше, я написал парсер. Работает он так. Ввожу запрос N1, яндекс в ответ дает какие-то ответы
запрос?1
ответ?1
ответ?2
...
потом в роли ключевого выступают эти ответы.
ответ?1
ответN
ответN
ответN
получается примерно такое. Т.е. по сути все транспонируется.

Далее , я стал высчитывать расстояние. Обратите внимание от фразы ремонт компьютеров столбец A1 до фразы ремонт ноутбуков 1 шаг. А от фразы ремонт ноутбуков столбец d1 до фразы ремонт компьютеров тоже 1 шаг. вычитаем расстояние по модулю. 1-1=0 Но на самом деле 0 я равнял к единицы. Эти запросы стоят очень близко. вообще до 10 шагов это считается недалеко друг от друга запросы. Чтобы высчитать эти шаги, я написал макрос. Получаем такой результат. Типа квадратная матрица.
Решил спрограммировать граф, но там бешенная каша.

Хотелось бы попросить помощи, а именно как лучше мне кластеризовать мои данные . Любой макрос сам напишу.Но меня интересует мнение математиков-профессионалов о том, как лучше визуализировать -кластеризовать мои данные, чтобы не было такое каши. Чтобы была четкая наглядность какие понятие(запросы) близки друг к другу.
Буду благодарен за любую подсказку.