Microsoft Excel как программа, по прикладной статистике Опции

[Игорь]

Денег у ученого народа мало. На приличные (а приличные ли? См. далее) фирменные пакеты явно недостаточно. С другой стороны, в институтах и других конторах, как правило, куплена корпоративная лицензия на Microsoft Office, в который как раз и входят электронные таблицы Microsoft Excel, позиционирующиеся и разработчиком, и многими отечественными и зарубежными авторами в качестве средства [в то числе и] для статистического анализа данных. Одновременно не утихают споры о том, правильно считает Excel статистику, а ряд авторов на данной животрепещущей теме (поиске чужих ошибок) даже сделали себе имя (McCullough, Knusel).

nokh в одной из тем данного форума дал интересную ссылку, материалами которой мы и воспользовались. Пришли, однако, к выводу противоположному тому, что сделал автор материалов по данной ссылке.

Вот ссылка на Jeffrey Simonoff (2002) http://pages.stern.nyu.edu/~jsimonof/class...df/excelreg.pdf, в которой Excel разоблачается, причем сделано это путем сравнения с Minitab. В Minitab строится линейная регрессия для достаточно сложных данных, результат принимается за истину. Затем показано, что Excel врет. Почему врет? Всего лишь потому, что результаты отличаются от Minitab! Анализ показал, что Excel врет не сильно, за исключением коэффициентов детерминации, которые в Excel очень часто считаются просто неверно. А вот регрессия похожа на истину, а врет Minitab. Мы посчитали данную регрессию на Си с двойной точностью и убедились в этом.

На вопрос, можно ли использовать Excel в качестве статистической программы, ответ будет скорее утвердительным, но при условии проверки хотя бы с точки зрения здравого смысла. А компании Microsoft имело бы смысл довести "Пакет анализа", а также другие статистические возможности Excel (линии тренда в Graph, статистические функции рабочего листа) хотя бы до уровня нормальных самоделок, а не только заниматься изысканиями в области пользовательских интерфейсов. Ляпы циркулируют десяток лет из версии в версию, но Microsoft дела до этого, очевидно, нет никакого.

[Игорь]

Вообще-то неплохо бы описать алгоритмы, которыми считали. Эксель не врет. Он использует не вполне адекватные алгоритмы (которые в случае сложных данных будут давать неправильный результат). Программистских ошибок там нет. В Майкрософте профессиональные программисты (и никакие статистики).

Скажем так, Excel иногда врет. Программистские ошибки там есть. Например, для некоторых наборов данных коэффициент детерминации получается отрицательным! Этот показатель вообще-то меняется от 0 до 1. Чем ближе к 0, тем хуже подгонка кривой. Чем ближе к 1, тем лучше. Ну никак не может он равняться -214! Предвидя вопрос - формула для упомянутого коэффициента есть в Справке Excel.

Если Вы используете тот же алгоритм, Вы получите данные как и в Экселе, если алгоритм как в Минитабе - получите минитабовские данные. Алгоритмы в Экселе (и в этом их проблема) берутся из книжек, которые были оптимизированы для ручных расчетов в ущерб генерализуемости, посему и проблемы.

Линейная регрессия - она и в Африке регрессия. При чем тут алгоритм? И причем тут ручной или механизированный расчет? Для одинаковых данных результат должен быть одинаковым. На чем, кстати, и базируется доказательство неверности Excel в упомянутом источнике. А получилась неверность Minitab.

Кроме того, эксель абсолютно не подходит для манипуляции данными. Попробуйте наладить проверку введенных данных в Экселе, расчитать индекс массы тела в базе с 100000 записями при периодически пропущенных весе и росте, а затем сделать факторный анализ и тогда станет понятно, почему эксель нельзя рассматривать как статистическую программу. А расчитывать t-критерий на 20 наблюдениях можно и на калькуляторе (например, в мобильном телефоне).

Как раз для манипуляции данными Excel идеален - ни одна специализированная программа анализа рядом не стояла. Хотя что мы называем манипуляцией данными? Далее. Действительно, в Excel 65536 строк. Это его ограничение. Но обойти можно. Работать с базами данных Excel может. Задача нетривиальная, но решаемая. Храните данные в таблице Access (тоже компонент Office), читайте и обрабатывайте в Excel. Факторный анализ и еще много чего научного Excel также не делает. Это возможно в Excel с помощью надстроек. В свое время время мы делали факторный анализ именно в Excel. Хотя в той надстройке Excel использовался только для ввода и вывода данных. Расчет выполнялся внешними функциями.