Экспертов было 20, оценивали консистенцию 9 образцов по 4 параметрам по 10 бальной шкале. Что теперь делать с этими анкетами? Нужно выбрать 3-4 оптимальных образца.

Среднюю считать неправильно, я так понимаю. Нашла медианы. Что дальше?

Получилась 3-х мерная таблица - матрица опроса. По горизонтали - 20 экспертов, по вертикали - 9 образцов (объектов), в глубину - 4 параметра. Таблица состоит из чисел от 1 до 10 - это ранги, присвоенные экспертами, причем ранги могут совпадать (если эксперт не смог различить качество данных образцов).

На самом деле обрабатывать такой "параллелепипед" неудобно. К тому же тот или иной параметр сравнивать с другим параметром, видимо, неверно (чем, например, форма объекта может быть лучше, чем его цвет?). Поэтому лучше сделать 4 таблицы размером 20 на 9 и анализировать их отдельно. При этом по одному параметру может победить один объект (например, по скорости), а по другому параметру (например, грузоподъемности) - другой объект. И это правильно - потребитель считает для себя важным тот или иной параметр или их произвольную совокупность.

Обрабатывать такие таблицы можно по-разному, в зависимости от цели. Можно, например, поставить цель - выработать согласованное мнение экспертов. А можно выяснить компетентность экспертов. Можно классифицировать объекты. А можно классифицировать экспертов. Судя по Вашему посту, Вам нужно согласованное мнение - типа оптимального объекта.

Вопрос еще - правильно ли Вы считали медиану. Для таких данных есть особенности. Медианой будет объект (из представленных), имеющий минимальную сумму расстояний до остальных объектов. Вот только "расстояние" здесь - не в Евклидовом смысле, а в смысле бинарных отношений. Можно также вычислить и среднее значение. Но и тут под средним понимается нечто иное. Средним будет такой объект (из в принципе существующих - а для рассматриваемых данных перечислить ВСЕ возможные ранжировки теоретически можно), который опять же имеет минимальную сумму расстояний в том же, что и выше, смысле. Вычислений на самом деле очень много даже для небольших таблиц. Есть специальное ПО, но оно дорогое (несколько тысяч рублей).

Вот некоторые очень неплохие источники (доступно в Интернете бесплатно, если ссылки битые - сообщите):
1. Тинякова В.И. Математические методы обработки экспертной информации: Учебное пособие. - Воронеж: Издательство ВГУ, 2006. - http://window.edu.ru/window_catalog/files/...21/feb06033.pdf
2. Методы организации экспертизы и обработки экспертных оценок в менеджменте: Учебно-методическое пособие / В.Н. Эйтингон, М.А. Кравец, Н.П. Панкратова и др. - Воронеж: Издательство ВГУ, 2004. - http://window.edu.ru/window_catalog/files/...22/dec04143.pdf

Вот еще несколько:
1. Литвак Б.Г. Экспертная информация. Методы получения и анализа. - М.: Радио и связь, 1982.
2. Литвак Б.Г. Экспертные технологии в управлении. - М.: Дело, 2004.
3. Шмерлинг Д.С. О проверке согласованности экспертных оценок // В сб. Статистические методы анализа экспертных оценок. Ученые записки по статистике, т. 29 / Под ред. Ю.Н. Тюрина, А.А. Френкель. - М.: Наука, 1977, с. 77-83.

Данные книги легко найти в любой научной библиотеке, источник 2 еще должен быть в книжных магазинах.

Составленная мною библиография по данное теме содержит 64 избранных (= практически ценных) источника. Если необходимо ознакомиться, сообщите.

Ой, спасибо. Я сама из нета наскачивала бесплатного, и пока запнулась на том, что наши эксперты не расставляли объекты по рангам, так чтобы одна оценка- только одному объекту, т.к. это и правда очень сложно, да и объекты на самом деле не сильно отличаются. И думаю, может и нет смысла что-то считать в этом случае?

Пойду читать.