МІНІСТЕРСТВО ОСВІТИ

РОСІЙСЬКОЇ ФЕДЕРАЦІЇ

АЛТАЙСЬКИЙ ДЕРЖАВНИЙ УНІВЕРСИТЕТ

Економічний факультет

Кафедра антикризового управління, оцінки бізнесу та інновацій

МЕТОД ЕКСПЕРТНИХ ОЦІНОК

(курсова робота)

Виконала студентка

3 курси, група 277

Стрекалова С.Б.

Робота захищена

Барнаул - 1999

Вступ 3

Глава 1. ЕКСПЕРТИЗА В УПРАВЛІННІ 5

1.1. Роль експертів в управлінні 5

1.2. Метод експертних оцінок 7

1.3. Організація експертного оцінювання 9

1.4. Підбір експертів 9

1.5. Опитування експертів 10

Розділ 2. ФОРМАЛІЗАЦІЯ ІНФРОРМАЦІЇ

І ШКАЛИ ПОРІВНЯНЬ 12

Глава 3. ОБРОБКА ЕКСПЕРТНИХ ОЦІНОК 16

3.1. Завдання обробки 16

3.2. Групова оцінка об'єктів 17

3.3. Оцінка узгодженості думок експертів 22

3.4. Обробка парних порівнянь об'єктів 25

3.5. Визначення взаємозв'язку ранжувань 27

Висновок 31

Список литературы 32

ВСТУП

Сучасна економіка висуває нові, більш високі вимоги до управління. Питання вдосконалення методів управління набувають зараз дуже важливого значення, оскільки саме у цій сфері є ще більші резерви зростання ефективності народного господарства.

Істотним чинником підвищення наукового рівня управління є застосування для підготовки рішень математичних методів і моделей. Проте, повна математична формалізація техніко-економічних завдань часто неможлива внаслідок їх якісної новизни та складності. У зв'язку з цим дедалі ширше використовуються експертні методи, під якими розуміють комплекс логічних та математико-статистичних методів та процедур, спрямованих на отримання від фахівців інформації, необхідної для підготовки та вибору раціональних рішень.

Експертні методи застосовують зараз у ситуаціях, коли вибір, обґрунтування та оцінка наслідків рішень не можуть бути виконані на основі точних розрахунків. Такі ситуації нерідко виникають при розробці сучасних проблем управління суспільним виробництвом та, особливо, при прогнозуванні та довгостроковому плануванні. В останні роки експертні оцінки знаходять широке застосування у соціально-політичному та науково-технічному прогнозуванні, у плануванні народного господарства, галузей, об'єднань, у розробці великих науково-технічних, економічних та соціальних програм, у вирішенні окремих проблем управління.

У результаті розвитку громадського виробництва зростають як складність управління, а й вимоги до якості прийнятих рішень. Для того, щоб підвищити обґрунтованість рішень та врахувати численні фактори, що впливають на їх результати, необхідний різнобічний аналіз, заснований як на розрахунках, так і на аргументованих судженнях керівників та фахівців, знайомих зі станом справ та перспективами розвитку у різних галузях практичної діяльності. Застосування експертних методів забезпечує активну та цілеспрямовану участь фахівців на всіх етапах прийняття рішень, що дозволяє суттєво підвищити їхню якість та ефективність.

Метою нашої роботи є вивчення методу експертних оцінок – одного з найважливіших етапів прийняття грамотних управлінських рішень.

1) вивчення ролі експертизи в управлінні;

2) розгляд порядку організації експертного оцінювання;

3) вивчення видів шкал та порядку їх використання;

4) докладний розгляд заключного етапу експертного оцінювання – опрацювання експертних оцінок.

Реферат складається із вступу, трьох розділів, висновків та списку використаної літератури.

У першому розділі розглядається питання необхідності експертизи під управлінням, розглянуто метод експертних оцінок, етапи організації експертного оцінювання.

Друга глава присвячена розгляду шкал порівнянь, дані характеристики кожному виду шкал і порядок їх використання при формалізації інформації.

У третій главі розглядається обробка експертних оцінок: завдання обробки, групова оцінка об'єктів, оцінка узгодженості думок експертів, обробка парних порівнянь об'єктів та визначення взаємозв'язку ранжувань.

Оскільки метою даної є розгляд експертного оцінювання в теоретичному аспекті, то практичне застосування не розглядається.

У висновку розглядається роль методу експертних оцінок у прийнятті управлінських рішень.

Глава 1. ЕКСПЕРТИЗА В УПРАВЛІННІ

1.1. Роль експертів в управлінні

Сучасне суспільство розвивається під впливом науково-технічної революції, що постійно посилюється, яка викликає докорінні перетворення у виробництві, глибокі зміни в структурі та економіці народного господарства. Те, що відбувається науково-технічна революція за своїм впливом далеко виходить за межі сфери матеріального виробництва, захоплюючи всі сторони життєдіяльності суспільства, зумовлюючи більшість рішень, спрямованих на його раціональний економічний та соціальний розвиток.

Історія розвитку науки, техніки та виробництва показує, що одночасно із послідовним заміщенням функцій людини функціями машин збільшується його роль у сфері управління. Безперервне зростання обсягу витрат за розвиток науки, створення нової техніки і вдосконалення виробництва значно підвищує значимість рішень, прийнятих всіх рівнях управління народним господарством. Майбутнє науки. Техніки та економіки значною мірою залежить від якості та своєчасності цих рішень, а об'єктивні тенденції науково-технічного прогресу можуть прискорюватися або сповільнюватись під їх впливом.

Особливого значення в управлінні зараз набувають методи оптимізації, засновані на застосуванні формальних, найчастіше математичних моделей, що забезпечують економію часу та засобів при вирішенні багатьох практичних завдань. Побудова моделей допомагає привести складні та часом невизначені фактори, пов'язані з проблемою прийняття рішень, у логічно струнку схему, визначити, які дані необхідні для оцінки та вибору альтернатив.

У процесі управління виникає природне прагнення пошуку рішення, яке об'єктивно є найкращим з усіх можливих. Як інструмент оптимізації зараз широко використовується математичне програмування. Успіхи у застосуванні математичного програмування до вирішення різноманітних господарських, наукових, технічних і військових завдань породили методологічні погляди, згідно з якими кардинальне вирішення проблем управління можливе лише тоді, коли всі його аспекти відображаються в системі взаємопов'язаних математичних моделей.

Проте, формалізація техніко-економічних та управлінських рішень ускладнюється низкою особливостей сучасного етапу науково-технічного прогресу. Життя суспільства настільки складне, що важко розраховувати на появу моделей, які б повністю відображали природу та кількісні взаємозв'язки соціально-економічних процесів. Реальна дійсність завжди складніша за найтонші математичні моделі, а її розвиток часто випереджає формальне пізнання. Завдання управління вимагають як невід'ємний елемент вирішення участі людей. І, нарешті, сам процес управління завжди передбачає орієнтацію як на числові дані, а й у нормальний здоровий глузд. Використання математичного програмування та обчислювальної техніки дозволяє приймати рішення, що базуються на більш повній та надійній інформації. Але, поза сумнівом і те, що за будь-яких умов вибору раціонального рішення потрібно щось більше, ніж хороша математична модель.

Приймаючи рішення, ми зазвичай припускаємо, що інформація, яка використовується для їх обґрунтування, є достовірною та надійною. Але для багатьох економічних і науково-технічних завдань, які є за своїм характером якісно новими і неповторними, це припущення або не реалізується, або в момент прийняття рішення його не вдається довести.

Наявність інформації та правильність її використання значною мірою визначають оптимальність обраного рішення. Крім даних, що складаються з числових статистичних величин, інформація включає інші, що не піддаються безпосередньому виміру величини, наприклад, припущення про можливі рішення і їх результати. Практика показує, що основні труднощі, що виникають при пошуку та виборі ділових рішень, обумовлені насамперед недостатньо високою якістю та неповнотою наявної інформації.

Основні проблеми, пов'язані з інформацією, що виникають при виробленні складних рішень, можна поділити на такі групи.

По-перше, вихідна статистична інформація найчастіше буває недостатньо достовірною.

По-друге, деяка частина інформації має якісний характері і не піддається кількісній оцінці. Так, не можна точно розрахувати ступінь впливу соціальних та політичних факторів на реалізацію планів, оцінити економічний ефект майбутніх винаходів тощо. Але, оскільки ці чинники та явища істотно впливають на результати рішень, їх не можна не враховувати.

По-третє, у процесі підготовки рішень часто виникають ситуації, коли в принципі необхідну інформацію отримати можна, однак у момент ухвалення рішення вона відсутня, оскільки це пов'язано з великими витратами часу чи коштів.

По-четверте, існує велика група факторів, які можуть вплинути на реалізацію рішення у майбутньому, але їх не можна точно передбачити.

По-п'яте, одна з найбільш істотних труднощів при виборі рішень полягає в тому, що будь-яка наукова або технічна ідея містить потенційну можливість різних схем її реалізації, а будь-яка економічна дія може призводити до численних результатів. Проблема вибору найкращого варіанта рішення може виникнути і тому, що зазвичай існують обмеження в ресурсах, а отже, прийняття одного варіанта завжди пов'язане з відмовою від інших рішень.

По-шосте, при виборі найкращого рішення ми нерідко стикаємося з багатозначністю узагальненого критерію, на основі якого можна порівняти можливі результати. Багатозначність, багатовимірність та якісна відмінність показників є серйозною перешкодою для отримання узагальненої оцінки відносної ефективності, важливості, цінності чи корисності кожного з можливих рішень.

У зв'язку з цим одна з головних особливостей вирішення складних проблем полягає в тому, що застосування розрахунків завжди переплітається з використанням суджень керівників, учених, фахівців. Ці міркування дозволяють хоча б частково компенсувати нестачу інформації, повніше використовувати індивідуальний та колективний досвід, врахувати припущення фахівців про майбутні стани об'єктів. Закономірність розвитку науки і техніки полягає в тому, що нові знання, науково-технічна інформація накопичуються протягом тривалого часу. Нерідко це накопичення йде у прихованій формі у свідомості вчених та розробників. Вони, як ніхто інший, здатні оцінити перспективи тієї галузі, де працюють, і передбачати характеристики тих систем, у створенні яких безпосередньо беруть участь.

Досвід показує, що використання несистематизованих суджень окремих фахівців виявляється при вирішенні багатьох складних наукових та технічних проблем недостатньо ефективним внаслідок різноманітності взаємозв'язків між основними елементами таких проблем та неможливості охоплення їх усіх. З використанням традиційних процедур підготовки рішень нерідко не вдається розглянути широкий діапазон факторів, врахувати весь спектр альтернативних шляхів вирішення проблем.

Все це змушує вдаватися до комплектування груп фахівців, які представляють як експерти різні галузі знань. Застосування групової експертизи дозволяє як розглянути безліч аспектів і чинників, а й об'єднати різні підходи, з допомогою яких керівник знаходить найкраще рішення.

1.2. Метод експертних оцінок

Сутність методу експертних оцінок полягає у проведенні експертами інтуїтивно-логічного аналізу проблеми з кількісною оцінкою суджень та формальною обробкою результатів. Узагальнена думка експертів, що отримується в результаті обробки, сприймається як вирішення проблеми. Комплексне використання інтуїції (неусвідомленого мислення), логічного мислення та кількісних оцінок з їхньою формальною обробкою дозволяє отримати ефективне вирішення проблеми.

При виконанні своєї ролі в процесі управління експерти виконують дві основні функції: формують об'єкти (альтернативні ситуації, цілі, рішення тощо) і вимірюють їх характеристики (ймовірності здійснення подій, коефіцієнти значущості цілей, переваги рішень тощо) . Формування об'єктів здійснюється експертами на основі логічного мислення та інтуїції. При цьому велику роль відіграють знання та досвід експерта. Вимірювання характеристик об'єктів вимагає від експертів знання теорії вимірів.

Характерними особливостями методу експертних оцінок як наукового інструменту вирішення складних неформалізованих проблем є, по-перше, науково обґрунтована організація проведення всіх етапів експертизи, що забезпечує найбільшу ефективність роботи на кожному з етапів, і, по-друге, застосування кількісних методів як при організації експертизи, так і та в оцінці суджень експертів та формальної групової обробки результатів. Ці дві особливості відрізняють метод експертних оцінок від звичайної давно відомої експертизи, яка широко застосовується в різних сферах людської діяльності.

Експертні колективні оцінки широко використовувалися у державному масштабі на вирішення складних проблем управління народним господарством вже у роки Радянської влади. У 1918 року за Вищої раді народного господарства було створено Раду експертів, завданням якого було вирішення найскладніших проблем реорганізації народного господарства країни. При складанні п'ятирічних планів розвитку народного господарства країни систематично використовувалися експертні оцінки широкого загалу фахівців.

Нині нашій країні і там метод експертних оцінок широко застосовується на вирішення важливих проблем різного характеру. У різних галузях, об'єднаннях та на підприємствах діють постійні або тимчасові експертні комісії, які формують рішення щодо різних складних неформалізованих проблем.

Усі безліч погано формалізованих проблем умовно можна поділити на два класи. До першого класу належать проблеми, щодо яких є достатній інформаційний потенціал, що дозволяє успішно вирішувати ці проблеми. Основні труднощі у вирішенні проблем першого класу під час експертної оцінки полягають у реалізації існуючого інформаційного потенціалу шляхом підбору експертів, побудови раціональних процедур опитування та застосування оптимальних методів обробки його результатів. При цьому методи опитування та обробки ґрунтуються на використанні принципу «хорошого» вимірника. Цей принцип означає, що виконуються такі гіпотези:

1) експерт є сховищем великого обсягу раціонально опрацьованої інформації, і тому він може розглядатися як якісне джерело інформації;

2) групова думка експертів близька до справжнього вирішення проблеми.

Якщо ці гіпотези вірні, то для побудови процедур опитування та алгоритмів обробки можна використовувати результати теорії вимірів та математичної статистики.

До другого класу належать проблеми, щодо яких інформаційний потенціал знань недостатній для впевненості у справедливості зазначених гіпотез. При вирішенні проблем із цього класу експертів вже не можна розглядати як «хороших вимірників». Тому необхідно дуже обережно проводити опрацювання результатів експертизи. Застосування методів опосередкування, справедливих для «хороших вимірників», у разі може призвести до великих помилок. Наприклад, думка одного експерта, яка сильно відрізняється від думок інших експертів, може виявитися правильною. У зв'язку з цим для проблем другого класу переважно має застосовуватися якісна обробка.

Область застосування методу експертних оцінок дуже широка. Перерахуємо типові завдання, які вирішуються методом експертних оцінок:

1) складання переліку можливих подій у різних галузях за певний проміжок часу;

2) визначення найімовірніших інтервалів часу здійснення сукупності подій;

3) визначення цілей та завдань управління з упорядкуванням їх за ступенем важливості;

4) визначення альтернативних (варіантів розв'язання задачі з оцінкою їхньої переваги;

5) альтернативний розподіл ресурсів для вирішення завдань з оцінкою їхньої переваги;

6) альтернативні варіанти прийняття рішень у певній ситуації з оцінкою їхньої переваги.

Аби вирішити перелічених типових завдань нині застосовуються різні різновиду методу експертних оцінок. До основних видів належать: анкетування та інтерв'ювання; мозковий штурм; дискусія; нарада; оперативна гра; сценарію.

Кожен з цих видів експертного оцінювання має свої переваги і недоліки, що визначають раціональну сферу застосування. У багатьох випадках найбільший ефект дає комплексне застосування кількох видів експертизи.

Анкетування та сценарій припускають індивідуальну роботу експерта. Інтерв'ювання може здійснюватися як індивідуально, і з групою експертів. Інші види експертизи припускають колективну участь експертів у роботі. Незалежно від індивідуальної чи групової участі експертів у роботі доцільно отримувати інформацію від багатьох експертів. Це дозволяє отримати на основі обробки даних більш достовірні результати, а також нову інформацію про залежність явищ, подій, фактів, суджень експертів, яка не міститься у явному вигляді у висловлюваннях експертів.

При використанні методу експертних оцінок виникають проблеми. Основними є: підбір експертів, проведення опитування експертів, обробка результатів опитування, організація процедур експертизи.

1.3. Організація експертного оцінювання

Першим етапом організації робіт із застосування експертного оцінювання є підготовка та видання керівного документа, в якому формулюється мета роботи та основні положення щодо її виконання. У цьому документі мають бути відображені такі питання: постановка задачі-експерименту; цілі експерименту; обґрунтування необхідності експерименту; строки виконання робіт; завдання та склад групи управління; обов'язки та права групи; фінансове та матеріальне забезпечення робіт.

Для підготовки цього документа, а також керівництва всією роботою призначається керівник експертизи. На нього покладається формування групи управління та відповідальність за організацію її роботи.

Після формування група управління здійснює роботу з підбору експертної групи приблизно в такій послідовності: з'ясування проблеми, що вирішується; визначення кола областей діяльності, пов'язаних із проблемою; визначення пайового складу експертів з кожної галузі діяльності; визначення кількості експертів у групі; складання попереднього списку експертів з урахуванням їхнього місцезнаходження; аналіз якостей експертів та уточнення списку експертів у групі; отримання згоди експертів щодо участі у роботі; складання остаточного переліку експертної групи.

Паралельно із процесом формування групи експертів група управління проводить розробку організації та методики проведення опитування експертів. При цьому вирішуються такі питання: місце та час проведення опитування; кількість та завдання турів опитування; форма проведення опитування; порядок фіксації та збору результатів опитування; склад документів.

Наступним етапом роботи групи управління є визначення організації та методики обробки даних опитування. На даному етапі необхідно визначити завдання та терміни обробки, процедури та алгоритми обробки, сили та засоби для проведення обробки.

У процесі безпосереднього проведення опитування експертів та обробки його результатів група управління здійснює виконання комплексу робіт відповідно до розробленого плану, коригуючи його в міру необхідності за змістом, строками та забезпеченням ресурсами.

Останнім етапом робіт групи управління є оформлення результатів роботи. На цьому етапі проводиться аналіз результатів експертного оцінювання; складання звіту; обговорення та схвалення результатів; подання підсумків роботи на затвердження; ознайомлення з результатами експертизи організацій та осіб.

1.4. Підбір експертів

Задля реалізації процедури експертного оцінювання необхідно сформувати групу експертів. Загальною вимогою для формування групи експертів є ефективне вирішення проблеми експертизи. Ефективність вирішення проблеми визначається характеристиками достовірності експертизи та витрат на неї.

Достовірність експертного оцінювання може бути визначена лише на основі практичного вирішення проблеми та аналізу її результатів. Використання експертів якраз і зумовлене тим, що немає будь-яких інших способів отримання інформації. Тому оцінка достовірності експертизи може здійснюватися, як правило, лише за апостеріорними (після досвідченими) даними. Якщо експертиза проводиться систематично з приблизно одним і тим самим складом експертів, то з'являється можливість накопичення статистичних даних щодо достовірності роботи групи експертів та отримання сталої числової оцінки достовірності. Цю оцінку можна використовувати як апріорні дані про достовірність групи експертів для подальших експертиз.

Достовірність групового експертного оцінювання залежить від загальної кількості експертів у групі, пайового складу різних фахівців у групі, від характеристик експертів.

Визначення характеру залежності достовірності перелічених чинників є ще однією проблемою процедури підбору експертів.

Складною проблемою процедури підбору є формування системи характеристик експерта, які суттєво впливають на хід та результати експертизи. Ці характеристики повинні описувати специфічні властивості фахівця та можливі відносини між людьми, що впливають на експертизу. p align="justify"> Важливою вимогою до характеристик експерта є вимірність цих характеристик.

Ще однією проблемою є організація процедури підбору експертів, тобто. визначення чіткої послідовності робіт, що виконуються у процесі добору експертів та необхідних ресурсів для їх реалізації.

Максимальна кількість експертів у групі перевіряється на обмеження фінансових ресурсів. Визначивши залежність між достовірністю, кількістю експертів та витратами на оплату, група управління надає керівництву цю інформацію та формулює можливі альтернативи рішень. Такими альтернативами можуть бути зниження достовірності результатів експертного оцінювання до рівня, що забезпечує виконання обмеження щодо витрат на оплату експертів, або збереження вихідної вимоги на достовірність експертизи та збільшення витрат на оплату експертів.

Наступним етапом роботи з підбору експертів є складання попереднього списку експертів. Під час упорядкування цього списку проводиться аналіз якостей експертів. Крім обліку якостей експертів, визначаються їхнє місцезнаходження та можливості участі обраних фахівців в експертизі. При оцінці якостей враховується думка людей, які добре знають кандидатів в експерти.

Після складання списку експертів їм надсилаються листи із запрошенням брати участь в експертизі. У листах пояснюється мета проведення експертизи, її строки, порядок проведення, обсяг роботи та умови винагороди. До листів додаються анкети даних експерта та самооцінки компетентності. Отримавши відповіді експертів група управління складає остаточний список групи експертів.

Після складання та затвердження списку експертам надсилається повідомлення про включення їх до складу експертної групи. Якщо експертне оцінювання проводиться методом анкетування, то одночасно з повідомленням про включення до експертної групи всім експертам надсилається анкета з необхідними інструкціями для їх заповнення. Повідомленням експертам про включення їх векспертизу закінчується робота з підбору експертів.

1.5. Опитування експертів

Опитування – головний етап спільної роботи групи управління та експертів. Основним змістом опитування є:

Постановка завдання та подання питань експертам;

Інформаційне забезпечення роботи експертів;

Вироблення експертами суджень, оцінок, пропозицій;

Збір результатів роботи експертів.

Можна назвати три типи завдань, які вирішуються у процесі опитування:

Оцінка якісна чи кількісна заданих об'єктів;

Побудова нових об'єктів;

Побудова та оцінка нових об'єктів.

При колективній експертизі використовуються такі основні види опитування: дискусія, анкетування та інтерв'ювання, метод колективної генерації ідей або мозковий штурм.

Анкетування може проводитись із зворотним зв'язком або без нього. При анкетуванні із зворотним зв'язком опитування експертів проводиться у кілька етапів з доведенням до експертів деяких результатів опитування попередньому етапі, включаючи оцінки окремих експертів та його аргументацию.

Головним в організації опитування є забезпечення максимуму інформації та максимуму творчої активності, самостійності експерта. Необхідно прагнути довести до кожного експерта по можливості всю інформацію, що відноситься до аналізованого явища, яку мають як експерти, так і організатори опитування, не позбавляючи в той же час експерта творчої самостійності та активності.

Проте можливості експерта з переробки інформації обмежені. У результаті експерт може ухвалити рішення, не використовуючи всієї інформації, що є у його розпорядженні. Крім того, нова інформація сприймається людиною з певним внутрішнім опором і не відразу впливає на суб'єктивні оцінки, що вже склалися. Ставлення до нової інформації доброзичливіше, а сприйняття та використання її повніше, якщо вона представляється у зрозумілій, яскравій та компактній формі.

З цих психологічних особливостей випливає необхідність надання експертам можливостей для фіксації інформації, що надходить шляхом ведення записів, використання технічних засобів, а також необхідність попередньої обробки інформації та подання її експертам у найбільш сприйманій формі.

Необхідно наголосити на суперечливості значення обміну експертами інформацією, оскільки отримання такої інформації таїть небезпеку втрати творчої незалежності у побудові моделі об'єкта експертом. Вирішення цієї суперечності повною мірою неможливе, і при кожній експертизі її організатори повинні знаходити розумний компроміс, перш за все, шляхом вибору виду опитування, форми та ступеня спілкування експертів.

Кожен із видів опитування має свої переваги та недоліки у побудові обміну інформацією між експертами та в організації їхньої незалежної творчості. Вибір того чи іншого виду опитування визначається багатьма факторами, з яких основними є:

Мета та завдання експертизи;

Істота та складність аналізованої проблеми;

Повнота та достовірність вихідної інформації;

Необхідні обсяг та достовірність інформації, що отримується в результаті опитування;

Час, відведений на опитування та експертизу загалом;

Допустима вартість опитування та експертизи в цілому;

Кількість експертів та членів групи управління, їх характеристики.

Анкетування є найефективнішим і найпоширенішим видом опитування, бо дозволяє якнайкраще поєднувати інформаційне забезпечення експертів зі своїми самостійним творчістю.

Глава 2. ФОРМАЛІЗАЦІЯ ІНФОРМАЦІЇ І ШКАЛИ ПОРІВНЯНЬ

Раціональне використання інформації, отриманої від експертів, можливе за умови утворення її у форму, зручну для подальшого аналізу, спрямованого на підготовку та прийняття рішень.

Можливості формалізації інформації залежить від специфічних особливостей досліджуваного об'єкта, надійності та повноти наявних даних, рівня прийняття рішення. Форма подання експертних даних залежить і від прийнятого критерію, на вибір якого, у свою чергу, істотно впливає специфіка досліджуваної проблеми.

Формалізація інформації, отриманої від експертів, має бути спрямована на підготовку вирішення таких техніко-економічних та господарських завдань, які не можуть бути повною мірою описані математично, оскільки є «слабоструктуризованими», тобто. містять невизначеності, пов'язані не лише з виміром, а й самим характером досліджуваних цілей, засобів їх досягнення та зовнішніх умов.

При аналізі перспектив необхідно як подати у вигляді непрямих оцінок частина інформації, не піддається кількісному виміру, і як висловити з допомогою таких оцінок кількісно вимірну інформацію, яку у момент підготовки рішення немає достатньо надійних даних. Найважливіше – формалізувати цю інформацію так, щоб допомогти приймаючому рішення вибрати з безлічі дій одну або кілька, найбільш сприятливі щодо деякого критерію.

Якщо експерт може порівняти і оцінити можливі варіанти дій, приписавши кожному їх певне число, отже, він має певної системою переваг. Залежно від того, за якою шкалою можуть бути ці переваги, експертні оцінки містять більший або менший обсяг інформації і мають різну здатність до формалізації.

Досліджувані об'єкти чи явища можна розпізнавати чи розрізняти з урахуванням ознак чи чинників. Фактор - це безліч, що складається, принаймні, з двох елементів, що відображають різні рівні деяких величин, що підлягають розгляду. Рівень одних факторів може бути виражений кількісно (у рублях, відсотках, кілограмах і т.д.) такі чинники називаються кількісними. Рівень інших не можна висловити з допомогою числа, їх називають якісними.

Фактори умовно поділяють на дискретні та безперервні. Дискретними є чинники із певним, зазвичай невеликим, числом рівнів. Фактори, рівні яких розглядаються як такі, що утворюють безперервну множину, називають безперервними. Залежно від цілей і можливостей аналізу одні й самі чинники можуть трактуватися або як дискретні, або як безперервні.

Розглянемо основні логічні аксіоми, що використовуються в експерних методах під час формалізації інформації за допомогою різних шкал.

При використанні номінальних шкалдосліджувані об'єкти можна розпізнавати та розрізняти на основі трьох аксіом ідентифікації:

1) iабо є j, або є не j ;

2) якщо iє j, то jє i ;

3) якщо iє jі jє k, то iє k .

Фактори в даному випадку виступають як асоціативні показники, які мають інформацію, яка може бути формалізована у вигляді бінарних оцінок двох рівнів: 1 (ідентичний) або 0 (різний).

У випадках, коли досліджувані об'єкти можна в результаті порівняння розташувати у певній послідовності з урахуванням будь-якого суттєвого фактора (факторів), використовуються порядкові шкали, що дозволяють встановлювати рівноцінність чи домінування.

Припустимо, що необхідно розташувати у певній послідовності nоб'єктів за будь-яким фактором (критерієм). Представимо це впорядкування у вигляді матриці де i, j = 1,2,…, n .

Величини встановлюють співвідношення між об'єктами і можуть бути визначені таким чином:

Встановимо основні аксіоми, необхідних дотримання умов упорядкування. Співвідношення означає, що iкраще j, має бути асиметричним, тобто, якщо то й транзитивним, тобто, якщо то

Співвідношення означає, що iі jрівноцінні, називається співвідношенням еквівалентності. Таке співвідношення має бути

рефлексивним, тобто.

симетричним, тобто, якщо то

транзитивним, тобто, якщо й то

Крім того, ці два співвідношення повинні бути сумісні, тобто, якщо і то, а якщо і то

І, нарешті, впорядкування має бути зв'язковим, тобто. для будь-яких i і j або або або

Використання порядкових шкал дозволяє розрізняти об'єкти й у випадках, коли чинник (критерій) не заданий у вигляді, тобто. коли ми не знаємо ознак порівняння, але можемо частково або повністю впорядкувати об'єкти на основі системи переваг, якою володіє експерт.

Будь-яка безліч Aбудемо називати впорядкованим, якщо для будь-яких двох його елементів Xі Yвстановлено, що, або Xпередує Y, або Yпередує X. Іноді не вдається встановити суворе попередження для всіх елементів множини, але можна зробити «групове» впорядкування, коли впорядковуються підмножини рівноцінних елементів. Далі можна поставити завдання порівняння та впорядкування цих підмножин.

Використання порядкових шкал дозволяє проводити перетворення отриманих від експертів оцінок, що відповідають всім функціям, що монотонно зростають. Так, наприклад, позитивні оцінки можуть бути замінені їх квадратами, або логарифмами, або будь-який інший монотонно зростаючою функцією.

Для формалізації оцінок, отриманих від експертів, часто використовують інтервальні шкали. При використанні таких шкал цих цілей можна вживати майже всі звичайні статистичні заходи. Винятком є ​​ті заходи, які передбачають знання «істинно» нульової точки шкали, яка запроваджується тут умовно.

Інтервальні шкали припускають можливість трансформації оцінок, отриманих на одній шкалі, оцінки на іншій шкалі за допомогою рівняння

Різниця між значеннями на шкалі інтервалів стають заходами на шкалі відносин, тобто. на звичайній числовій шкалі, т.к. в результаті віднімання можна позбутися постійного доданку b .

У ряді випадків при формалізації експертних оцінок використовується властивість адитивності, яка властива лише шкалі відносин. Наявність адитивності виражається такими аксіомами:

1) якщо j = aі i> 0, то i + j > a ;

2) i + j = j + i ;

3) якщо i = aі j = b, то i + j = a + b ;

4) (i + j) + k = i + (j + k).

Звичайна ситуація, коли необхідно ухвалити рішення з урахуванням адитивності, полягає в тому, що є кілька (принаймні два) якісних факторів. За наявності кількох факторів, що характеризують конкретні об'єкти, існує безліч реальних властивостей та типів зв'язків об'єктів.

Так, наприклад, фактори (показники), що характеризують ефективність створення та впровадження нової техніки, за їх об'єктивним змістом можна поділити на технічні, економічні та соціальні. З іншого боку, ці фактори можна згрупувати відповідно до їхньої ролі у процесі створення та впровадження нової техніки, виділивши, наприклад, показники, що характеризують витрати, якість, економічну ефективність і т.д.

Залежно від характеру та мети досліджуваної проблеми фактори, за якими розрізняються об'єкти, можуть бути кількісно порівняні або незрівнянні між собою, частково порівняні (тобто не будь-який з будь-яким, а лише деякі з них), упорядковані за ступенем їх важливості тощо .д. Несумірність різних чинників обумовлена ​​як необхідністю застосування різних одиниць виміру, а й тим, кожен фактор, висловлюючи певне властивість, одночасно є оцінкою ставлення до даної властивості з боку приймаючого рішення.

У практиці управління у всіх його рівнях часто виникають ситуації, коли необхідно ухвалити рішення з урахуванням багатьох факторів. Питання, які саме чинники слід вважати найважливішими, залежить від якісних особливостей об'єкта рішення та цілей, яким має відповідати це рішення.

Наприклад, під час розгляду кількох варіантів плану чи варіантів організаційно-технічних заходів слід брати до уваги чинники часу, витрат, технічних і соціальних результатів, економічної ефективності тощо. Зазвичай все розмаїття факторів намагаються призвести до однозначної комплексної оцінки, причому найбільш зручною та поширеною такою оцінкою є грошова.

Однак, оскільки наслідки будь-якого рішення, особливо рішень, пов'язаних із науково-технічним прогресом, виходять за рамки вартісних показників, необхідні вимірювачі, що характеризують значущість, корисність того чи іншого фактора (або їхнього комплексу). Такі комплексні вимірювачі широко застосовуються в оцінці якості продукції, техніко-економічного рівня виробництва, в оцінці результатів діяльності наукових організацій та інших задач. Хоча питання про створення досить обґрунтованої формалізованої системи таких вимірювачів ще далеке від остаточного вирішення, можна зазначити деякі спільні риси, що забезпечують підхід до формалізації цього процесу та використання того чи іншого логіко-математичного апарату.

Що стосується, коли всі чинники задаються за номінальною шкалою, тобто. задаються за цією шкалою деяка ознака і вихідне безліч елементів M, мета полягає у виборі підмножини елементів M(a), що володіють цією ознакою. У таких випадках проводиться порівняння елементів, точніше їх властивостей, з ознакою – еталоном, а результат – розбиття множини – можна розглядати як упорядкування за двоелементною шкалою, за якою кожному з елементів надається бал, рівний або нулю, або одиниці.

У разі коли фактори задані за порядковою шкалою або за декількома порядковими шкалами, мета полягає в упорядкуванні елементів вихідної множини, у виявленні за допомогою експертів прихованої впорядкованості, яка, за припущенням, властива цій множині. Необхідною умовою вирішення цього завдання є припущення транзитивності. Чим повніше упорядковані елементи, тим легше застосувати логіко-математичні та комбінаторні методи для вирішення таких завдань.

Залежно від істоти чи важливості тієї чи іншої чинника на етапі підготовки та прийняття рішень можуть бути використані різні шкали. Такі фактори, як витрати, прибуток, час, можуть бути оцінені за порядковою або інтервальною шкалою (у рублях, днях чи умовних одиницях). Для оцінки таких чинників, як термін окупності або порівняльна ефективність варіантів, може бути використана інтервальна шкала; якісні чи соціальні чинники можуть оцінюватися за порядковими чи номінальними шкалами.

Глава 3. ОБРОБКА ЕКСПЕРТНИХ ОЦІНОК

3.1. Завдання обробки

Після проведення опитування групи експертів здійснюється опрацювання результатів. Вихідною інформацією для обробки є числові дані, що виражають переваги експертів, та змістовне обґрунтування цих переваг. Метою обробки є отримання узагальнених даних та нової інформації, що міститься у прихованій формі в експертних оцінках. На основі результатів обробки формується вирішення проблеми.

Наявність як числових даних, і змістовних висловлювань експертів призводить до необхідності застосування якісних і кількісних методів обробки результатів групового експертного оцінювання. Питома вага цих методів залежить від класу проблем, вирішуваних експертним оцінюванням.

Усі безліч проблем можна розділити на два класи. До першого класу ставляться проблеми, на вирішення яких є достатній рівень знань і досвіду, т. е. є необхідний інформаційний потенціал. При вирішенні проблем, що належать до цього класу, експерти розглядаються як хороші в середньому вимірювачі. Під терміном «хороші в середньому» розуміється можливість отримання результатів виміру, близьких до істинних. Для багатьох експертів їх судження групуються поблизу справжнього значення. Звідси випливає, що з обробки результатів групового експертного оцінювання проблем першого класу можна успішно застосовувати методи математичної статистики, засновані на середовищі даних.

До другого класу ставляться проблеми, на вирішення яких ще накопичено достатній інформаційний потенціал. У зв'язку з цим судження експертів можуть дуже відрізнятися один від одного. Більше того, судження одного експерта, яке сильно відрізняється від інших думок, може виявитися істинним. Очевидно, що застосування методів опосередкування результатів групової експертної оцінки під час вирішення проблем другого класу може призвести до великих помилок. Тому обробка результатів опитування експертів у разі має базуватися на методах, які використовують принципи опосередкування, але в методах якісного аналізу.

Враховуючи, що проблеми першого класу є найпоширенішими у практиці експертного оцінювання, основна увага в цьому розділі приділяється методам обробки результатів експертизи для цього класу проблем.

Залежно від цілей експертного оцінювання та обраного методу вимірювання під час обробки результатів опитування виникають такі основні завдання:

1) побудова узагальненої оцінки об'єктів з урахуванням індивідуальних оцінок експертів;

2) побудова узагальненої оцінки з урахуванням парного порівняння об'єктів кожним експертом;

3) визначення відносних ваг об'єктів;

4) визначення узгодженості думок експертів;

5) визначення залежностей між ранжуваннями;

6) оцінка надійності результатів обробки.

Завдання побудови узагальненої оцінки об'єктів за індивідуальними оцінками експертів виникає за групового експертного оцінювання. Розв'язання цього завдання залежить від використаного експертами методу виміру.

При вирішенні багатьох завдань недостатньо здійснити впорядкування об'єктів за одним показником чи деякою сукупністю показників. Бажано мати чисельні значення кожного об'єкта, визначальні відносну його важливість проти іншими об'єктами. Іншими словами, для багатьох завдань необхідно мати оцінки об'єктів, які не тільки здійснюють їх упорядкування, а й дозволяють визначати ступінь переваги одного об'єкта перед іншим. Для вирішення цього завдання можна безпосередньо застосувати метод безпосередньої оцінки. Однак це завдання за певних умов можна вирішити шляхом обробки оцінок експертів.

Визначення узгодженості думок експертів здійснюється шляхом обчислення числового заходу, що характеризує міру близькості індивідуальних думок. Аналіз значення міри узгодженості сприяє виробленню правильного судження про загальний рівень знань з розв'язуваної проблеми та виявлення угруповань думок експертів. Якісний аналіз причин угруповання думок дозволяє встановити існування різних поглядів, концепцій, виявити наукові школи, визначити характер професійної діяльності тощо. Усі ці фактори дають можливість глибше осмислити результати опитування експертів.

Обробкою результатів експертного оцінювання можна визначати залежності між ранжуваннями різних експертів і тим самим встановлювати єдність та відмінність у думках експертів. Важливу роль також відіграє встановлення залежності між ранжуваннями, побудованими за різними показниками порівняння об'єктів. Виявлення таких залежностей дозволяє розкрити пов'язані показники порівняння і, можливо, здійснити їх угруповання за рівнем зв'язку. Важливість завдання визначення залежностей практики очевидна. Наприклад, якщо показниками порівняння є різні цілі, а об'єктами - засоби досягнення цілей, то встановлення взаємозв'язку між ранжуваннями, що впорядковують засоби з точки зору досягнення цілей, дозволяє обґрунтовано відповісти на питання, якою мірою досягнення однієї мети при цих засобах сприяє досягненню інших цілей.

Оцінки, одержувані на основі обробки, є випадковими об'єктами, тому одним з важливих завдань процедури обробки є визначення їх надійності. Вирішенню цього завдання має приділятися відповідна увага.

Обробка результатів експертизи є трудомістким процесом. Виконання операцій обчислення оцінок та показників їхньої надійності вручну пов'язане з великими трудовими витратами навіть у разі вирішення простих завдань упорядкування. У зв'язку з цим доцільно використовувати обчислювальну техніку та особливо ЕОМ. Застосування ЕОМ висуває проблему розробки машинних програм, які реалізують алгоритми обробки результатів експертного оцінювання.

3.2. Групова оцінка об'єктів

У цьому параграфі розглянемо алгоритми обробки результатів експертного оцінювання безлічі об'єктів. Нехай mекспертів зробили оцінку nоб'єктів по lпоказниками. Результати оцінки представлені у вигляді величин, де j– номер експерта, i- Номер об'єкта, h- Номер показника (ознака) порівняння. Якщо оцінка об'єктів проведена методом ранжирування, то величини є рангами. Якщо оцінка об'єктів виконана методом безпосередньої оцінки або методом послідовного порівняння, то величини є числами з деякого відрізка числової осі, або бали. Обробка результатів оцінки залежить від розглянутих методів виміру.

Розглянемо випадок, коли величини отримані методами безпосередньої оцінки чи послідовного порівняння, т. е. є числами, чи балами. Для отримання групової оцінки об'єктів у цьому випадку можна (скористатися середнім значенням оцінки для кожного об'єкта

(5.1)

де - Коефіцієнти ваг показників порівняння об'єктів, - Коефіцієнти компетентності експертів. Коефіцієнти ваг показників та компетентності об'єктів є нормованими величинами

(5.2)

Коефіцієнти ваги показників можуть бути визначені експертним шляхом. Якщо – коефіцієнт ваги h-го показника, що дається j-м експертом, то середній коефіцієнт ваги h-го показника за всіма експертами дорівнює

(5.3)

Отримання групової експертної оцінки шляхом підсумовування індивідуальних оцінок з вагами компетентності та важливості показників при вимірюванні властивостей об'єктів у кардинальних шкалах ґрунтується на припущенні про виконання аксіом теорії корисності фон Неймана-Моргенштерна як для індивідуальних, так і для групової оцінки та умов нерозрізненості об'єктів у груповому якщо вони невиразні у всіх індивідуальних оцінках (частковий принцип Парето). У реальних завданнях ці умови, як правило, виконуються, тому отримання групової оцінки об'єктів шляхом підсумовування з вагами індивідуальних оцінок експертів широко застосовується на практиці.

Коефіцієнти компетентності експертів можна обчислити за апостеріорними даними, тобто за результатами оцінки об'єктів. Основною ідеєю цього обчислення є припущення, що компетентність експертів повинна оцінюватися за ступенем узгодженості їх оцінок з груповою оцінкою об'єктів.

Алгоритм обчислення коефіцієнтів компетентності експертів має вигляд рекурентної процедури:

(5.4)

(5.5)

(5.6)

Обчислення починаються з t=1. У формулі (5.4) початкові значення коефіцієнтів компетентності приймаються однаковими і рівними.

(5.7)

(5.8)

і значення коефіцієнтів компетентності першого наближення за формулою (5.6):

(5.9)

Використовуючи коефіцієнти компетентності першого наближення, можна повторити весь процес обчислення за формулами (5.4), (5.5), (5.6) та отримати другі наближення величин

Повторення рекурентної процедури обчислень оцінок об'єктів та коефіцієнтів компетентності природно ставить питання про її збіжність. Для розгляду цього питання виключимо з рівнянь (5.4), (5.6) зміни представимо ці рівняння у векторній формі

де матриці Урозмірності та Зрозмірності рівні

Розмір у рівняннях (5.10) визначається за формулою (5.5).

Якщо матриці Уі Зневід'ємні і нерозкладні, те, як це випливає з теореми Перрона - Фробеніуса, привектори і - сходяться до власних векторів матриць Уі З, відповідним максимальним власним числам цих матриць

(5.12)

Граничні значення векторів хі kможна обчислити з рівнянь:

(5.13)

де максимальні власні числа матриць Уі З .

Умова невід'ємності матриць Уі Злегко виконується вибором невід'ємних елементів матриці Хоцінок об'єктів експертами.

Умова нерозкладності матриць Уі Зпрактично виконується, оскільки, якщо ці матриці розкладаються, це означає, що експерти та об'єкти розпадаються на незалежні групи. При цьому кожна група експертів оцінює лише об'єкти своєї групи. Природно, що отримувати групову оцінку у разі немає сенсу. Таким чином, умови невід'ємності та нерозкладності матриць Уі З, отже, і умови збіжності процедур (5.4), (5.5), (5.6) у практичних умовах виконуються.

Слід зауважити, що практичне обчислення векторів групової оцінки об'єктів та коефіцієнтів компетентності простіше виконувати за рекурентними формулами (5.4), (5.5), (5.6). Визначення граничних значень цих векторів за рівнянням (5.13) потребує застосування обчислювальної техніки.

Розглянемо тепер випадок, коли експерти проводять оцінку множини об'єктів методом ранжування так, що величини є ранги. Обробка результатів ранжирування полягає у побудові узагальненого ранжування. Для побудови такого ранжування введемо кінцевомірне дискретне простір ранжувань і метрику в цьому просторі. Кожне ранжування безлічі об'єктів j-м експертом є точка у просторі ранжувань.

Ранжування можна у вигляді матриці парних порівнянь, елементи якої визначимо так :

Очевидно, що оскільки кожен об'єкт еквівалентний самому собі. Елементи матриці антисиметричні.

Якщо все ранжируемые об'єкти еквівалентні, всі елементи матриці парних порівнянь дорівнюють нулю. Таку матрицю будемо позначати вважати, що точка в просторі ранжувань, відповідна матриці, є початком відліку.

Звернення порядку ранжируемых об'єктів призводить до транспонування матриці парних порівнянь.

Метрика як відстань між i-й та j-й ранжуванням визначається єдиним чином формулою

якщо виконані наступні 6 аксіом:

1. причому рівність досягається, якщо ранжування та тотожні;

2.

причому рівність досягається, якщо ранжування «лежить між» ранжуваннями та. Поняття «лежить між» означає, що судження про деякі пареоб'єкти в ранжируванні збігається з судженням про цю пару або в, або в або ж

4.

де виходить з деякою перестановкою об'єктів, а з тією самою перестановкою. Ця аксіома утверджує незалежність відстані від перенумерації об'єктів.

5. Якщо два ранжування однакові всюди, за винятком n-елементної множини елементів, що є одночасно сегментом обох ранжувань, то можна обчислити, як би розглядалося ранжування тільки цих n-Об'єктів. Сегментом ранжування називається безліч, доповнення якого не порожнє і всі елементи цього доповнення знаходяться попереду або позаду кожної елемента сегмента. Сенс цієї аксіоми полягає в тому, що якщо два ранжирування повністю узгоджуються на початку та в кінці сегмента, а відмінність полягає в упорядкуванні середніх n-об'єктів, то природно прийняти, що відстань між ранжуваннями повинна дорівнювати відстані, що відповідає ранжуванням середніх n-Об'єктів.

6. Мінімальна відстань дорівнює одиниці.

Простір ранжування при двох об'єктах можна зобразити у вигляді трьох точок, що лежать на одній прямій. Відстань між точками рівні При трьох об'єктах простір всіх можливих ранжування складається з 13 точок.

Використовуючи введену метрику, визначимо узагальнене ранжування як таку точку, яка найкраще узгоджується з точками, що є ранжуванням експертів. Поняття найкращого узгодження на практиці найчастіше визначають як медіану та середнє ранжування.

Медіана є така точка у просторі ранжувань, сума відстаней від якої до всіх точок – ранжувань експертів є мінімальною. Відповідно до визначення медіана обчислюється з умови

Середнє ранжування є такою точкою, сума квадратів відстаней від якої до всіх точок – ранжувань експертів є мінімальною. Середнє ранжування визначається за умови

Простір ранжування звичайно і дискретно, тому медіана і середнє ранжування можуть бути тільки будь-якими точками цього простору. У загальному випадку медіана та середнє ранжування можуть не співпадати з жодним з ранжувань експертів.

Якщо враховується компетентність експертів, то медіана та середнє ранжування визначаються з умов:

де - Коефіцієнти компетентності експертів.

Якщо ранжування об'єктів проводиться за декількома показниками, то визначення медіани спочатку проводиться для кожного експерта за всіма показниками, а потім обчислюється медіана за багатьма експертами:

(j =1,2,…,m);

де - Коефіцієнти ваг показників.

Основним недоліком визначення узагальненого ранжування у вигляді медіани чи середнього ранжування є трудомісткість розрахунків. Природний спосіб відшукання або у вигляді перебору всіх точок простору ранжування неприйнятний внаслідок дуже швидкого зростання рівномірності простору зі збільшенням кількості об'єктів і, отже, зростання трудомісткості обчислень. Можна звести завдання пошуку або до специфічної задачі цілісного програмування. Проте це дуже ефективно зменшує обчислювальні труднощі.

Розбіжність узагальнених ранжувань за різних умов з'являється за малому числі експертів і неузгодженості їх оцінок. Якщо думки експертів близькі, то узагальнені ранжирування, побудовані за критеріями медіани та середнього значення, збігатимуться.

Складність обчислення медіани чи середнього ранжування призвела до необхідності застосування простіших способів побудови узагальненого ранжування.

До таких способів відноситься спосіб сум рангів.

Цей спосіб полягає у ранжируванні об'єктів за величинами сум рангів, отриманих кожним об'єктом від усіх експертів. Для матриці ранжувань складаються суми

Для обліку компетентності експертів достатньо помножити кожну i-ю ранжування на коефіцієнт компетентності j-го експерта У цьому випадку обчислення суми рангів для i-го об'єкта проводиться за такою формулою:

(i =1,2,…,n).

Узагальнене ранжування з урахуванням компетентності експертів будується з урахуванням упорядкування сум рангів всім об'єктів.

Слід зазначити, що побудова узагальненого ранжування за сумами рангів є коректною процедурою, якщо призначаються ранги як місця об'єктів у вигляді натуральних чисел 1, 2, ..., n. Якщо призначати ранги довільним чином, як числа в шкалі порядку, сума рангів, взагалі кажучи, не зберігає умову монотонності перетворення і, отже, можна отримувати різні узагальнені ранжування при різних відображеннях об'єктів на числову систему. Нумерація місць об'єктів може бути здійснена єдиним чином за допомогою натуральних чисел. Тому при добрій узгодженості експертів побудова узагальненого ранжування за методом сум рангів дає результати, що узгоджуються з результатами обчислення медіани.

Ще одним більш обґрунтованим у теоретичному відношенні підходом до побудови узагальненого ранжування є перехід від матриці ранжувань до матриці парних порівнянь та обчислення власного вектора, що відповідає максимальному власному числу цієї матриці. Упорядкування об'єктів провадиться за величиною компонент власного вектора.

3.3. Оцінка узгодженості думок експертів

При ранжируванні об'єктів експерти зазвичай розходяться в думках щодо проблеми, що вирішується. У зв'язку із цим виникає необхідність кількісної оцінки ступеня згоди експертів. Отримання кількісної міри узгодженості думок експертів дозволяє більш обґрунтовано інтерпретувати причини розбіжності думок.

Наразі відомі два заходи узгодженості думок групи експертів: дисперсійний та ентропійний коефіцієнти конкордації.

Дисперсійний коефіцієнт конкордації. Розглянемо матрицю результатів ранжування nоб'єктів групою з mекспертів ( j =1,…,m ; i =1,…,n), де - ранг, що присвоюється j-м експертом i-му об'єкту. Складемо суми рангів по кожному стовпцю. В результаті отримаємо вектор із компонентами

(i=1,2,…,n). (5.14)

Величини розглянемо як реалізації випадкової величини та знайдемо оцінку дисперсії. Як відомо, оптимальна за критерієм мінімуму середнього квадрата помилки оцінка дисперсії визначається формулою:

, (5.15)

де - оцінка математичного очікування, рівна

Дисперсійний коефіцієнт конкордації визначається як відношення оцінки дисперсії (5.15) до максимального значення цієї оцінки

Коефіцієнт конкордації змінюється від нуля до одиниці, оскільки.

Обчислимо максимальне значення оцінки дисперсії у разі відсутності пов'язаних рангів (всі об'єкти різні). Попередньо покажемо, що оцінка математичного очікування залежить лише від кількості об'єктів та кількості експертів. Підставляючи в (5.16) значення (5.14), отримуємо

Розглянемо спочатку сумовані за iпри фіксованому j. Це є сума рангів для j-го експерта. Оскільки експерт використовує для ранжування натуральні числа від 1 до n, то, як відомо, сума натуральних чисел від 1 до nдорівнює

(5.19)

Підставляючи (5.19) до (5.18), отримуємо

(5.20)

Таким чином, середнє значення залежить лише від числа експертів mта числа об'єктів n .

Для обчислення максимального значення оцінки дисперсії підставимо в (5.15) значення (5.14) і зведемо в квадрат двочлен у круглій дужці. В результаті отримуємо

(5.21)

Враховуючи, що з (5.18) випливає

отримуємо

(5.22)

Максимальне значення дисперсії досягається при найбільшому значенні першого члена квадратних дужках. Розмір цього члена істотно залежить від розташування рангів - натуральних чисел у кожному рядку i. Нехай, наприклад, усі mекспертів дали однакове ранжування для всіх nоб'єктів. Тоді в кожному рядку матриці будуть розташовані однакові числа. Отже, підсумовування рангів у кожній i-u рядку дає m-кратне повторення i-ro числа:

Зводячи в квадрат і підсумовуючи i, отримуємо значення першого члена (5.22) :

(5.23)

Тепер припустимо, що експерти дають незбігаючі ранжування, наприклад, для випадку n =mвсі експерти надають різні ранги одному об'єкту. Тоді

Порівнюючи цей вираз з при m =n, переконуємося, що перший член квадратних дужках формули (9) дорівнює другому члену і, отже, оцінка дисперсії дорівнює нулю.

Таким чином, випадок повного збігу ранжування експертів відповідає максимальному значенню оцінки дисперсії. Підставляючи (5.23) (5.22) і виконуючи перетворення, отримуємо

(5.24)

Введемо позначення

(5.25)

Використовуючи (5.25), запишемо оцінку дисперсії (5.15) як

Підставляючи (5.24), (5.25), (5.26) в (5.17) і скорочуючи на множник ( n-1), запишемо остаточний вираз для коефіцієнта конкордації

(5.27)

Ця формула визначає коефіцієнт конкордації у разі відсутності пов'язаних рангів.

Якщо ранжування є пов'язані ранги, то максимальне значення дисперсії в знаменнику формули (5.17) стає менше, ніж за відсутності пов'язаних рангів. Можна показати, що за наявності пов'язаних рангів коефіцієнт конкордації обчислюється за такою формулою:

(5.28)

(5.29)

У формулі (5.28) - показник пов'язаних рангів у j-й ранжуванні, - число груп рівних рангів j-й ранжуванні, - число рівних рангів k-ї групі пов'язаних рангів при ранжируванні j-м експертом. Якщо збігаються рангів немає, то =0,=0 і, отже,=0. І тут формула (5.28) збігається з формулою (5.27).

Коефіцієнт конкордації дорівнює 1, якщо ранжування експертів однакові. Коефіцієнт конкордації дорівнює нулю, якщо всі ранжування різні, т. е. немає збігу.

Коефіцієнт конкордації, що обчислюється за формулою (5.27) або (5.28), є оцінкою справжнього значення коефіцієнта і, отже, є випадковою величиною. Для визначення значущості оцінки коефіцієнта конкордації необхідно знати розподіл частот для різних значень числа експертів mта кількості об'єктів n. Розподіл частот для Wпри та обчислено в . Для великих значень mі nможна використати відомі статистики. При числі об'єктів n>7 оцінка значимості коефіцієнта конкордації може бути зроблено за критерієм. Величина Wm (n -1 ) має розподіл з v=n-1 ступенями свободи.

За наявності пов'язаних рангів розподіл з v=n-1 ступенями свободи має величина:

(5.30)

Ентропійний коефіцієнт конкордаціївизначається формулою (коефіцієнт згоди):

де Н- Ентропія, що обчислюється за формулою

(5.32)

а – максимальне значення ентропії. У формулі для ентропії – оцінки ймовірностей j-го рангу, що присвоюється i-му об'єкту. Ці оцінки ймовірностей обчислюються як відносини кількості експертів , приписавших об'єкту ранг jдо загальної кількості експертів.

Максимальне значення ентропії досягається при рівноймовірному розподілі рангів, тобто коли. Тоді

Підставляючи це співвідношення у формулу (5.32), отримуємо

(5.35)

Коефіцієнт згоди змінюється від нуля до одиниці. При розміщенні об'єктів за рангами рівноймовірно, оскільки в цьому випадку . Цей випадок може бути обумовлений або неможливістю ранжування об'єктів за сформульованою сукупністю показників або повною неузгодженістю думок експертів. При , що досягається при нульовій ентропії ( H=0), всі експерти дають однакове ранжування. Дійсно, у цьому випадку для кожного фіксованого об'єкта всі експерти надають йому один і той самий ранг. j, отже, , a Тому і H =0.

Порівняльна оцінка дисперсійного та ентропійного коефіцієнтів конкордації показує, що ці коефіцієнти дають приблизно однакову оцінку узгодженості експертів при близьких ранжуваннях. Однак якщо, наприклад, вся група експертів розділилася в думках на дві підгрупи, причому ранжирування в цих підгрупах протилежні (пряма та зворотна), то дисперсійний коефіцієнт конкордації дорівнюватиме нулю, а ентропійний коефіцієнт конкордації дорівнюватиме 0,7. Таким чином, ентропійний коефіцієнт конкордації дозволяє зафіксувати факт поділу думок на дві протилежні групи. Обсяг обчислень для ентропійного коефіцієнта конкордації дещо більше, ніж дисперсійного коефіцієнта конкордації.

3.4. Обробка парних порівнянь об'єктів

При вирішенні завдання оцінки великої кількості об'єктів (ранжування, визначення відносних ваг, бальна оцінка) виникають проблеми психологічного характеру, зумовлені сприйняттям експертами безлічі якостей об'єктів. Експерти порівняно легко вирішують завдання парного порівняння об'єктів. Виникає питання, як отримати оцінку всієї сукупності об'єктів з урахуванням результатів парного порівняння, не накладаючи умови транзитивності? Розглянемо алгоритм розв'язання цього завдання. Нехай mекспертів проводять оцінку всіх пар об'єктів, даючи числову оцінку

(5.36)

Якщо при оцінці пари експертів висловилися за перевагу експертів висловилися навпаки експертів вважають ці об'єкти рівноцінними, то оцінка математичного очікування випадкової величини дорівнює

(5.37)

Загальна кількість експертів дорівнює сумі

(5.38)

Визначаючи звідси і підставляючи його (5.37), отримуємо

(5.39)

Очевидно, що сукупність величин утворює матрицю на основі якої можна побудувати ранжування всіх об'єктів і визначити коефіцієнти відносної важливості об'єктів.

Введемо вектор коефіцієнтів відносної важливості об'єктів порядку tнаступною формулою:

де - матриця математичних очікувань оцінок пар об'єктів, - Вектор коефіцієнтів відносної важливості об'єктів порядку t . Розмір дорівнює

(5.41)

Коефіцієнти відносної важливості першого порядку є відносними сумами елементів рядків матриці. X. Справді, вважаючи t=1, з (5.40) отримуємо

(5.42)

Коефіцієнти відносної важливості другого порядку ( t=2) є відносні суми елементів рядків матриці X 2 .

(5.43)

Якщо матриця Хневід'ємна і нерозкладна, то при збільшенні порядку величина сходиться до максимального числа матриці Х

а вектор коефіцієнтів відносної важливості об'єктів прагне власного вектора матриці X, що відповідає максимальному власному числу

Визначення власних чисел та власних векторів матриці проводиться рішенням рівняння алгебри

де Е-одинична матриця, та системи лінійних рівнянь

де k- Власний вектор матриці X, що відповідає максимальному власному числу. Компоненти власного вектора є коефіцієнти відносної важливості об'єктів, які вимірюються в шкалі відносин.

З практичної точки зору обчислення коефіцієнтів відносної важливості об'єктів простіше проводити послідовною процедурою за формулою (5.40) при t=1, 2, … Як показує досвід, 3-4 послідовних обчислень достатньо, щоб отримати значення і kблизькі до граничних значень, що визначаються рівняннями (5.46), (5.47).

Матриця неотрицательна, оскільки її елементи (5.39) неотрицательны. Матриця називається нерозкладною, якщо перестановкою рядів (рядків та однойменних стовпців) її не можна призвести до трикутного вигляду

(5.48)

де - нерозкладні підматриці матриці X. Подання матриці Ху вигляді (5.48) означає розбиття об'єктів на lдомінуючих множин

При 1 =nматриця Хнерозкладна, т. е. існує лише одне домінуюче безліч, що збігається з вихідним безліччю об'єктів. Розкладність матриці Хозначає, що серед експертів є великі розбіжності щодо оцінки об'єктів.

Якщо матриця Хнерозкладна, то обчислення коефіцієнтів відносної важливості дозволяє визначити, у скільки разів один об'єкт перевершує інший об'єкт за показниками, що порівнюються. Обчислення коефіцієнтів відносної важливості об'єктів дозволяє одночасно побудувати ранжування об'єктів. Об'єкти ранжуються отже першим об'єктом вважається об'єкт, у якого коефіцієнт відносної важливості найбільший. Повне ранжування визначається ланцюжком нерівностей

з якої випливає

Якщо матриця Х розкладається, то визначити коефіцієнти відносної важливості можна тільки для кожної множини. Для кожної матриці визначається максимальне власне число і відповідний цьому власний вектор. Компоненти власного вектора є коефіцієнти відносної важливості об'єктів, що входять у безліч. За цими коефіцієнтами здійснюється ранжування об'єктів даної множини. Загальне ранжування об'єктів дається співвідношенням

Таким чином, якщо матриця Хнерозкладна, то за результатами парного порівняння об'єктів можливе як вимірювання переваги об'єктів у шкалі відносин, так і в шкалі порядку (ранжування). Якщо ж матриця Хрозкладна, то можливе лише ранжування об'єктів.

Слід зазначити, що відношення переваги може бути виражене будь-яким позитивним числом З. При цьому має виконуватися умова. Зокрема, можна вибрати З=2 так, що якщо , то якщо і якщо , то .

3.5. Визначення взаємозв'язку ранжувань

При обробці результатів ранжирування можуть виникнути завдання визначення залежності між ранжуваннями двох експертів, зв'язку між досягненням двох різних цілей при вирішенні однієї і тієї ж сукупності проблем або взаємозв'язку між двома ознаками.

У цих випадках мірою взаємозв'язку може бути коефіцієнт рангової кореляції. Характеристикою взаємозв'язку безлічі ранжувань чи цілей буде матриця коефіцієнтів рангової кореляції. Відомі коефіцієнти рангової кореляції Спірмена та Кендала.

Коефіцієнт рангової кореляції Спірмена визначається формулою:

де - взаємний кореляційний момент першого та другого ранжувань, - дисперсії цих ранжувань. За даними двом ранжуванням оцінки взаємного кореляційного моменту та дисперсії обчислюються за формулами:

(5.51)

(5.52)

де n– кількість ранжованих об'єктів, - ранги у першому та другому ранжуваннях відповідно, - середні ранги у першому та другому ранжуваннях. Оцінки середніх рангів визначаються формулами:

(5.53)

Обчислимо оцінки середніх рангів і дисперсій у припущенні, що у ранжуваннях відсутні пов'язані ранги, т. е. обидві ранжування дають суворе впорядкування об'єктів. У цьому випадку середні ранги (5.53) є сумами натуральних чисел від одиниці до n, поділені на n. Отже, середні ранги для обох ранжувань однакові та рівні

(5.54)

При обчисленні оцінок дисперсій зауважимо, що й розкрити круглі дужки у формулах (5.52), то під знаком сум будуть перебувати натуральні числа та його квадрати. Два ранжирування можуть відрізнятися один від одного лише перестановкою рангів, але сума натуральних чисел та їх квадратів не залежить від порядку (перестановки) доданків. Отже, дисперсії (5.52) для двох будь-яких ранжувань (за відсутності пов'язаних рангів) будуть однакові та рівні

(I = 1,2). (5.55)

Підставляючи значення з (5.51) і з (5.55) у формулу (5.50), отримаємо оцінку коефіцієнта рангової кореляції Спірмена

(5.56)

Для проведення практичних розрахунків зручніше користуватися іншою формулою коефіцієнта кореляції Спірмена. Її можна отримати з (5.56), якщо скористатися тотожністю

У рівності (5.57) перші дві суми у правій частині, як це випливає з виразу (5.55), однакові і рівні

Підставляючи у формулу (5.56) значення суми (5.57) і використовуючи рівність (5.58), отримуємо наступну зручну для розрахунків формулу коефіцієнта рангової кореляції Спірмена :

(5.59)

Коефіцієнт кореляції Спірмена змінюється від -1 до +1. Рівність одиниці досягається, як це випливає з формули (5.59), при однакових ранжуваннях, тобто коли значення має місце при протилежних ранжуваннях (пряме та зворотне ранжування). За рівності коефіцієнта кореляції нулю ранжування вважаються лінійно незалежними.

Оцінка коефіцієнта кореляції, яка обчислюється за формулою (5.59), є випадковою величиною. Для визначення значущості цієї оцінки необхідно задатися величиною ймовірності, прийняти рішення про значущість коефіцієнта кореляції та визначити значення порога за наближеною формулою

(5.60)

де n- кількість об'єктів, - функція, зворотна функції

для якої є таблиці. Після обчислення порогового значення оцінка коефіцієнта кореляції вважається значною, якщо.

Для визначення значущості оцінки коефіцієнта Спірмена можна скористатися критерієм Стьюдента, оскільки величина

приблизно розподілена за законом Стьюдента з n – 2 ступенями свободи.

Якщо ранжування є пов'язані ранги, то коефіцієнт Спірмена обчислюється за такою формулою :

(5.62)

де - Оцінка коефіцієнта рангової кореляції Спірмена, що обчислюється за формулою (5.59), а величини рівні

(5.63)

У цих формулах - кількість різних пов'язаних рангів у першому та другому ранжуваннях відповідно.

Коефіцієнт рангової кореляції Кендалла за відсутності пов'язаних рангів визначається формулою:

де n– кількість об'єктів, - ранги об'єктів, sign x- Функція, рівна

Порівняльна оцінка коефіцієнтів рангової кореляції Спірмена і Кендал показує, що обчислення коефіцієнтів Спірмена проводиться за більш простою формулою. Крім того, коефіцієнт Спірмена дає більш точний результат, оскільки він є оптимальною за критерієм мінімуму середньої квадратної помилки оцінкою коефіцієнта кореляції.

Звідси випливає, що при практичних розрахунках кореляційної залежності ранжувань краще використовувати коефіцієнт рангової кореляції Спірмена.

ВИСНОВОК

Динамізм і новизна сучасних народногосподарських завдань, можливість виникнення різноманітних чинників, які впливають ефективність рішень, вимагають, щоб ці рішення приймалися швидко і водночас були добре обгрунтовані. Досвід, інтуїція, почуття перспективи у поєднанні з інформацією допомагають фахівцям точніше вибирати найбільш важливі цілі та напрямки розвитку, знаходити найкращі варіанти вирішення складних науково-технічних та соціально-економічних завдань в умовах, коли немає інформації щодо вирішення аналогічних проблем у минулому.

Використання методу експертних оцінок допомагає формалізувати процедури збору, узагальнення та аналізу думок фахівців з метою перетворення їх у форму, найбільш зручну для прийняття обґрунтованого рішення.

Але, слід зазначити, що метод експертних оцінок неспроможна замінити ні адміністративних, ні планових рішень, лише дозволяє поповнити інформацію, необхідну підготовки і прийняття таких рішень. Широке використання експертних оцінок правомірне лише там, де для аналізу майбутнього неможливо застосувати точніші методи.

Експертні методи безперервно розвиваються та вдосконалюються. Основні напрями цього розвитку визначаються рядом факторів, серед яких можна вказати на прагнення розширити сфери застосування, підвищити ступінь використання математичних методів та електронно-обчислювальної техніки, а також знайти шляхи усунення недоліків, що виявляються.

Незважаючи на успіхи, досягнуті в останні роки у розробці та практичному використанні методу експертних оцінок, є низка проблем та завдань, що вимагають подальших методологічних досліджень та практичної перевірки. Необхідно вдосконалювати систему відбору експертів, підвищення надійності характеристик групової думки, розробку методів перевірки обґрунтованості оцінок, дослідження прихованих причин, що знижують достовірність експертних оцінок.

Проте, вже сьогодні експертні оцінки разом із іншими математико-статистическими методами є важливим інструментом вдосконалення управління всіх рівнях.

СПИСОК ЛІТЕРАТУРИ:

2. Беклешев В.К., Завлін П.М. Нормування праці у НДІ та КБ. М: Економіка, 1973. 203 с.

10. Добров Г.М., Єршов Ю.В., Левін Є.І., Смирнов Л.П. Експертні оцінки у науково-технічному прогнозуванні. Київ: Наукова думка, 1974. 263 с.

11. Євланов Л.Г. Ухвалення рішень в умовах невизначеності. М.: ІУНГ, 1976. 196 с.

12. Євланов Л.Г., Кутузов В.А. Експертні оцінки в управлінні. М: Економіка, 1978. 133 с.

13. Карданська Н. Прийняття управлінського рішення. М.: ЮНИТИ, 1999. 407 з.

14. Кемені Д., Снелл Д. Кібернетичне моделювання. М: Радянське радіо, 1972. 234 с.

15. Кравченко Т.К. Процес ухвалення планових рішень. М.: Економіка, 1974. 183 с.

16. Міркін Б.Г. Проблема групового вибору. М: Наука, 1974. 256 с. . 17. Міхєєв В.І. Соціально-психологічні аспекти управління. Стиль та методи роботи керівника. М: Молода гвардія, 1975. 181 с.

18. Пфанцагль І. Теорія вимірів. М.: Світ, 1976. 278 з.

19. Тихомиров Ю.А. Управлінське рішення. М.: Наука, 1996. 278 з.

20. Федоренко Н.П. Оптимізація економіки. М: Наука, 1977. 236 с.

21. Ямпольський С.М., Лісічкін В.А. Прогнозування науково-технічного прогресу. М.: Економіка, 1974. 302 с.

Найчастіше необхідно вибрати серед безлічі альтернатив, при цьому кожна має різні переваги. І як же вибрати найкращу, маючи думку десятків, а то й сотень експертів?

Як обчислення рейтингу комп'ютерної гри, заснованого на оцінках критиками графіки, геймплею та сюжету, так і колективний вибір пріоритетного завдання перед появою замовника, відноситься до методів експертних оцінок.

Короткий лікнеп

У випадках надзвичайної складності проблеми, її новизни, недостатності наявної інформації, неможливості математичної формалізації процесу вирішення доводиться звертатися до рекомендацій компетентних фахівців, які чудово знають проблему, - до експертів. Їхнє вирішення завдання, аргументація, формування кількісних оцінок, обробка останніх формальними методами отримали назву методу експертних оцінок.

1. Індивідуальні оцінки ґрунтуються на використанні думки окремих експертів, незалежних один від одного.
2. Колективні оцінки ґрунтуються на використанні колективної думки експертів.

Способи вимірювання об'єктів

1. Ранжування- Це розташування об'єктів у порядку зростання або зменшення будь-якої властивої їм властивості. Ранжування дозволяє вибрати із досліджуваної сукупності факторів найбільш суттєвий.
2. Парне порівняння- це встановлення переваги об'єктів у порівнянні всіх можливих пар. Тут не потрібно, як при ранжируванні, впорядковувати всі об'єкти, необхідно в кожній парі виявити більш значущий об'єкт або встановити їх рівність.
3. Безпосередня оцінка. Часто буває бажаним не тільки впорядкувати (ранжувати об'єкти аналізу), а й визначити, наскільки один фактор є більш значущим за інші. У цьому випадку діапазон зміни параметрів об'єкта розбивається на окремі інтервали, кожному з яких приписується певна оцінка (бал), наприклад, від 0 до 10. Саме тому метод безпосередньої оцінки іноді називають також бальним методом.

Метод завдання вагових коефіцієнтів (a ij)

1. всім ознакам призначають вагові коефіцієнти так, щоб суми коефіцієнтів дорівнювала якомусь фіксованому числу (наприклад, одиниці, десяти або ста);
2. найбільш важливому з усіх ознак надають ваговий коефіцієнт, що дорівнює якомусь фіксованому числу, а решті – коефіцієнти, рівні часткам цього числа.

1. експерт впорядковує всі ознаки у порядку зменшення їхньої значущості: А1>A2>…>An;
2. привласнює першій ознакі значення, що дорівнює одиниці: A1=1, решті ознак призначає вагові коефіцієнти в частках одиниці;
3. порівнює значення першої ознаки із сумою всіх наступних.

У парному порівнянніне потрібно, як із ранжируванні, впорядковувати все об'єкти, потрібно у кожному з пар виявити більш значний об'єкт чи встановити їх рівність. Парне порівняння можна проводити при великій кількості об'єктів, а також у тих випадках, коли різниця між об'єктами настільки незначна, що практично нездійсненне їх ранжування.
При використанні методу найчастіше складається матриця розміром n x n, де n – кількість об'єктів, що порівнюються.

При порівнянні об'єктів матриця заповнюється елементами a ij наступним чином (може бути запропонована інша схема заповнення):

• 2, якщо об'єкт i краще об'єкта j (i > j),
• 1, якщо встановлено рівність об'єктів (i = j),
• 0, якщо об'єкт j кращий за об'єкт i (i< j).

А тепер, найсмачніше...

Аналіз результатів експертних оцінок

Формування узагальненої оцінки

Причому результат може складатися з кількох алгоритмів, переплітаючись з іншими. Наприклад, алгоритм розрахунку коефіцієнта компетентності експерта може проводити середньостатистичну оцінку цього експерта тощо.

Встановлення ступеня узгодженості думок експертів

Середнє лінійне відхилення

Середньоквадратичне відхилення

Дисперсія

Коефіцієнта рангової кореляції Спірмена

Коефіцієнт (величина) може змінюватися в діапазоні від -1 до +1. При повному збігу оцінок коефіцієнт дорівнює одиниці. Рівність коефіцієнта мінус одиниці спостерігається при найбільшій розбіжності у думках експертів.
x ij - ранг ( важливість), присвоєний i-му об'єкту j-им експертом, x ik - ранг, присвоєний i-му об'єкту k-им експертом, d i - різниця між рангами, присвоєними i-му об'єкту.

Коефіцієнт конкордації Кенделла
Коефіцієнт може набувати значень у межах від 0 до 1. При повній узгодженості думок експертів коефіцієнт конкордації дорівнює одиниці при повному розбіжності – нулю. Найбільш реальним є випадок часткової узгодженості думок експертів.

Обчислення

Визначається середній ранг сукупності ознак:

Враховується відхилення d j середнього рангу j-ї ознаки від середнього рангу сукупності:

Визначається число однакових рангів, призначених експертами j-ї ознаки - tq.
Визначається кількість груп однакових рангів – Q. Визначається коефіцієнт конкордації за такою формулою:

де

Говорячи про узгодженість думок експертів, варто згадати, що ранжування не має на увазі (або не завжди на увазі) відстань. Тобто в одного експерта A>B>C означає, що A>>B>C, а в іншого A>B>>C. І будь-які кореляції та розрахунки середніх оцінок тут не допоможуть. Як варіант, рахувати індекс узгодженості. Щось нібито кількості суперечливих замкнутих ланцюжків думок експертів (Перший вважає, що A краще Б, другий, що Б краще С, а третій, що С краще А) до кількості всіх подібних ланцюжків.

Висновок

Потім відкланююся. Усіх зі святом, рамінь. А для тих, хто зайшов подивитися на дівчат – ось вам

Міністерство освіти та науки Росії

Марійський Державний технічний університет

Кафедра контролю та виробництва радіоапаратури

на тему: Методи експертних оцінок

Виконала: ст. гр. БЖД-41

Копилова І.В.

Перевірив: проф. кав. КіПР

Скулькін Н.М.

Йошкар-Ола 2012

Вступ

Експертне оцінювання

Етапи експертного оцінювання

Види експертних оцінок

Обробка результатів опитування експертів

Висновок

Список літератури

Вступ

Приклад методів експертних оцінок. Як змінюватиметься економічна ситуація з часом? Що буде з навколишнім середовищем через десять років? Як зміниться екологічна ситуація? Чи буде забезпечена екологічна безпека промислових виробництв або навколо буде простягатися рукотворна пустеля? Достатньо вдуматися в ці постановки природних питань, проаналізувати, як десять або більше двадцять років тому ми уявляли сьогодні, щоб зрозуміти, що стовідсотково надійних прогнозів просто не може бути. Замість тверджень з конкретними числами очікується лише якісних оцінок. Проте ми, інженери, повинні приймати рішення, наприклад, про екологічні та інші проекти та інвестиції, наслідки яких позначаться через десять, двадцять тощо. років. Як бути? Залишається звернутися до методів експертних оцінок. Що це за методи?

1. Експертне оцінювання

Експертне оцінювання- Процедура отримання оцінки проблеми на основі думки фахівців (експертів) з метою подальшого прийняття рішення (вибору).

Експерти(від латинського "expertus" - досвідчений) - це особи, які мають знання і здатні висловити аргументовану думку щодо явища, що вивчається.

Методи експертних оцінок - це методи організації роботи з фахівцями-експертами та опрацювання думок експертів.

Сутність методів експертних оцінок полягає в тому, що в основу прогнозу закладається думка спеціаліста або колективу фахівців, яка базується на професійному, науковому та практичному досвіді. Розрізняють індивідуальні та колективні експертні оцінки.

Експертні оцінки часто використовуються при виборі, наприклад:

одного варіанта технічного пристрою для запуску в серію з декількох зразків,

групи космонавтів із багатьох претендентів,

набору проектів науково-дослідних робіт на фінансування з маси заявок,

одержувачів екологічних кредитів з багатьох бажаючих,

при виборі інвестиційних проектів для реалізації серед поданих і т.д.

2. Етапи експертного оцінювання

1. Постановка мети дослідження.

Експертне оцінювання передбачає створення певного розуму, що має великі здібності в порівнянні з можливостями окремої людини. Джерелом можливостей мультирозуму є пошук слабких асоціацій та припущень, заснованих на досвіді окремого фахівця. Експертний підхід дозволяє вирішувати завдання, що не піддаються вирішенню звичайним аналітичним способом, у тому числі:

· Вибір найкращого варіанта вирішення серед наявних.

· Прогнозування розвитку процесу.

· Пошук можливого вирішення складних завдань.

Перед початком експертного дослідження необхідно чітко визначити його мету (проблему) та сформулювати відповідне питання для експертів. При цьому рекомендується дотримуватись таких правил:

· Чітке визначення умов, часу, зовнішніх та внутрішніх обмежень проблеми. * Можливість відповіді на питання з доступною людським досвідом точністю.

· Питання краще формулювати як якісне твердження, ніж оцінку числа. Для чисельних оцінок не рекомендується ставити понад п'ять градацій.

· Експерти оцінюють можливі варіанти, і не слід очікувати від них побудови закінченого плану дій, розгорнутого опису можливих рішень.

2. Вибір форми дослідження, визначення бюджету проекту.

Існуючі види експертних оцінок можна класифікувати за ознаками:

· За формою участі експертів: очний, заочний. Очний метод дозволяє зосередити увагу експертів на вирішуваній проблемі, що підвищує якість результату, проте заочний метод може бути дешевшим.

· За кількістю ітерацій (повторів процедури підвищення точності) - однокрокові і ітераційні.

· За розв'язуваними завданнями: генеруючі рішення та варіанти, що оцінюють.

· За типом відповіді: ідейні, ранжируючі, що оцінюють об'єкт у відносній чи абсолютній (чисельній) шкалі.

· За способом обробки думок експертів: безпосередні та аналітичні.

· За кількістю експертів, що залучаються: без обмеження, обмежені. Зазвичай використовують 5-12 осіб експертів.

Найбільш відомі методи експертних оцінок: метод Дельфі, мозковий штурм та метод аналізу ієрархій. Кожному методу відповідають свої терміни проведення та потреба в експертах. Після вибору методу експертного оцінювання можна визначити витрати на процедуру, які включають оплату експертів, оренду приміщення, придбання канцтоварів, оплату фахівця з проведення та аналізу результатів експертизи.

3. Підготовка інформаційних матеріалів, бланків анкет, процедури модератора.

Експерти перед винесенням судження мають різнобічно розглянути подану проблему. Для проведення цієї процедури необхідно підготувати інформаційні матеріали з описом проблеми, статистичні дані, довідкові матеріали, бланки анкет, інвентар. Слід уникати таких помилок: згадувати розробників матеріалів, виділяти той чи інший варіант рішення, висловлювати ставлення керівництва до очікуваних результатів. Дані мають бути різнобічні та нейтральні. Наперед необхідно розробити бланки анкет для експертів. Залежно від методу вони можуть бути з відкритими та закритими питаннями, відповідь може даватися у вигляді судження, парного порівняння, ранжованого ряду, у балах або у вигляді абсолютної оцінки.

Саму процедуру проводить незалежний модератор процедури, який контролює дотримання регламенту, роздає матеріали та анкети, але сам не висловлює свою думку.

4. Підбір експертів

Проблема підбору експертів є однією з найскладніших у теорії та практиці експертних досліджень. Очевидно, як експерти необхідно використовувати тих людей, чиї міркування найбільше допоможуть прийняттю адекватного рішення. Але як виділити, знайти, підібрати таких людей? Треба прямо сказати, що немає методів підбору експертів, які, напевно, забезпечують успіх експертизи.

У проблемі підбору експертів можна виділити дві складові - складання списку можливих експертів та вибір із них експертної комісії відповідно до компетентності кандидатів.

Експерти повинні мати досвід в областях, що відповідають вирішуваним завданням. При підборі експертів слід враховувати момент особистої зацікавленості, який може стати суттєвою перешкодою для одержання об'єктивного судження. З цією метою, наприклад, застосовують методи Шара, коли один експерт, найбільш шанований фахівець, рекомендує низку інших і далі по ланцюжку, доки не буде підібраний необхідний колектив.

5. Проведення експертизи.

Проведення процедури відрізняється залежно від методу, що використовується. Загальні рекомендації:

· Встановити та дотримуватися регламенту. Збільшення часу прийняття рішення понад оптимального не підвищує точність відповіді.

6. Статистичний аналіз результатів . Після отримання відповідей експертів необхідно провести їхню оцінку. Це дозволяє:

1)Оцінити узгодженість думок експертів. За відсутності значної узгодженості експертів необхідно виявити причини неузгодженості (наявність груп) та визнати відсутність узгодженої думки (нікчемні результати).

) Оцінити помилку дослідження.

)Побудувати модель властивостей об'єкта з урахуванням відповідей експертів (для аналітичної експертизи). Результати експертного оцінювання оформлюються як звіту. У звіті вказується мета дослідження, склад експертів, отримана оцінка та статистичний аналіз результатів.

7. Підготовка звіту за результатами експертного оцінювання.

. Види експертних оцінок

Методи експертних оцінок можна розділити на дві групи:

§ методи колективної роботи експертної групи

§ методи одержання індивідуальної думки членів експертної групи.

Методи колективної роботи експертної групи передбачають отримання спільної думки в ході спільного обговорення проблеми, що вирішується. Іноді ці методи називають методами прямого здобуття колективної думки. Основна перевага цих методів полягає у можливості різнобічного аналізу проблем. Недоліками методів є складність процедури отримання інформації, складність формування групової думки щодо індивідуальних міркувань експертів, можливість тиску авторитетів у групі.

Методи колективної роботи включають методи "мозкової атаки", "сценаріїв", "ділових ігор", "нарад" та "суду".

Мозкова атака.Організується він як збори експертів, на виступи яких накладено одне, але дуже суттєве обмеження – не можна критикувати пропозиції інших. Можна їх розвивати, можна висловлювати свої ідеї, але не можна критикувати! Під час засідання експерти, "заражаючись" один від одного, висловлюють дедалі більш екстравагантні міркування. Години через дві записане на магнітофон чи відеокамеру засідання закінчується, і починається другий етап мозкового штурму – аналіз висловлених ідей. Зазвичай зі 100 ідей 30 заслуговують на подальше опрацювання, з 5-6 дають можливість сформулювати прикладні проекту, а 2-3 виявляються в результаті приносять корисний ефект - прибуток, підвищення екологічної безпеки, оздоровлення навколишнього природного середовища і т.п. При цьому інтерпретація ідей – творчий процес. Наприклад, при обговоренні можливостей захисту кораблів від торпедної атаки було висловлено ідею: "Вибудувати матросів уздовж борту і дмухати на торпеду, щоб змінити її курс". Після опрацювання ця ідея призвела до створення спеціальних пристроїв, що створюють хвилі, що збиваються з курсу торпеду.

Метод «635»- один з різновидів мозкової атаки. Цифри 6, 3, 5 позначають шість учасників, кожен із яких має записати три ідеї протягом п'яти хвилин. Аркуш ходить по колу. Таким чином, за півгодини кожен запише до свого активу 18 ідей, а всі разом – 108. Структура ідей чітко визначена. Можливі модифікації методу. Цей метод широко використовується в зарубіжних країнах (особливо в Японії) для відбору з багатьох ідей найбільш оригінальних і прогресивних у вирішенні певних проблем.

Ділові ігризасновані на моделюванні функціонування соціальної системи управління під час виконання операцій, вкладених у досягнення поставленої мети. На відміну від попередніх методів, де експертні оцінки формуються в ході колективного обговорення, ділові ігри передбачають активну діяльність експертної групи, за кожним членом якої закріплено певний обов'язок відповідно до заздалегідь складених правил та програми.

Основною перевагою ділових ігор є можливість вироблення рішення у поступовій динаміці з урахуванням всіх етапів досліджуваного процесу при взаємодії всіх елементів соціальної системи управління. Недолік полягає у складності організації ділової гри в умовах, наближених до реальної проблемної ситуації.

Метод нарад("комісій", "круглого столу") - найпростіший і найтрадиційніший. Він передбачає проведення наради чи дискусії з метою вироблення єдиної колективної думки щодо вирішуваної проблеми. На відміну від методу "мозкової атаки", кожен експерт може не тільки висловлювати свою думку, а й критикувати пропозиції інших. Внаслідок такого ретельного обговорення зменшується можливість помилок при виробленні рішення.

Перевагою методу є простота його. Однак на нараді може бути прийнята помилкова думка одного з учасників через його авторитет, службове становище, наполегливість або ораторські здібності.

Метод комісій- один із методів експертних оцінок, заснований на роботі спеціальних комісій. Групи експертів за "круглим столом" обговорюють ту чи іншу проблему з метою узгодження точок зору та вироблення єдиної думки. Недолік цього методу полягає в тому, що група експертів у своїх судженнях керується здебільшого логікою компромісу.

Метод написання сценаріюзаснований на визначенні логіки процесу чи явища у часі за різних умов. Він передбачає встановлення послідовності подій, що розвиваються при переході від ситуації до майбутнього стану об'єкта. Своєрідним сценарієм може бути опис послідовності та умов міжнародної інтеграції господарства країн, що включає такі питання:

від яких найпростіших форм до складнішим має пройти цей процес;

як він вплине на національне господарство та економічні зв'язки країн;

які фінансові, організаційні, соціальні, юридичні проблеми, які можуть виникнути під час інтернаціоналізації господарства.

Прогнозний сценарій визначає стратегію розвитку прогнозованого об'єкта. Він повинен відображати генеральну мету розвитку об'єкта, критерії оцінки верхніх рівнів дерева цілей, пріоритети проблем та ресурси для досягнення основних цілей. У сценарії відображаються послідовне вирішення завдання, можливі перешкоди. При цьому використовуються необхідні матеріали щодо розвитку об'єкта прогнозування.

Сценарій повинен бути написаний так, щоб після ознайомлення з ним стала зрозуміла генеральна мета роботи, що проводиться у світлі соціально-економічних завдань на прогнозний період.

Він зазвичай має багатоваріантний характер і висвітлює три лінії поведінки:

оптимістичну - розвиток системи у найбільш сприятливій ситуації;

песимістичну - розвиток системи у найменш сприятливій ситуації;

робочу - розвиток системи з урахуванням протидії негативним факторам, поява яких є найбільш ймовірною.

У рамках прогнозного сценарію доцільно опрацьовувати резервну стратегію у разі непередбачених ситуацій.

Сценарій у готовому вигляді має бути підданий аналізу. З аналізу інформації, визнаної придатної майбутнього прогнозу, формулюються мети, визначаються критерії, розглядаються альтернативні рішення.

Метод судує різновидом методу "нарад" і реалізується за аналогією до ведення судового процесу.

У ролі " підсудних " виступають обрані варіанти рішення;

у ролі "суддів" - особи, які приймають рішення;

у ролі "прокурорів" та "захисників" - члени експертної групи.

Роль "свідків" виконують різні умови вибору та доводи експертів. Під час такого "судового процесу" відхиляються або приймаються ті чи інші рішення.

Метод "суду" доцільно використовувати за наявності кількох груп експертів, які дотримуються різних варіантів рішення.

Методи одержання індивідуальної думки членів експертної групи засновані на попередньому отриманні інформації від експертів, опитуваних незалежно один від одного, з подальшим опрацюванням отриманих даних. До цих методів можна віднести методи анкетного опитування, інтерв'ю та методи "Дельфі". Основні переваги методу індивідуального експертного оцінювання полягають у їх оперативності, можливості повною мірою використовувати індивідуальні здібності експерта, відсутність тиску з боку авторитетів та низькі витрати на експертизу. Головним їх недоліком є ​​високий рівень суб'єктивності одержуваних оцінок через обмеженість знань одного експерта.

Метод "Дельфі".Мета – розробка програми послідовних багатотурових індивідуальних опитувань. Індивідуальне опитування експертів зазвичай проводиться у формі анкет-запитань. Потім здійснюється їх статистична обробка на ЕОМ і формується колективна думка групи, виявляються та узагальнюються аргументи на користь різних суджень. Оброблена на ЕОМ інформація повідомляється експертам, які можуть коригувати оцінки, пояснюючи у своїй причини своєї незгоди з колективним судженням. Ця процедура може повторюватися до 3-4 разів. В результаті відбувається звуження діапазону оцінок та виробляється узгоджене судження щодо перспектив розвитку об'єкта. Особливості методу Дельфі:

а) анонімність експертів (учасники експертної групи невідомі один одному, взаємодія членів групи під час заповнення анкет повністю виключається);

б) можливість використання результатів попереднього туру опитування;

в) статистична характеристика групової думки.

Цей метод допомагає визначити розвиток проблемних ситуацій, які мають довгостроковий характер. Наші фахівці, які працюють у галузі науково-технічного прогнозування, також розробляють методи опрацювання експертних оцінок. Вони звуться евристичних.

Метод інтерв'юпередбачає бесіду прогнозиста з експертом за схемою питання – відповідь, у процесі якої прогнозист відповідно до заздалегідь розробленої програми ставить перед експертом питання щодо перспектив розвитку прогнозованого об'єкта. Успіх такої оцінки значною мірою залежить від можливості експерта експромтом давати висновок з різних питань.

Аналітичний методпередбачає ретельну самостійну роботу експерта над аналізом тенденцій, оцінкою стану та шляхів розвитку прогнозованого об'єкта. Експерт може використати всю необхідну йому інформацію про об'єкт прогнозу. Свої висновки він оформляє як доповідної записки. Основна перевага цього методу – можливість максимального використання індивідуальних здібностей експерта. Однак він мало придатний для прогнозування складних систем та вироблення стратегії через обмеженість знань одного фахівця-експерта у суміжних галузях знань.

. Обробка результатів опитування експертів

експертне колективне індивідуальне опитування

Перейдемо до розгляду процедур, виконуваних етапі обробки результатів опитування.

На базі оцінок експертів виходить узагальнена інформація про досліджуваний об'єкт (явлення) і формується рішення, яке задається метою експертизи. При обробці індивідуальних оцінок експертів використовують різноманітні кількісні та якісні методи. Вибір тієї чи іншої методу залежить від складності розв'язуваної проблеми, форми, де представлені думки експертів, цілей експертизи.

Найчастіше під час обробки результатів опитування використовуються методи математичної статистики.

Залежно від цілей експертизи під час обробки оцінок можуть вирішуватися такі проблеми:

· формування узагальненої оцінки;

· визначення відносних ваг об'єктів;

· встановлення ступеня узгодженості думок експертів та ін.

1)Формування узагальненої оцінки

Отже, нехай група експертів оцінила якийсь об'єкт, тоді x j - Оцінка j-го експерта, , де m – число експертів.

Для формування узагальненої оцінки групи експертів найчастіше використовують середні величини. Наприклад, медіана (M E ), яку приймається така оцінка, стосовно якої кількість великих оцінок дорівнює числу менших.

Може використовуватися також точкова оцінка групи експертів, обчислювана як середнє арифметичне:

2)Визначення відносних ваг об'єктів

Іноді потрібно визначити, наскільки той чи інший фактор (об'єкт) важливий (істотний) з погляду будь-якого критерію. І тут кажуть, що треба визначити вагу кожного чинника.

Один із методів визначення ваг полягає в наступному. Нехай x ij - Оцінка фактора i, дана j-им експертом, , , n – число порівнюваних об'єктів, m – число експертів. Тоді вага i-го об'єкта, підрахована за оцінками всіх експертів (wi ), дорівнює:

де w ij - вага i-го об'єкта, підрахована за оцінками j-го експерта, дорівнює:

3)Встановлення ступеня узгодженості думок експертів

У разі участі в опитуванні кількох експертів розбіжності у їх оцінках неминучі, проте величина цієї розбіжності має важливе значення. Групова оцінка може вважатися досить надійною лише за умови гарної узгодженості відповідей окремих фахівців.

Для аналізу розкиду та узгодженості оцінок застосовуються статистичні показники - заходи розкиду.

Варіаційний розмах (R):

Xmax - x min ,

де x max - максимальна оцінка об'єкта; min - Мінімальна оцінка об'єкта.

Середнє квадратичне відхилення, що обчислюється за відомою формулою:

де xj - оцінка, дана j-им експертом; - кількість експертів.

Коефіцієнт варіації (V), який зазвичай виражається у відсотках:

Специфічні підходи до перевірки узгодженості, що використовуються в оцінці об'єктів методом ранжирування.

У цьому випадку результатом роботи експерта є ранжування, що є послідовністю рангів (для експерта j): x 1j , x 2j, …, x nj .

Узгодженість між ранжуваннями двох експертів можна визначити за допомогою коефіцієнта рангової кореляції Спірмена:

де xij – ранг, присвоєний i-му об'єкту j-им експертом; ik – ранг, присвоєний i-му об'єкту k-им експертом; i – різниця між рангами, присвоєними i-му об'єкту.

Розмір може змінюватися в діапазоні від -1 до +1. При повному збігу оцінок коефіцієнт дорівнює одиниці. Рівність коефіцієнта мінус одиниці спостерігається при найбільшій розбіжності у думках експертів.

Крім того, розрахунок коефіцієнта рангової кореляції може застосовуватися як спосіб оцінки взаємовідносин між будь-яким фактором та результативною ознакою (реакцією) у тих випадках, коли ознаки не можуть бути виміряні точно, але можуть бути впорядковані.

У цьому випадку значення коефіцієнта Спірмена може бути інтерпретовано подібно до значення коефіцієнта парної кореляції. Позитивне значення свідчить про прямий зв'язок між факторами, негативне - про зворотний, при цьому чим ближче абсолютне значення коефіцієнта до одиниці, тим тісніше зв'язок.

Коли необхідно визначити узгодженість у ранжуваннях великого (більше двох) числа експертів, розраховується так званий коефіцієнт конкордації - загальний коефіцієнт рангової кореляції для групи, що складається з m експертів:

Зауважимо, що віднімання у дужках є не що інше, як середня сума рангів (при підсумовуванні для кожного об'єкта), отриманих i об'єктами від експертів.

Коефіцієнт W змінюється у діапазоні від 0 до 1. Його рівність одиниці означає, що це експерти присвоїли об'єктам однакові ранги. Чим ближче значення коефіцієнта нанівець, тим менш узгодженими є оцінки експертів.

Висновок

Досвід, інтуїція, почуття перспективи у поєднанні з інформацією допомагають фахівцям точніше вибирати найбільш важливі цілі та напрямки розвитку, знаходити найкращі варіанти вирішення складних науково-технічних та соціально-економічних завдань в умовах, коли немає інформації щодо вирішення аналогічних проблем у минулому.

Використання методу експертних оцінок допомагає формалізувати процедури збору, узагальнення та аналізу думок фахівців з метою перетворення їх у форму, найбільш зручну для прийняття обґрунтованого рішення. Але, слід зазначити, що метод експертних оцінок неспроможна замінити ні адміністративних, ні планових рішень, лише дозволяє поповнити інформацію, необхідну підготовки і прийняття таких рішень. Широке використання експертних оцінок правомірне лише там, де для аналізу майбутнього неможливо застосувати точніші методи.

Експертні методи безперервно розвиваються та вдосконалюються. Основні напрями цього розвитку визначаються рядом факторів, серед яких можна вказати на прагнення розширити сфери застосування, підвищити ступінь використання математичних методів та електронно-обчислювальної техніки, а також знайти шляхи усунення недоліків, що виявляються. Незважаючи на успіхи, досягнуті в останні роки у розробці та практичному використанні методу експертних оцінок, є низка проблем та завдань, що вимагають подальших методологічних досліджень та практичної перевірки. Необхідно вдосконалювати систему відбору експертів, підвищення надійності характеристик групової думки, розробку методів перевірки обґрунтованості оцінок, дослідження прихованих причин, що знижують достовірність експертних оцінок. Проте, вже сьогодні експертні оцінки разом із іншими математико-статистическими методами є важливим інструментом вдосконалення управління всіх рівнях.

Список літератури

1Орлов А.І. Експертні оцінки. // Заводська лабораторія. ? 1996. ? Т. 62. ? №1. ? З. 54-60.

2Орлов А.І. Експертні оцінки. Навч. допомога. - М: 2002.

Бешелєв С.Д., Гурвіч Ф.Г. Експертні оцінки у прийнятті планових рішень. Навч. допомога. - М: Економіка, 1976. ? 287 с.

Євланов Л.Г., Кутузов В.А. Експертні оцінки в управлінні. - М: Економіка, 1978. ? 133 с.

Менеджмент. Навч. допомога. / За ред. Ж.В. Прокоф'євої. – М.: Знання, 2000. – 288 с.

Бешелєв С.Д., Гурвіч Ф.Г. Експертні оцінки. - М: Наука, 1973. - 79 с.

Статистичні методи аналізу експертних оцінок. - М: Наука, 1977. - 384 с.

Моїсеєв Н.М. Математичні задачі системного аналізу. - М: Наука, 1981. - 487 с.

Литвак Б.Г.Експертні оцінки та прийняття рішень. - М: Патент, 1996.

Характеристики методів експертних оцінок [Електронний ресурс]: # "justify"> Експертне оцінювання. / Вікіпедія. [Електронний ресурс]: # "justify"> Експертні оцінки. // StatSoft: SPC Consulting. [Електронний ресурс]: http://www.spc-consulting.ru/app/expert.htm

Репетиторство

Потрібна допомога з вивчення якоїсь теми?

Наші фахівці проконсультують або нададуть репетиторські послуги з цікавої для вас тематики.
Надішліть заявкуіз зазначенням теми прямо зараз, щоб дізнатися про можливість отримання консультації.

Види експертного оцінювання

Сутність методу експертних оцінок полягає у проведенні експертами інтуїтивно-логічного аналізу проблеми з кількісною оцінкою суджень і формальною обробкою результатів. Отримане в результаті обробки узагальнену думку експертів сприймається як вирішення проблеми.

Характерними особливостями методу експертних оцінок як наукового інструменту вирішення складних неформалізованих проблем є:

· Науково обгрунтована організація проведення всіх етапів експертизи, що забезпечує найбільшу ефективність роботи на кожному з етапів,

· Застосування кількісних методів як при організації експертизи, так і при оцінці суджень експертів і формальної групової обробки результатів.

Особливим різновидом методу експертної оцінки є експертне опитування — різновид опитування, під час якого респондентами є експерти — висококваліфіковані фахівці у певній галузі діяльності.

Експерт - це компетентна особа, яка має глибоке знання про предмет чи об'єкт дослідження.

Метод передбачає компетентну участь фахівців у аналізі та вирішенні розглянутої проблеми.

У практиці психологічних та соціологічних досліджень використовується для:

· Прогнозу розвитку того чи іншого явища;

· Оцінки існуючого стану будь-якого явища;

· Збору попередньої інформації про проблему дослідження (зондаж);

· Оцінки психолого-педагогічних характеристик учнів;

· Оцінки колективу;

· Атестації персоналу (в ролі експертів вступають керівники колективу, громадських організацій або спеціальна атестаційна комісія).

Переваги методу експертних оцінок

Приймаючи рішення про будь-який діагноз, ми зазвичай припускаємо, що інформація, яка використовується для його обґрунтування, є достовірною та надійною. Але для багатьох педагогічних та психологічних завдань це припущення не вдається довести. Практика показує, що основні труднощі, що виникають при пошуку та виборі рішень, що стосуються різних психологічних ситуацій, обумовлені насамперед недостатньо високою якістю та неповнотою наявної статистичної інформації чи неможливістю в принципі її отримання. Тоді і приходить на допомогу метод експертів, який дозволяє поглянути на проблему широко і побачити можливе рішення.

Надійність оцінок і рішень, прийнятих на основі суджень експертів, досить висока і значною мірою залежить від організації та спрямованості процедури збирання, аналізу та обробки отриманих думок. Результати опитування груп експертів істотно відрізняються від рішень, що формуються в результаті дискусій на засіданнях комісій, де може взяти гору думка авторитетних або лише «напористих» учасників. Це не означає, що індивідуальна думка конкретного фахівця чи рішення такої комісії не є значущою. Однак належним чином оброблена інформація, отримана від групи експертів, як правило, виявляється більш достовірною та надійною.

Даний метод застосувати не вдасться, коли:

· Вихідна статистична інформація недостатньо достовірна;

· Деяка частина інформації має якісний характер і не піддається кількісній оцінці;

· В принципі необхідну інформацію отримати можна, проте в момент прийняття рішення вона відсутня, оскільки це пов'язано з великими витратами часу або коштів;

· Існує велика група факторів, які можуть вплинути на реалізацію рішення в майбутньому, але їх не можна точно передбачити.

Вимоги до експертної групи

Достовірність групового експертного оцінювання залежить від загальної кількості експертів у групі, пайового складу різних фахівців у групі, від характеристик експертів.

Складною проблемою є формування системи характеристик експерта, які можуть суттєво вплинути на перебіг та результати експертизи. Ці характеристики повинні описувати специфічні властивості спеціаліста і можливі відносини між людьми, що впливають на експертизу.

Відбір експертів, формування експертних груп - досить складне завдання, результат якого найбільшою мірою визначає ефективність методу та правильність отриманих рішень. Підбір фахівців для участі в експертному опитуванні починається з визначення наукових, технічних та адміністративних проблем, безпосередньо пов'язаних з вирішенням поставленого завдання.

Складається список компетентних у необхідних областях осіб, який є основою вибору експертів. Експерт у сенсі цього терміну - активний учасник наукового дослідження. Спроба приховати від нього мету дослідження, перетворивши, таким чином, на пасивне джерело інформації, загрожує втратою його довіри до організаторів дослідження.

Формування групи потенційних експертів починається з методу «снігової грудки». Оцінивши кількість можливих кандидатів на експерти, вирішується питання чисельності експертної групи. Оптимальну кількість навряд чи можна визначити точно, але очевидно, що у малій групі експертів на підсумкову оцінку надає зайвий вплив оцінка кожного з експертів. Занадто велика кількість експертів ускладнює формування узгодженої думки. Крім того, при збільшенні числа учасників зменшується роль нестандартних думок, що відрізняються від думки більшості, але не завжди є неправильними. Залучення великої кількості експертів дозволяє хоча б частково компенсувати нестачу інформації, повніше використовувати індивідуальний та колективний досвід, врахувати припущення фахівців про майбутні стани об'єктів.

Принципове значення має можливість забезпечення «рівноправності» вчених-фахівців різних напрямів, різного рівня компетентності з урахуванням специфіки проблеми, що досліджується.

Тим не менш, можна встановити деякі загальні вимоги, які мають на увазі реєстр якостей, якими повинен мати «ідеальний» експерт, з яким переважно працювати:

компетентність потенційного експерта в досліджуваній галузі,

· Ерудованість у суміжних областях,

· стаж наукової чи практичної роботи у певній сфері,

· Посадове становище,

· Принциповість,

· Об'єктивність,

· Здатність творчо мислити,

· Інтуїція.

Для відбору фахівців у робочу групу використовують деякі прості статистичні способи та прийоми, а також їхню комбінацію:

1) експериментальний (з використанням тестування, перевірки ефективності їхньої колишньої експертної діяльності);

2) документальний (з урахуванням соціально-демографічних даних);

4) за допомогою самооцінки (оцінка ступеня компетентності досліджуваної проблеми, що дається самим потенційним експертом).

Крім зазначених способів можливий розрахунок достовірності та точності експертних оцінок, представлених будь-яким із потенційних експертів у минулому. Для цього розраховують ступінь надійності експерта, під якою розуміється відносна частота випадків, коли експерт приписав найбільшу ймовірність гіпотезам, що згодом підтвердилися (тобто кількість прогнозів, зроблених експертом взагалі, ділиться на кількість здійснених прогнозів). Поняття надійності та точності експерта базується на припущенні про те, що існує клас завдань, для вирішення яких експерт або підходить або не підходить.

Процедура експертного оцінювання

Робота людини, що організує експертне опитування, включає ще й підготовку експертів до роботи, зокрема забезпечення їх максимально об'єктивними даними з проблеми. Слід дбати про достатню поінформованість учасників про джерела виникнення досліджуваної проблеми та шляхи вирішення подібних проблем у минулому.

У роботу входить:

· Складання спеціальних опитувальних листів для експертів Основний інструментарій експертного опитування - анкета або бланк-інтерв'ю, розроблені за спеціальною програмою. На відміну від масового опитування, програма опитування експертів менш деталізована і має переважно концептуальний характер. У ній, перш за все, однозначно формулюється явище, що підлягає розгляду, передбачається у вигляді гіпотез можливі варіанти його результату;

· Вибір групи експертів;

· Постановка завдання та пред'явлення питань експертам;

· Вибір способу експертних оцінок;

· Власне оцінювання;

· Аналіз отриманих даних.

Необхідно, щоб умови проведення опитування сприяли отриманню найдостовірніших оцінок. З метою забезпечення незалежності оцінок слід по можливості усувати взаємовплив експертів та зменшувати вплив сторонніх факторів. Велике значення має правильне формулювання питань опитувальника, що дозволяє висловити ставлення експерта щодо кожного питання у вигляді кількісної оцінки та дає можливість узгодити оцінки, отримані від різних експертів. Якщо форма опитування експертів передбачає їхню очну взаємодію, необхідно дбати про те, щоб думки найбільш відомих та авторитетних експертів не ставили тон дискусіям (для цього під час виступу спочатку надається слово «простим» учасникам, а потім найбільш відомим та авторитетним).

Може виявитися необхідною також:

· Перевірка вхідних даних, що використовуються для експертних оцінок;

· Зміна складу експертних груп;

· Повторні виміри з тих же питань з подальшим зіставленням результатів з об'єктивною інформацією, отриманою іншими методами.

Після проведення опитування групи експертів здійснюється обробка результатів. Вихідною інформацією для обробки є числові дані, що виражають переваги експертів, та змістовне обґрунтування цих переваг.

Метою обробки є отримання узагальнених даних і нової інформації, що міститься в прихованій формі в експертних оцінках. На основі результатів обробки формується рішення проблеми. Наявність як числових даних, так і змістовних висловлювань експертів призводить до необхідності застосування якісних і кількісних методів обробки результатів групового експертного оцінювання.

Одним із найбільш відповідальних етапів обробки зібраної інформації є узгодження експертних думок, що може бути зроблено на основі одного з таких правил:

Правило більшості — вибирається та оцінка явища або рішення завдання, яких дотримується більшість експертів (проте, треба зауважити, нерідкі ситуації, коли експерти, що дають більш достовірні оцінки, виявляються в меншості);

Правило середньої оцінки визначається або проста, або виважена середня оцінка думок експертів.

Якісний аналіз причин угруповання думок дозволяє встановити існування різних поглядів, концепцій, виявити наукові школи, визначити характер професійної діяльності і т.п. Всі ці фактори дають можливість глибше осмислити результати опитування експертів.

Види експертного оцінювання

Існуючі види експертних оцінок можна класифікувати за ознаками:

1 За формою участі експертів:

· Заочне.

Очний метод дозволяє зосередити увагу експерта на вирішуваній проблемі, що підвищує якість результату, проте заочний метод може бути дешевшим. Вибір варіантів роботи з експертами визначається специфікою проблеми та ситуацією. Очні варіанти роботи з експертами дозволяють зібрати якіснішу інформацію, хоча є складності організаційного порядку та взаємовпливу експертів. Заочні форми роботи з експертами дають можливість нехтувати географічними рамками при опитуванні експертів, виключає їх взаємовпливи, проте робить роботу експертних груп не оперативною.

Різновиди очного опитування:

1. Вільне інтерв'ю експертів. Має розвідувальну мету і частіше використовується, коли необхідно більш точно уявити проблему, уточнити деякі нюанси, чіткіше інтерпретувати поняття, що вживаються, і намітити основні напрямки дослідження. Число експертів, що інтерв'юються, тут невелике (10-15), але головне — щоб підібрані експерти були представниками різних у професійному та науковому відношенні точок зору. Таке інтерв'ю проводиться досвідченим соціологом.

2. Анкетне опитування експертів.

3. "Мозковий штурм", "мозкова атака" - прямий обмін думками, стимулювання спостереження. Основна мета - знаходження рішення або шляхів вирішення будь-якої наукової чи практичної проблеми.

Різновиди заочного опитування:

1. Поштове анкетне опитування експертів

2. Дельфійська техніка — полягає у виробленні узгоджених думок шляхом багаторазового повторення опитування тих самих експертів. Після першого опитування та узагальнення результатів його підсумки повідомляються учасникам експертної групи. Потім проводиться повторне опитування, під час якого експерти або підтверджують свою точку зору, або змінюють оцінку відповідно до думки більшості. Такий цикл містить у собі 3-4 проходи. У ході подібної процедури виробляється оцінка, але при цьому дослідник, звичайно, не повинен ігнорувати думку тих, хто після неодноразових опитувань залишився на своїй точці зору.

Очевидно, що даний вид роботи з експертами дуже трудомісткий і складний, хоча використання дельфійської техніки має свої переваги: ​​забезпечується анонімність опитування шляхом виключення взаємодії експертів; встановлення зворотного зв'язку у вигляді повідомлення обробленої інформації про погоджену думку експертів на попередніх етапах опитування; виключення взаємовпливу експертів. Метод Дельфи не має на меті досягти повної єдності думок експертів щодо суті питання, тому, незважаючи на зближення точок зору, різниця у думках експертів все одно існуватиме. Недоліком даного виду опитування експертів є залежність оцінок, наданих експертами від формулювань питань та аргументації; вплив громадської думки на експертів.

2. За розв'язуваними завданнями:

· генеруючі рішення;

· Оцінюють варіанти.

3. За типом відповіді:

· Ідейні;

· ранжируючі;

· Оцінюють об'єкт у відносній або абсолютній (чисельній) шкалі.

4. За способом обробки думок експертів:

· Безпосередні;

· Аналітичні.

5. За кількістю експертів, що залучаються:

· без обмеження;

· Обмежені (зазвичай використовується 5 - 12 осіб експертів).

Найбільш відомі методи експертних оцінок: метод Дельфі, мозковий штурм та метод аналізу ієрархій. Кожному методу відповідають свої терміни проведення та потреба в експертах.

Список літератури:

1. Бешелєв С.Д., Гурвіч Ф.Г. Експертні оцінки. М.: Наука, 1973. 246 з.

2. Бешелєв С.Д., Гурвіч Ф.Г. Математико-статистичні методи експертних оцінок. М: Статистика, 1980. 263 с.

3. Карданська Н. Прийняття управлінського рішення. М.: ЮНИТИ, 1999. 407 з.

Основні етапи обробки експертних оцінок:

· Визначення компетенції експертів;

· Визначення узагальненої оцінки;

· Побудова узагальненого ранжування об'єктів у разі декількох оцінюваних об'єктів або альтернатив);

· Визначення залежностей між ранжуваннями;

· Оцінка узгодженості думок експертів. За відсутності значної узгодженості експертів необхідно виявити причини неузгодженості (наявність груп) та визнати відсутність узгодженої думки (нікчемні результати);

· Оцінка помилки дослідження;

· Побудова моделі властивостей об'єкта (об'єктів) на основі відповідей експертів (для аналітичної експертизи);

· Підготовка звіту (із зазначенням мети дослідження, склад експертів, отримана оцінка та аналізу результатів).

26. Підбір експертів та їх опитування.

Часто пропонують використовувати методи взаємооцінки та самооцінки компетентності експертів. З одного боку, хто краще може знати можливості експерта, аніж він сам? З іншого боку, при самооцінці компетентності швидше оцінюється міра самовпевненості експерта, ніж його реальна компетентність. Тим паче, що саме поняття "компетентність" не визначено. Можна його уточнювати, виділяючи складові, але ускладнюється попередня частина діяльності експертної комісії.

При використанні методу взаємооцінки, окрім можливості прояву особистісних та групових симпатій та антипатій, відіграє роль непоінформованість експертів про можливості один одного. У сучасних умовах досить хороше знайомство з роботами та можливостями один одного може бути лише у фахівців, які багато років працюють спільно. Однак залучення таких пар фахівців не дуже доцільно, оскільки вони надто схожі один на одного.

Використання формальних показників (посада, вчені ступінь та звання, стаж, число публікацій...), очевидно, може мати допоміжний характер. Успішність участі у попередніх експертизах - добрий критерій для діяльності дегустатора, лікаря, судді у спортивних змаганнях, тобто. таких експертів, які беруть участь у довгих серіях однотипних експертиз. Однак, на жаль, найбільш цікаві та важливі унікальні експертизи великих проектів, які не мають аналогів.

Якщо процедура експертного опитування передбачає спільну роботу експертів, велике значення мають їх особисті якості. Один "балакун" може паралізувати діяльність усієї комісії. У разі важливо дотримання регламенту роботи, розробленого РГ.

Є корисний метод "снігової грудки", при якому від кожного фахівця, який залучається як експерт, отримують кілька прізвищ тих, хто може бути експертом з тематики, що розглядається. Очевидно, деякі з цих прізвищ зустрічалися раніше у діяльності РГ, а деякі – нові. Процес розширення списку припиняється, коли нові прізвища перестають зустрічатися. У результаті виходить досить великий перелік потенційних експертів. Ясно, що якщо на першому етапі всі експерти були з одного "клану", то й метод "снігової грудки" дасть, швидше за все, осіб із цього "клану", думки та аргументи інших "кланів" будуть втрачені.

Необхідно наголосити, що підбір експертів зрештою - функція Робочої групи, і жодні методики підбору не знімають із неї відповідальності. Іншими словами, саме на Робочій групі лежить відповідальність за компетентність експертів, за їхню принципову здатність вирішити поставлене завдання. Важливою є вимога до ЛПР щодо затвердження списку експертів.

Існує ряд нормативних документів, що регулюють діяльність експертних комісій у тих чи інших сферах. Прикладом є Закон Російської Федерації "Про екологічну експертизу" від 23 листопада 1995 р., в якому регламентується процедура експертизи "господарської або іншої діяльності, що намічається" з метою виявлення можливої ​​шкоди, яку може завдати аналізована діяльність навколишньому природному середовищу.

27. Обробка інформації, що отримується від експертів, перевірка її узгодженості та достовірності.

Експертними оцінками називають методи загальної групи методів наукового дослідження, які використовуються для оцінювання складних систем на якісному рівні.

При використанні експертних оцінок зазвичай передбачається, що думка групи експертів надійніша, ніж думка окремого експерта. У деяких теоретичних дослідженнях зазначається, що це припущення не є очевидним, але одночасно стверджується, що при дотриманні певних вимог у більшості випадків групові оцінки надійніші за індивідуальні. Тому важливо при організації експертних опитувань запроваджувати певні правила та використовувати відповідні методи отримання та обробки експертних оцінок.

Алгоритм організації експертних опитувань включає етапи, у яких розглядаються такі вопросы:

· Проблеми формування експертних груп, включаючи вимоги до експертів, розміри групи, питання тренування експертів, оцінки їх компетентності;

· Форми експертного опитування (різного роду анкетування, інтерв'ю, змішані форми опитування) та методики організації опитування (у тому числі методики анкетування, мозкова атака, ділові ігри тощо);

· Підходи до оцінювання (ранжування, нормування, різні види впорядкування, у тому числі методи переваг, парних порівнянь та ін);

· Методи обробки експертних оцінок;

· способи визначення узгодженості думок експертів, достовірності експертних оцінок (у тому числі статистичні методи оцінки дисперсії, ймовірності для заданого діапазону змін оцінок, рангової кореляції Кендала, Спірмена, коефіцієнта конкордації тощо) та методи підвищення узгодженості оцінок шляхом відповідних способів обробки результатів експертного опитування;

· Варіанти інтерпретації отриманих результатів.

Доцільність застосування тієї чи іншої методу визначається характером аналізованої проблеми, використовуваної інформації.

Якщо виправдані лише якісні оцінки об'єктів за тими чи іншими якісними ознаками, використовуються методи ранжування, парного і множинного порівняння. Якщо характер аналізованої інформації такий, що доцільно отримати чисельні оцінки об'єктів, можна використовувати той чи інший метод, починаючи від безпосередніх чисельних оцінок з використанням шкал і закінчуючи тоншими методами послідовного порівняння, наприклад, Черчмена-Акоффа.

Процедури експертизи

У процесі експертиз можуть бути похибки – зміщення оцінок, внесені процедурою збору та аналізу думок експертів. Тому фахівці в галузі експертних методів приділяють велику увагу розробці надійних правил підготовки та проведення експертиз. Нижче розглянуто найбільш суттєві правила та етапи проведення експертиз.

Для підготовки експертизи має бути сформована група спеціалістів-організаторів. Ця група покликана забезпечити умови для ефективної діяльності експертів, розробити процедуру експертизи, що найбільш відповідає характеру цієї проблеми. До завдань групи входить:

· Постановка проблеми, визначення цілей та завдань експертизи, її кордонів, основних етапів;

· Розробка процедури експертизи;

· Відбір експертів, перевірка їх компетентності та формування груп експертів:

· Проведення опитування та узгодження оцінок;

· Формалізація отриманої інформації, її обробка, аналіз та інтерпретація.

Чисельність групи експертів має бути малою, оскільки у разі буде втрачено сенс формування експертних оцінок. Крім того, на групові оцінки значною мірою впливала оцінка кожного експерта. У той же час, за дуже великої кількості експертів оцінка кожного з них майже не впливає на групову оцінку. Зростання чисельності експертної групи не завжди підвищує достовірність оцінок, тому що найчастіше розширення групи експертів можливе лише за рахунок залучення малокваліфікованих спеціалістів. Зі зростанням числа експертів, крім того, збільшуються труднощі, пов'язані з обробкою результатів опитування та координацією роботи групи.

Перед експертним опитуванням мають бути розроблені правила його проведення та організації, що містять низку положень, обов'язкових для всіх експертів. Ці правила повинні забезпечувати дотримання умов, які сприяють формуванню експертами об'єктивної думки. До таких умов належать:

· Незалежність формування експертами власної думки про оцінювані події;

· Збереження анонімності відповідей;

· Можливість проведення колективних обговорень подій, що оцінюються;

· Надання експертам необхідної інформації.

Залежно від важливості та складності проблеми та відповідно завдань, що покладаються на групу організаторів, до її складу включають до п'яти – семи осіб – фахівців у цій галузі (областях) знань, а також фахівців з експертних методів (соціологів, психологів, математиків).

Підготовку експертизи починають із постановки проблеми. Для цього, перш за все, знайомляться з передісторією та станом проблеми, встановлюють її місце та значення. Після цього проводиться попередній аналіз проблеми, уточнюються всі зовнішні та внутрішні зв'язки, визначаються межі матеріалу, що включається до розгляду. Для цього організатори експертизи висувають центральне питання, що становить істоту проблеми, а потім «розщеплюють» його на запитання, при цьому обмежують «поле» розгляду лише тими запитаннями, без відповіді на які не можна отримати відповіді на центральне питання.

При вирішенні складних соціально-економічних та науково-технічних проблем експерти, які представляють різні галузі знань, звертаються до понять різних дисциплін. Тому необхідно сформулювати основні поняття. використовувані під час проведення експертизи.

Залежно від цілей і завдань експертизи, від підбору фахівців, що беруть участь у ній, організатори експертизи обирають метод опитування:індивідуальний чи груповий (колективний), особистий (очний) чи заочний, усний чи письмовий.

Незалежно від того, чи йдеться про анкету чи інтерв'ю, в основі опитування лежить опитувальник, за допомогою якого здійснюється збір необхідної інформації. Переклад мети та завдання експертизи на мову питань вимагає від організаторів експертизи складної та копіткої роботи, знання різних типів питань, уміння точно сформулювати їх, розташувати у певній послідовності.

Анкета – це структурно організований набір питань, кожен із яких логічно пов'язані з центральним завданням експертизи. Усі питання анкети залежно від їх змісту можна поділити на три групи: дані про самого експерта (його віку, посади, стаж роботи, освіту, наукове звання, вузьку спеціалізацію тощо); питання щодо суті досліджуваної проблеми; питання, що дозволяють оцінити мотиви, яких дотримувався експерт у своєму аналізі.

За формою розрізняють питання відкриті, закриті та напівзакриті; прямі та непрямі. Питання вважається відкритим (вільним), якщо відповідь на нього може бути дана в будь-якій формі і нічим не регламентована, закрита – якщо в її формулюванні містяться варіанти можливих відповідей, а експерт повинен вибрати одну або декілька; напівзакритим, якщо переліком передбачена можливість будь-яких додаткових зауважень.

Розрізняють три види питань, за якими дається експертна оцінка, - питання, відповіді на які містять кількісну оцінку (1), що потребують змістовної відповіді у стислій (2) та розгорнутій (3) формі.

Робота з відбору експертів, що у експертизі, зазвичай починається зі складання списку компетентних у досліджуваної області осіб. Цей список є основою вибору експертів з допомогою спеціальних методів оцінки їх якостей. Розрізняються чотири основні групи таких методів: - самооцінки; оцінки групою кожного фахівця; оцінка з урахуванням результатів минулої діяльності експерта; методи оцінки компетентності кандидатів на експерти.

©2015-2019 сайт
Усі права належати їх авторам. Цей сайт не претендує на авторства, а надає безкоштовне використання.
Дата створення сторінки: 2016-04-27