МИНИСТЕРСТВО НА ОБРАЗОВАНИЕТО

РУСКА ФЕДЕРАЦИЯ

АЛТАЙСКИ ДЪРЖАВЕН УНИВЕРСИТЕТ

Стопански факултет

Отдел за управление на кризи, бизнес оценка и иновации

МЕТОД НА ЕКСПЕРТНИТЕ ОЦЕНКИ

(курсова работа)

Попълнено от ученик

3 курса, група 277

Стрекалова С.Б.

Защитена работа

Барнаул – 1999г

Въведение 3

Глава 1. ЕКСПЕРТИЗА В УПРАВЛЕНИЕТО 5

1.1. Ролята на експертите в управлението 5

1.2. Метод на експертна оценка 7

1.3. Организация на експертна оценка 9

1.4. Избор на експерти 9

1.5. Експертно проучване 10

Глава 2. ФОРМАЛИЗАЦИЯ НА ИНФОРМАЦИЯТА

И СКАЛИ ЗА СРАВНЕНИЯ 12

Глава 3. ОБРАБОТКА НА ЕКСПЕРТНИ ОЦЕНКИ 16

3.1. Задачи за обработка 16

3.2. Групова оценка на обекти 17

3.3. Оценка на последователността на експертните мнения 22

3.4. Обработка на сравнения на обекти по двойки 25

3.5. Определяне на връзката между класациите 27

Заключение 31

Литература 32

ВЪВЕДЕНИЕ

Съвременната икономика поставя нови, по-високи изисквания към управлението. Въпросите за подобряване на методите на управление сега стават много важни, тъй като именно в тази област има още по-големи резерви за повишаване на ефективността на националната икономика.

Съществен фактор за повишаване на научното ниво на управление е използването на математически методи и модели при подготовката на решения. Въпреки това, пълната математическа формализация на технически и икономически проблеми често не е осъществима поради тяхната качествена новост и сложност. В тази връзка все по-често се използват експертни методи, които се разбират като набор от логически и математико-статистически методи и процедури, насочени към получаване от специалистите на информацията, необходима за подготовка и избор на рационални решения.

Сега експертните методи се използват в ситуации, когато изборът, обосновката и оценката на последствията от решенията не могат да бъдат направени въз основа на точни изчисления. Такива ситуации често възникват при разработването на съвременните проблеми на управлението на общественото производство и особено при прогнозирането и дългосрочното планиране. През последните години експертните оценки намериха широко приложение в социално-политическото и научно-техническото прогнозиране, при планирането на националната икономика, отраслите, асоциациите, при разработването на големи научни, технически, икономически и социални програми и при решаването на отделни управленски проблеми. .

С развитието на общественото производство нараства не само сложността на управлението, но и изискванията към качеството на вземаните решения. За да се повиши валидността на решенията и да се вземат предвид многобройните фактори, които влияят на техните резултати, е необходим цялостен анализ, основан както на изчисления, така и на аргументирани преценки на ръководители и специалисти, запознати със състоянието и перспективите за развитие в различни области. на практическата дейност. Използването на експертни методи осигурява активно и целенасочено участие на специалисти на всички етапи от вземането на решения, което може значително да подобри тяхното качество и ефективност.

Целта на нашата работа е да изучим метода на експертните оценки - един от най-важните етапи при вземането на компетентни управленски решения.

1) изучаване на ролята на експертизата в управлението;

2) разглеждане на процедурата за организиране на експертна оценка;

3) изучаване на видовете везни и реда на тяхното използване;

4) подробно разглеждане на последния етап от експертната оценка - обработка на експертни оценки.

Резюмето се състои от въведение, три глави, заключение и списък с литература.

Първата глава разглежда необходимостта от експертиза в управлението, разглежда метода на експертните оценки и етапите на организиране на експертната оценка.

Втората глава е посветена на разглеждането на скалите за сравнение, дадени са характеристиките на всеки тип скала и процедурата за тяхното използване при формализиране на информация.

Третата глава разглежда обработката на експертни оценки: задачи за обработка, групова оценка на обекти, оценка на съгласуваността на експертните мнения, обработка на двойки сравнения на обекти и определяне на връзката на класирането.

Тъй като целта на тази работа е да разгледа експертната оценка в теоретичен аспект, практическото приложение не се разглежда.

В заключение се разглежда ролята на експертния метод за оценка при вземането на управленски решения.

Глава 1. ЕКСПЕРТИЗА В УПРАВЛЕНИЕТО

1.1. Ролята на експертите в управлението

Съвременното общество се развива под все по-голямото влияние на научно-техническата революция, която причинява фундаментални промени в производството, дълбоки промени в структурата и икономиката на националната икономика. Продължаващата научно-техническа революция по своето влияние далеч надхвърля сферата на материалното производство, обхващайки всички аспекти на живота на обществото, предопределяйки повечето решения, насочени към неговото рационално икономическо и социално развитие.

Историята на развитието на науката, технологиите и производството показва, че едновременно с последователната замяна на функциите на човека с функции на машината, неговата роля в областта на управлението нараства. Постоянното увеличаване на обема на разходите за развитие на науката, за създаване на нови технологии и подобряване на производството значително увеличава значението на решенията, взети на всички нива на управление на националната икономика. Бъдещето на науката. Технологията и икономиката до голяма степен зависят от качеството и навременността на тези решения и под тяхно влияние обективните тенденции в научно-техническия прогрес могат да се ускорят или забавят.

Методите за оптимизация, базирани на използването на формални, най-често математически модели, които спестяват време и пари при решаването на много практически проблеми, сега придобиват особено значение в управлението. Изграждането на модели помага да се въведат сложни и понякога несигурни фактори, свързани с проблем с вземането на решение, в логически последователна схема и да се определи какви данни са необходими за оценка и избор на алтернативи.

В процеса на управление съществува естествено желание да се намери решение, което е обективно най-доброто от всички възможни. Математическото програмиране вече се използва широко като инструмент за оптимизация. Успехите в прилагането на математическото програмиране за решаване на различни видове икономически, научни, технически и военни проблеми доведоха до методологически възгледи, според които фундаментално решение на проблемите на управлението е възможно само когато всичките му аспекти са показани в система от взаимосвързани математически модели.

Въпреки това формализирането на технически, икономически и управленски решения се усложнява от редица характеристики на съвременния етап на научно-техническия прогрес. Животът на обществото е толкова сложен, че е трудно да се разчита на появата на модели, които напълно отразяват естеството и количествените отношения на социално-икономическите процеси. Истинската реалност винаги е по-сложна от най-фините математически модели и нейното развитие често изпреварва формалното знание. Управленските проблеми изискват участието на хората като неразделен елемент от решението. И накрая, самият процес на управление винаги включва ориентация не само към цифровите данни, но и към обикновения здрав разум. Използването на математическо програмиране и компютърни технологии позволява да се вземат решения въз основа на по-пълна и надеждна информация. Но няма съмнение, че при всякакви условия изборът на рационално решение изисква нещо повече от добър математически модел.

Когато вземаме решения, обикновено приемаме, че информацията, използвана в подкрепа на тях, е валидна и надеждна. Но за много икономически, научни и технически проблеми, които са качествено нови и неповтарящи се по природа, това предположение или очевидно не се реализира, или не може да бъде доказано по време на вземане на решение.

Наличието на информация и правилността на нейното използване до голяма степен определят оптималността на избраното решение. В допълнение към данните, състоящи се от цифрови статистически величини, информацията включва други величини, които не могат да бъдат директно измерени, като например предположения относно възможни решения и техните резултати. Практиката показва, че основните трудности, които възникват при търсенето и избора на бизнес решения, се дължат преди всичко на недостатъчно високото качество и непълнотата на наличната информация.

Основните трудности, свързани с информацията, които възникват при разработването на сложни решения, могат да бъдат разделени на следните групи.

Първо, първоначалната статистическа информация често не е достатъчно надеждна.

Второ, част от информацията е качествена по природа и не може да бъде количествено определена. По този начин е невъзможно точно да се изчисли степента на влияние на социалните и политическите фактори върху изпълнението на плановете, да се оцени икономическият ефект от бъдещи изобретения и др. Но тъй като тези фактори и явления оказват значително влияние върху резултатите от решенията, те не могат да бъдат пренебрегнати.

Трето, в процеса на подготовка на решения често възникват ситуации, когато по принцип е възможно да се получи необходимата информация, но в момента на вземане на решение тя не е налична, тъй като това е свързано с голяма инвестиция на време или пари.

Четвърто, има голяма група фактори, които могат да повлияят на изпълнението на дадено решение в бъдеще, но те не могат да бъдат точно прогнозирани.

Пето, една от най-значимите трудности при избора на решения е, че всяка научна или техническа идея съдържа потенциал за различни схеми за нейната реализация и всяко икономическо действие може да доведе до множество резултати. Проблемът с избора на най-добрия вариант на решение може да възникне и поради това, че обикновено има ограничения на ресурсите и следователно приемането на една опция винаги е свързано с отхвърляне на други решения.

Шесто, когато избираме най-доброто решение, често се сблъскваме с неяснотата на обобщен критерий, въз основа на който можем да сравним възможните резултати. Многозначността, многоизмерността и качествените различия на индикаторите са сериозна пречка за получаване на обобщена оценка за относителната ефективност, важност, стойност или полезност на всяко от възможните решения.

В тази връзка една от основните характеристики на решаването на сложни проблеми е, че използването на изчисления тук винаги е преплетено с използването на преценки на мениджъри, учени и специалисти. Тези преценки позволяват поне частично да се компенсира липсата на информация, да се използва по-пълноценно индивидуалният и колективният опит и да се вземат предвид предположенията на специалистите за бъдещото състояние на обектите. Моделът на развитие на науката и технологиите е, че нови знания и научна и техническа информация се натрупват за дълъг период от време. Често това натрупване се случва в скрита форма в съзнанието на учени и разработчици. Те, както никой друг, са в състояние да оценят перспективите на областта, в която работят, и да предвидят характеристиките на онези системи, в чието създаване са пряко включени.

Опитът показва, че използването на несистематизирани преценки на отделни специалисти при решаването на много сложни научно-технически проблеми не е достатъчно ефективно поради разнообразието от връзки между основните елементи на такива проблеми и невъзможността да се обхванат всички. Когато се използват традиционни процедури за изготвяне на решения, често не е възможно да се разгледа широк набор от фактори и да се вземе предвид целия набор от алтернативни начини за решаване на проблеми.

Всичко това ни принуждава да прибягваме до набиране на групи от специалисти, представляващи различни области на знанието като експерти. Използването на групова експертиза позволява не само да се вземат предвид много аспекти и фактори, но и да се комбинират различни подходи, с помощта на които мениджърът намира най-доброто решение.

1.2. Метод на експертна оценка

Същността на метода за експертна оценка е, че експертите извършват интуитивно-логически анализ на проблем с количествена оценка на преценките и формална обработка на резултатите. Обобщеното експертно мнение, получено в резултат на обработката, се приема като решение на проблема. Интегрираното използване на интуицията (несъзнателно мислене), логическото мислене и количествените оценки с тяхната формална обработка ни позволява да получим ефективно решение на проблема.

Когато изпълняват ролята си в управленския процес, експертите изпълняват две основни функции: формират обекти (алтернативни ситуации, цели, решения и др.) И измерват техните характеристики (вероятности за настъпване на събития, коефициенти на значимост на целите, предпочитания за решения и др.) .) . Формирането на обекти се извършва от експерти въз основа на логическо мислене и интуиция. В този случай знанията и опитът на експерта играят голяма роля. Измерването на характеристиките на обектите изисква експерти да познават теорията на измерването.

Характерните особености на метода за експертна оценка като научен инструмент за решаване на сложни неформализируеми проблеми са, първо, научно обоснованата организация на всички етапи на изпита, осигуряваща най-голяма ефективност на работата на всеки етап, и, второ, използването на на количествени методи както при организиране на изпита, така и при оценяване на експертни оценки и формална групова обработка на резултатите. Тези две характеристики отличават метода на експертните оценки от обичайния отдавна познат преглед, широко използван в различни сфери на човешката дейност.

Експертните колективни оценки бяха широко използвани в национален мащаб за решаване на сложни проблеми на управлението на националната икономика още в първите години на съветската власт. През 1918 г. към Висшия съвет на народното стопанство е създаден Експертен съвет, чиято задача е да решава най-сложните проблеми на преустройството на народното стопанство на страната. При изготвянето на петгодишните планове за развитие на народното стопанство на страната системно се използват експертни оценки на широк кръг специалисти.

В момента у нас и в чужбина методът на експертните оценки се използва широко за решаване на важни проблеми от различно естество. В различни отрасли, асоциации и предприятия има постоянни или временни експертни комисии, които формулират решения по различни сложни неформализирани проблеми.

Целият набор от лошо формализирани проблеми може да бъде разделен на два класа. Първият клас включва проблеми, за които има достатъчно информационен потенциал за успешно решаване на тези проблеми. Основните трудности при решаването на първокласни проблеми по време на експертна оценка са в реализирането на съществуващия информационен потенциал чрез подбор на експерти, конструиране на рационални процедури за проучване и прилагане на оптимални методи за обработка на резултатите от него. В този случай методите за изследване и обработка се основават на използването на принципа на „добър“ измервателен уред. Този принцип означава, че са изпълнени следните хипотези:

1) експертът е хранилище на голямо количество рационално обработена информация и следователно може да се счита за висококачествен източник на информация;

2) груповото мнение на експертите е близко до истинското решение на проблема.

Ако тези хипотези са верни, тогава резултатите от теорията на измерването и математическата статистика могат да бъдат използвани за конструиране на процедури за проучване и алгоритми за обработка.

Вторият клас включва проблеми, по отношение на които информационният потенциал на знанието е недостатъчен, за да осигури увереност във валидността на посочените хипотези. Когато решават проблеми от този клас, експертите вече не могат да се считат за „добри измерватели“. Ето защо е необходимо резултатите от изследването да се обработват много внимателно. Използването на методи за осредняване, които са валидни за „добри измервателни уреди“ в този случай може да доведе до големи грешки. Например мнението на един експерт, което е много различно от мненията на други експерти, може да се окаже правилно. В тази връзка за проблеми от втори клас трябва да се използва предимно качествена обработка.

Обхватът на приложение на метода на експертната оценка е много широк. Изброяваме типични проблеми, решени по метода на експертните оценки:

1) съставяне на списък с възможни събития в различни области за определен период от време;

2) определяне на най-вероятните времеви интервали за настъпване на набор от събития;

3) определяне на целите и задачите на управлението, подреждането им по степен на важност;

4) идентифициране на алтернативи (варианти за решаване на проблема с оценка на техните предпочитания;

5) алтернативно разпределение на ресурсите за решаване на проблеми с оценка на тяхното предпочитание;

6) алтернативни възможности за вземане на решения в определена ситуация с оценка на тяхното предпочитание.

За решаване на изброените типични проблеми в момента се използват различни видове методи за експертна оценка. Основните видове включват: въпросници и интервюта; мозъчна атака; дискусия; среща; оперативна игра; сценарий.

Всеки от тези видове експертна оценка има своите предимства и недостатъци, които определят рационалния обхват на приложение. В много случаи най-голям ефект се постига чрез интегрираното използване на няколко вида изследвания.

Въпросникът и сценарият изискват индивидуална работа от експерт. Интервюто може да се проведе индивидуално или с група експерти. Други видове експертиза изискват колективно участие на експерти в работата. Независимо от индивидуалното или груповото участие на експерти в работата, препоръчително е да получите информация от много експерти. Това дава възможност въз основа на обработката на данни да се получат по-надеждни резултати, както и нова информация за зависимостта на явления, събития, факти и експертни оценки, която не се съдържа изрично в изказванията на експертите.

При използването на метода на експертните оценки възникват проблеми. Основните са: подбор на експерти, провеждане на анкета на експерти, обработка на резултатите от анкетата, организиране на изпитни процедури.

1.3. Организация на експертна оценка

Първият етап от организирането на работата по използването на експертна оценка е подготовката и публикуването на ръководен документ, който формулира целта на работата и основните разпоредби за нейното изпълнение. Този документ трябва да отразява следните въпроси: изложение на експерименталния проблем; цели на експеримента; обосновка на необходимостта от експеримента; време за изпълнение; задачи и състав на управленската група; отговорности и права на групата; финансова и материална подкрепа за работа.

За изготвянето на този документ, както и за надзор на цялата работа, се назначава ръководител на изпита. На него е възложено формирането на управленска група и отговорността за организиране на нейната работа.

След формирането управленската група извършва работа по избор на експертна група в приблизително следната последователност: разбиране на проблема, който се решава; определяне на кръга от области на дейност, свързани с проблема; определяне на дела на експертите във всяка област на дейност; определяне броя на експертите в групата; изготвяне на предварителен списък на експертите, като се вземе предвид тяхното местоположение; анализ на качествата на експертите и уточняване на списъка на експертите в групата; получаване на съгласие от експерти за участие в работата; съставяне на окончателния списък на експертната група.

Успоредно с процеса на формиране на експертна група, ръководната група разработва организацията и методиката за провеждане на експертни интервюта. В този случай се решават следните въпроси: място и време на изследването; брой и цели на кръговете на проучването; анкетна форма; процедурата за записване и събиране на резултатите от проучването; състав на необходимите документи.

Следващият етап от работата на групата за управление е определяне на организацията и методологията за обработка на данните от проучването. На този етап е необходимо да се определят задачите и времето за обработка, процедурите и алгоритмите за обработка, силите и средствата за извършване на обработка.

В процеса на директно провеждане на проучване на експерти и обработка на резултатите от него, управленската група извършва набор от дейности в съответствие с разработения план, като го коригира, ако е необходимо, по отношение на съдържанието, времето и осигуряването на ресурси.

Последният етап от работата на управленската група е да формализира резултатите от работата. На този етап се анализират резултатите от експертната оценка; съставяне на отчет; обсъждане и одобряване на резултатите; представяне на резултатите от работата за одобрение; запознаване с резултатите от проверката на организации и лица.

1.4. Подбор на експерти

За осъществяване на процедурата по експертна оценка е необходимо да се сформира група от експерти. Общото изискване при формиране на експертна група е ефективното решаване на проблема с експертизата. Ефективността на решаването на проблема се определя от характеристиките на надеждността на изследването и разходите за него.

Надеждността на експертната оценка може да се определи само въз основа на практическо решение на проблема и анализ на неговите резултати. Използването на експерти се дължи именно на факта, че няма други начини за получаване на информация. Следователно оценката на надеждността на изследването може да се извърши, като правило, само въз основа на апостериорни (постекспериментални) данни. Ако прегледът се извършва систематично с приблизително същия състав от експерти, тогава става възможно да се натрупат статистически данни за надеждността на работата на група експерти и да се получи стабилна числена оценка на надеждността. Тази оценка може да се използва като априорна информация за надеждността на групата от експерти за последващи прегледи.

Надеждността на груповата експертна оценка зависи от общия брой експерти в групата, съотношението на различните специалисти в групата и характеристиките на експертите.

Определянето на характера на зависимостта на надеждността от изброените фактори е друг проблем в процедурата по подбор на експерти.

Труден проблем в процедурата за подбор е формирането на система от експертни характеристики, които значително влияят върху хода и резултатите от изпита. Тези характеристики трябва да описват специфичните свойства на специалиста и възможните взаимоотношения между хората, които влияят на изследването. Важно изискване към характеристиките на експерта е измеримостта на тези характеристики.

Друг проблем е организацията на процедурата по избор на вещи лица, т.е. определяне на ясна последователност от извършена работа в процеса на подбор на експерти и необходимите ресурси за тяхното изпълнение.

Максималният брой експерти в група се проверява за ограничения на финансовите ресурси. След като определи връзката между надеждността, броя на експертите и разходите за плащане, управленската група представя тази информация на ръководството и формулира възможни алтернативи за решение. Такива алтернативи могат да бъдат или намаляване на надеждността на резултатите от експертната оценка до ниво, което гарантира спазването на ограничението за разходите за заплащане на експерти, или запазване на първоначалното изискване за надеждност на изследването и увеличаване на разходите за заплащане на експерти.

Следващият етап от процеса на подбор на експерти е съставянето на предварителен списък от експерти. При съставянето на този списък се извършва анализ на качествата на експертите. Освен отчитане на качествата на вещите лица се определя тяхното местоположение и възможността за участие на избрани специалисти в прегледа. При оценката на качествата се взема предвид мнението на хора, които познават добре кандидат-експертите.

След съставянето на списък на вещите лица им се изпращат писма с покана за участие в експертизата. Писмата разясняват целта на изпита, времето, реда, обхвата на работата и условията на възнаграждението. Писмата са придружени от формуляри за експертни данни и самооценка на компетентността. След получаване на отговорите на експертите, мениджърският екип съставя окончателен списък с експерти.

След съставянето и одобряването на списъка се изпраща съобщение до експертите за включването им в експертната група. Ако експертната оценка се извършва чрез въпросник, тогава едновременно с уведомлението за включване в експертната група на всички експерти се изпраща въпросник с необходимите инструкции за попълването им. Уведомяването на експертите за включването им в експертизата приключва работата по избора на вещи лица.

1.5. Експертно проучване

Проучването е основният етап от сътрудничеството между управленската група и експертите. Основното съдържание на анкетата е:

Постановка на проблема и представяне на въпроси към експерти;

Информационно осигуряване на работата на експертите;

Разработване на съждения, оценки, предложения от експерти;

Сборник с резултати от работата на експертите.

Има три вида проблеми, които се решават по време на процеса на проучване:

Качествена или количествена оценка на определени обекти;

Изграждане на нови съоръжения;

Изграждане и оценка на нови обекти.

При колективното изследване се използват следните основни видове анкети: дискусия, анкетиране и интервюиране, методът на колективно генериране на идеи или мозъчна атака.

Въпросниците могат да се провеждат със или без обратна връзка. При анкетиране с обратна връзка, анкетирането на експертите се провежда на няколко етапа, като се представят на вниманието на експертите някои от резултатите от анкетата на предходния етап, включително оценките на отделните експерти и техните аргументи.

Основното при организирането на анкета е да се осигури максимална информация и максимална творческа активност и експертна независимост. Необходимо е да се стремим да предоставим на всеки експерт, доколкото е възможно, цялата информация, свързана с анализираното явление, която е на разположение както на експертите, така и на организаторите на проучването, без в същото време да лишава експерта от творческа независимост и активност.

Способността на експерта да обработва информация обаче е ограничена. В резултат на това експертът може да вземе решение, без да използва цялата информация, с която разполага. Освен това новата информация се възприема от човек с определена вътрешна съпротива и не засяга веднага вече установените субективни оценки. Отношението към новата информация е по-благосклонно, а нейното възприемане и използване е по-пълноценно, ако е поднесена в разбираема, ярка и компактна форма.

От тези психологически характеристики следва необходимостта да се предоставят на експертите възможности за записване на постъпваща информация чрез водене на записи, използване на технически средства, както и необходимостта от предварителна обработка на информацията и представянето й на експертите в най-възприемаемата форма.

Необходимо е да се подчертае противоречивият характер на обмена на информация между експертите, тъй като получаването на такава информация крие опасност от загуба на творческа независимост при изграждането на модел на обект от експерт. Невъзможно е напълно да се разреши това противоречие и по време на всеки преглед неговите организатори трябва да намерят разумен компромис, на първо място, като изберат вида на изследването, формата и степента на комуникация между експертите.

Всеки тип проучване има своите предимства и недостатъци при изграждането на обмена на информация между експертите и при организирането на тяхното самостоятелно творчество. Изборът на един или друг тип проучване се определя от много фактори, основните от които са:

Целта и задачите на изпита;

Същността и сложността на анализирания проблем;

Пълнота и достоверност на изходната информация;

Необходимият обем и достоверност на информацията, получена в резултат на проучването;

Време, отделено за анкетата и прегледа като цяло;

Приемлива цена на проучването и изследването като цяло;

Брой експерти и членове на управленския екип, техните характеристики.

Анкетирането е най-ефективният и най-разпространен вид проучване, тъй като позволява най-доброто съчетаване на информационната подкрепа на експертите с тяхното самостоятелно творчество.

Глава 2. ФОРМАЛИЗАЦИЯ НА ИНФОРМАЦИЯТА И СКАЛИ ЗА СРАВНЕНИЯ

Рационалното използване на информацията, получена от експерти, е възможно при условие, че тя е оформена във форма, удобна за по-нататъшен анализ, насочен към подготовка и вземане на решения.

Възможностите за формализиране на информацията зависят от специфичните характеристики на обекта, който се изследва, надеждността и пълнотата на наличните данни и нивото на вземане на решения. Формата на представяне на експертните данни също зависи от възприетия критерий, изборът на който от своя страна се влияе значително от спецификата на изследвания проблем.

Формализирането на информацията, получена от експерти, трябва да има за цел да подготви решения на такива технически, икономически и бизнес проблеми, които не могат да бъдат напълно описани математически, тъй като са „слабо структурирани“, т.е. съдържат несигурности, свързани не само с измерването, но и със самото естество на целите, които се изучават, средствата за постигането им и външните условия.

Когато се анализират перспективите, е необходимо не само да се представи под формата на косвени оценки част от информацията, която не може да бъде количествено определена, а не само да се изрази с помощта на такива оценки количествено измерима информация, за която към момента няма достатъчно надеждни данни. за изготвяне на решението. Най-важното е тази информация да се формализира по такъв начин, че да помогне на вземащия решение да избере от множество действия едно или повече, които са най-предпочитани по отношение на даден критерий.

Ако експертът е в състояние да сравни и оцени възможните варианти за действие, присвоявайки определен номер на всеки от тях, тогава той има определена система от предпочитания. В зависимост от мащаба, в който тези предпочитания могат да бъдат конкретизирани, експертните оценки съдържат по-голямо или по-малко количество информация и имат различна способност да бъдат формализирани.

Изследваните обекти или явления могат да бъдат идентифицирани или разграничени въз основа на характеристики или фактори. Коефициентът е набор, състоящ се от най-малко два елемента, отразяващи различни нива на някои количества, които трябва да бъдат взети под внимание. Нивото на някои фактори може да бъде изразено количествено (в рубли, проценти, килограми и т.н.) - такива фактори се наричат ​​количествени. Нивото на другите не може да се изрази с числа, те се наричат ​​качествени.

Факторите условно се разделят на дискретни и непрекъснати. Факторите с определен, обикновено малък брой нива са дискретни. Факторите, чиито нива се считат за образуващи непрекъснат набор, се наричат ​​непрекъснати. В зависимост от целите и възможностите на анализа едни и същи фактори могат да се третират като дискретни или непрекъснати.

Нека разгледаме основните логически аксиоми, които се използват в експертните методи при формализиране на информация с помощта на различни скали.

Използвайки номинални скалиизследваните обекти могат да бъдат идентифицирани и разграничени въз основа на три аксиоми за идентификация:

1) азили има й, или няма й ;

2) ако азИма й, Че йИма аз ;

3) ако азИма йИ йИма к, Че азИма к .

Факторите в този случай действат като асоциативни индикатори, които имат информация, която може да бъде формализирана под формата на двоични оценки на две нива: 1 (идентичен) или 0 (различен).

В случаите, когато изследваните обекти могат да бъдат подредени в определена последователност в резултат на сравнение, като се вземе предвид всеки значим фактор(и), ординални скаликоето позволява да се установи еквивалентност или господство.

Да предположим, че е необходимо да се подреди в определена последователност нобекти по произволен фактор (критерий). Нека представим това подреждане под формата на матрица, където i, j = 1,2,…, н .

Количествата установяват връзки между обектите и могат да бъдат определени по следния начин:

Нека установим основните аксиоми, необходими за спазване на условията за поръчка. Съотношението означава това азза предпочитане й, трябва да бъде асиметричен, т.е. ако тогава и транзитивен, т.е. ако тогава

Съотношението означава това азИ йса еквивалентни се нарича релация на еквивалентност. Това съотношение трябва да бъде

рефлексивен, т.е.

симетричен, т.е. ако тогава

преходни, т.е. ако и тогава

В допълнение, тези две отношения трябва да са съвместими, т.е. ако и тогава и също, ако и тогава

И накрая, подреждането трябва да е последователно, т.е. за всяко i и j или или или

Използването на ординални скали позволява да се прави разлика между обекти в случаите, когато факторът (критерият) не е посочен изрично, т.е. когато не знаем знака за сравнение, но можем частично или напълно да подредим обекти въз основа на системата от предпочитания, които експертът има.

Всеки комплект Аще го наречем подреден, ако за всеки два негови елемента хИ Yе установено, че или хпредшестван Y, или Yпредшестван х. Понякога не е възможно да се установи строг приоритет за всички елементи на набор, но е възможно да се извърши „групово“ подреждане, когато се подреждат подмножества от еквивалентни елементи. След това можем да поставим задачата да сравняваме и подреждаме тези подгрупи.

Използването на ординални скали позволява да се трансформират оценките, получени от експерти, съответстващи на всички монотонно нарастващи функции. Така, например, положителните оценки могат или да бъдат заменени с техните квадрати, или логаритми, или всяка друга монотонно нарастваща функция.

За да формализират оценките, получени от експерти, те често използват интервални скали. Когато такива скали се използват за тези цели, могат да се вземат почти всички конвенционални статистически мерки. Изключение правят тези мерки, които изискват познаване на „истинската“ нулева точка на скалата, която тук е въведена условно.

Интервалните скали предполагат възможността за трансформиране на оценки, получени по една скала, в оценки по друга скала, като се използва уравнението

Разликите между стойностите в интервалната скала стават мерки в скалата на съотношението, т.е. в редовна числена скала, защото в резултат на изваждане можете да се отървете от постоянния член b .

В редица случаи при формализиране на експертни оценки се използва свойството на адитивност, което е присъщо само на скалата на съотношението. Наличието на адитивност се изразява със следните аксиоми:

1) ако й = аИ аз> 0, тогава аз + й > а ;

2) аз + й = й + аз ;

3) ако аз = аИ й = b, Че аз + й = а + b ;

4) (аз + й) + к = аз + (й + к).

Често срещана ситуация, при която трябва да се вземе решение по отношение на адитивността, е, че има няколко (поне два) качествени фактора. Ако има няколко фактора, характеризиращи конкретни обекти, има много реални свойства и видове връзки между обектите.

Например, факторите (показателите), характеризиращи ефективността на създаването и внедряването на нова технология, според тяхното обективно съдържание могат да бъдат разделени на технически, икономически и социални. От друга страна, тези фактори могат да бъдат групирани според ролята им в процеса на създаване и въвеждане на нови технологии, като се открояват например показатели, характеризиращи разходи, качество, икономическа ефективност и др.

В зависимост от естеството и целта на разглеждания проблем, факторите, по които обектите се различават, могат да бъдат количествено сравними или несравними помежду си, частично сравними (т.е. не всеки с някой, а само някои от тях), подредени по степен на тяхното значение и др. .d. Несъизмеримостта на различни фактори се дължи не само на необходимостта от използване на различни мерни единици, но и на факта, че всеки фактор, изразяващ определено свойство, е същевременно оценка на отношението към това свойство от страна на вземащият решение.

В практиката на управление на всичките му нива често възникват ситуации, когато е необходимо да се вземе решение, като се вземат предвид много фактори. Въпросът кои фактори трябва да се считат за най-важни зависи от качествените характеристики на обекта на решението и целите, на които това решение трябва да отговаря.

Например, когато се разглеждат няколко варианта за план или варианти за организационни и технически мерки, трябва да се вземат предвид факторите време, разходи, технически и социални резултати, икономическа ефективност и др. Обикновено цялото разнообразие от фактори се опитва да доведе до недвусмислена комплексна оценка, като най-удобната и разпространена такава оценка е паричната.

Но тъй като последствията от всяко решение, особено решенията, свързани с научно-техническия прогрес, надхвърлят обхвата на показателите за разходите, са необходими мерки, които характеризират значимостта и полезността на конкретен фактор (или техния комплекс). Такива комплексни измервателни уреди се използват широко при оценка на качеството на продуктите, техническото и икономическото ниво на производството, при оценката на резултатите от дейността на научните организации и в редица други задачи. Въпреки че въпросът за създаването на достатъчно обоснована формализирана система от такива измервателни уреди все още е далеч от окончателното решение, е възможно да се посочат някои общи характеристики, които осигуряват подход към формализирането на този процес и към използването на едни или други логико-математически апарат.

В случай, че всички фактори са посочени в номинална скала, т.е. определен атрибут a и начален набор от елементи M са посочени в тази скала; целта е да се избере подмножество от елементи M(a), притежаващи този атрибут. В такива случаи елементите, или по-скоро техните свойства, се сравняват с характеристика - стандарт, а резултатът - разделяне на множеството - може да се разглежда като подреждане в двуелементна скала, на която всеки от елементите получава резултат, равен на нула или единица.

В случай, че факторите са посочени в порядъчна скала или в няколко порядъчни скали, целта е да се подредят елементите на оригиналния набор, да се идентифицира с помощта на експерти скритото подреждане, което се предполага, че е присъщо на този набор . Необходимо условие за решаването на този проблем е допускането на транзитивност. Колкото по-пълно са подредени елементите, толкова по-лесно е да се прилагат логико-математически и комбинаторни методи за решаване на такива проблеми.

В зависимост от същността или важността на даден фактор могат да се използват различни скали на етапа на подготовка и вземане на решение. Фактори като разходи, печалба, време могат да бъдат оценени по порядъчна или интервална скала (в рубли, дни или конвенционални единици). За оценка на фактори като период на изплащане или сравнителна ефективност на опциите може да се използва интервална скала; качествени или социални фактори могат да бъдат оценени по ординални или номинални скали.

Глава 3. ОБРАБОТКА НА ЕКСПЕРТНИ ОЦЕНКИ

3.1. Задачи за обработка

След провеждане на проучване на група експерти резултатите се обработват. Изходната информация за обработка са числови данни, изразяващи предпочитанията на експертите и смислена обосновка на тези предпочитания. Целта на обработката е получаване на обобщени данни и нова информация, съдържаща се в скрита форма в експертни оценки. Въз основа на резултатите от обработката се формира решение на проблема.

Наличието както на числени данни, така и на съдържателни изявления от експерти води до необходимостта от използване на качествени и количествени методи за обработка на резултатите от груповата експертна оценка. Делът на тези методи значително зависи от класа проблеми, решавани чрез експертна оценка.

Целият набор от проблеми може да бъде разделен на два класа. Първият клас включва проблеми, за които има достатъчно знания и опит, тоест има необходимия информационен потенциал. При решаването на проблеми от този клас експертите се считат средно за добри измерители. Терминът „средно добро“ се отнася до способността да се получат резултати от измерването, които са близки до истинските. За много експерти техните преценки се групират около истинската стойност. От това следва, че за обработка на резултатите от груповата експертна оценка на проблеми от първи клас могат успешно да се прилагат методи на математическа статистика, базирани на осредняване на данни.

Вторият клас включва проблеми, за които все още не е натрупан достатъчен информационен потенциал. В това отношение експертните оценки могат да се различават значително една от друга. Освен това преценката на един експерт, която е много различна от други мнения, може да се окаже вярна. Очевидно е, че използването на методи за осредняване на резултатите от груповата експертна оценка при решаване на задачи от втори клас може да доведе до големи грешки. Следователно обработката на резултатите от проучване на експерти в този случай трябва да се основава на методи, които не използват принципите на осредняване, а на методи на качествен анализ.

Като се има предвид, че задачите от първи клас са най-често срещаните в практиката на експертната оценка, основното внимание в тази глава е насочено към методите за обработка на резултатите от изследването за този клас задачи.

В зависимост от целите на експертната оценка и избрания метод на измерване при обработката на резултатите от изследването възникват следните основни задачи:

1) изграждане на обобщена оценка на обекти въз основа на индивидуални експертни оценки;

2) изграждане на обобщена оценка въз основа на сравнение по двойки на обекти от всеки експерт;

3) определяне на относителните тегла на обектите;

4) определяне на последователността на експертните мнения;

5) определяне на зависимости между класациите;

6) оценка на надеждността на резултатите от обработката.

По време на груповата експертна оценка възниква задачата за изграждане на обобщена оценка на обекти въз основа на индивидуални експертни оценки. Решението на този проблем зависи от метода на измерване, използван от експертите.

При решаването на много задачи не е достатъчно да се организират обекти според един показател или набор от показатели. Желателно е да има числени стойности за всеки обект, които определят неговата относителна важност в сравнение с други обекти. С други думи, за много задачи е необходимо да има оценки на обекти, които не само ги организират, но и позволяват да се определи степента на предпочитание на един обект пред друг. За да разрешите този проблем, можете директно да приложите метода на директна оценка. Същият проблем обаче при определени условия може да бъде решен чрез обработка на експертни оценки.

Съгласуваността на експертните мнения се определя чрез изчисляване на числена мярка, характеризираща степента на сходство на отделните мнения. Анализът на стойността на мярката за съгласуваност допринася за разработването на правилна преценка за общото ниво на познаване на решавания проблем и идентифицирането на групи от експертни мнения. Качественият анализ на причините за групирането на мнения позволява да се установи наличието на различни възгледи, концепции, да се идентифицират научни школи, да се определи естеството на професионалната дейност и т.н. Всички тези фактори позволяват по-задълбочено разбиране на резултатите от анкета на експерти.

Чрез обработката на резултатите от експертната оценка е възможно да се определят зависимостите между класациите на различни експерти и по този начин да се установи единството и разликата в мненията на експертите. Важна роля играе и установяването на връзката между класациите по различни показатели за сравняване на обекти. Идентифицирането на такива зависимости позволява да се разкрият свързани показатели за сравнение и евентуално да се групират според степента на връзка. Значението на задачата за определяне на зависимости за практиката е очевидно. Например, ако индикаторите за сравнение са различни цели, а обектите са средствата за постигане на целите, тогава установяването на връзката между класациите, които подреждат средствата от гледна точка на постигане на целите, ни позволява разумно да отговорим на въпроса до каква степен постигането на една цел с дадени средства допринася за постигането на други цели.

Оценките, получени от обработката, са случайни обекти, така че една от важните задачи на процедурата за обработка е да се определи тяхната надеждност. Трябва да се обърне подходящо внимание на решаването на този проблем.

Обработката на резултатите от изследването е трудоемък процес. Извършването на операции по изчисляване на оценки и показатели за тяхната надеждност ръчно е свързано с големи разходи за труд, дори в случай на решаване на прости проблеми с поръчката. В тази връзка е препоръчително да се използват компютърни технологии и особено компютри. Използването на компютри поставя проблема с разработването на компютърни програми, които реализират алгоритми за обработка на резултатите от експертната оценка.

3.2. Групова оценка на обекти

В този раздел ще разгледаме алгоритми за обработка на резултатите от експертна оценка на множество обекти. Позволявам моцениха експертите нобекти от лпоказатели. Резултатите от оценката се представят под формата на стойности, където й– експертен номер, аз- номер на обекта, ч– номер на показателя (знака) за сравнение. Ако обектите се оценяват с помощта на метода на класиране, тогава стойностите представляват рангове. Ако оценката на обектите се извършва чрез метода на пряка оценка или метода на последователно сравнение, тогава стойностите са числа от определен сегмент от цифровата ос или точки. Обработката на резултатите от оценката значително зависи от разглежданите методи за измерване.

Нека разгледаме случая, когато стойностите са получени чрез методи за пряка оценка или последователно сравнение, т.е. те са числа или точки. За да получите групова оценка на обекти в този случай, можете (използвайте средната стойност на оценка за всеки обект

(5.1)

където са коефициентите на тежести на показателите за сравняване на обекти, а са коефициентите на експертна компетентност. Коефициентите на тежести на показателите и компетентността на обектите са нормализирани стойности

(5.2)

Коефициентите на тежест на показателите могат да се определят експертно. Ако - коефициент на тежест ч-ти даден индикатор й-ти експерт, след което средният коефициент на тежест ч- показателят за всички експерти е еднакъв

(5.3)

Получаването на групова експертна оценка чрез сумиране на индивидуалните оценки с тежести на компетентността и важността на индикаторите при измерване на свойствата на обектите в кардинални скали се основава на предположението, че аксиомите на теорията за полезността на фон Нойман-Моргенщерн са изпълнени както за индивида, така и за групата оценка и условията на неразличимост на обектите в групово отношение, ако те са неразличими във всички индивидуални оценки (частичен принцип на Парето). При реални задачи тези условия обикновено са изпълнени, така че получаването на групова оценка на обекти чрез сумиране на индивидуални експертни оценки с тегла се използва широко в практиката.

Коефициентите на експертна компетентност могат да бъдат изчислени от апостериорни данни, т.е. от резултатите от оценката на обекта. Основната идея на това изчисление е предположението, че компетентността на експертите трябва да се оценява според степента на съответствие на техните оценки с груповата оценка на обектите.

Алгоритъмът за изчисляване на коефициентите на експертна компетентност има формата на повтаряща се процедура:

(5.4)

(5.5)

(5.6)

Изчисленията започват от T=1. Във формула (5.4) първоначалните стойности на коефициентите на компетентност се приемат еднакви и равни.Тогава, съгласно формула (5.4), груповите оценки на обектите от първото приближение са равни на средните аритметични стойности на експертни оценки

(5.7)

(5.8)

и стойността на коефициентите на компетентност на първо приближение по формула (5.6):

(5.9)

Използвайки коефициентите на компетентност на първото приближение, можете да повторите целия процес на изчисление, като използвате формули (5.4), (5.5), (5.6) и да получите втори приближения на количествата

Повтарянето на повтарящата се процедура за изчисляване на обектни оценки и коефициенти на компетентност естествено поставя въпроса за нейната конвергенция. За да разгледаме този проблем, ние изключваме променливите от уравнения (5.4), (5.6) и представяме тези уравнения във векторна форма

къде са матриците INразмери и СЪСразмерите са равни

Величината в уравнения (5.10) се определя по формула (5.5).

Ако матрици INИ СЪСса неотрицателни и неразложими, тогава, както следва от теоремата на Перон–Фробениус, превекторите и - се събират към собствените вектори на матриците INИ СЪС, съответстващи на максималните собствени стойности на тези матрици

(5.12)

Гранични стойности на вектори хИ кможе да се изчисли от уравненията:

(5.13)

където са максималните собствени стойности на матриците INИ СЪС .

Условие за неотрицателност на матриците INИ СЪСлесно се прави чрез избиране на неотрицателни елементи от матрицата хоценки на обекти от експерти.

Условие за неразложимост на матрицата INИ СЪСпрактически изпълнени, тъй като ако тези матрици са разложими, това означава, че експертите и обектите попадат в независими групи. Освен това всяка група експерти оценява само обектите на своята група. Естествено, в този случай няма смисъл да получавате групова оценка. По този начин условията за неотрицателност и неразложимост на матриците INИ СЪС, и следователно условията за сходимост на процедурите (5.4), (5.5), (5.6) са изпълнени в практически условия.

Трябва да се отбележи, че практическото изчисляване на вектори на групова оценка на обекти и коефициенти на компетентност е по-лесно да се извърши с помощта на повтарящи се формули (5.4), (5.5), (5.6). Определянето на граничните стойности на тези вектори с помощта на уравнение (5.13) изисква използването на компютърна технология.

Нека сега разгледаме случая, когато експертите оценяват набор от обекти, използвайки метода на класиране, така че стойностите да са рангове. Обработката на резултатите от класирането включва изграждането на обобщена класация. За да конструираме такова класиране, въвеждаме крайномерно дискретно пространство за класиране и метрика в това пространство. Всяко класиране на набор от обекти й- експерт е точка в класацията.

Класирането може да бъде представено като матрица от сдвоени сравнения, чиито елементи са дефинирани, както следва:

Очевидно, тъй като всеки обект е еквивалентен на себе си. Елементите на матрицата са антисиметрични.

Ако всички класирани обекти са еквивалентни, тогава всички елементи на матрицата за сравнение по двойки са равни на нула. Ще обозначим такава матрица и ще приемем, че точката в пространството за класиране, съответстваща на матрицата, е началото.

Обръщането на реда на класираните обекти води до транспониране на матрицата за сравнение по двойки.

Метрика като разстояние между азта и й-класирането се определя еднозначно по формулата

ако са изпълнени следните 6 аксиоми:

1. Освен това, равенство се постига, ако класирането и е идентично;

2.

Освен това равенство се постига, ако класирането „лежи между“ класирането и. Концепцията „лежи между“ означава, че преценка за определена двойка обекти в класацията съвпада с преценка за тази двойка или в, или в, или vva в

4.

където се получава от не чрез някаква пермутация на обекти, а от същата пермутация. Тази аксиома утвърждава независимостта на разстоянието от преномерирането на обектите.

5. Ако две класирания са еднакви навсякъде с изключение на н-елемент набор от елементи, който е едновременно сегмент от двете класации, тогава може да се изчисли така, сякаш класирането само на тези н-обекти. Сегментът за класиране е набор, чието допълнение е непразно и всички елементи на това допълнение са или пред, или зад всеки елемент на сегмента. Значението на тази аксиома е, че ако две класации са напълно последователни в началото и в края на сегмент и разликата е в подреждането на средните стойности н-обекти, тогава е естествено да се приеме, че разстоянието между класациите трябва да бъде равно на разстоянието, съответстващо на класациите на средната н-обекти.

6. Минималното разстояние е едно.

Пространството за класиране на два обекта може да бъде изобразено като три точки, разположени на една и съща права линия. Разстоянията между точките са равни.При три обекта пространството на всички възможни класации се състои от 13 точки.

Използвайки въведената метрика, ние дефинираме обобщена класация като точка, която най-добре съответства на точките, представляващи класирането на експертите. Концепцията за най-добро съгласие на практика най-често се определя като медиана и средно класиране.

Медианата е такава точка в пространството за класиране, сумата от разстоянията от която до всички точки - класации на експерти - е минимална. Според дефиницията медианата се изчислява от условието

Средното класиране е такава точка, сумата от квадратите на разстоянията, от които до всички точки – експертни класации – е минимална. Средното класиране се определя от условието

Пространството за класиране е крайно и дискретно, така че средното и средното класиране могат да бъдат само някои точки от това пространство. Като цяло медианата и средната класация може да не съвпадат с никоя от експертните класации.

Ако се вземе предвид компетентността на експертите, тогава медианата и средната класация се определят от условията:

къде са коефициентите на експертна компетентност.

Ако обектите са класирани по няколко показателя, тогава медианата първо се определя за всеки експерт за всички показатели, а след това медианата се изчислява за много експерти:

(й =1,2,…,м);

където са коефициентите на индикаторните тегла.

Основният недостатък на определянето на обобщена класация под формата на медиана или средна класация е сложността на изчисленията. Естественият начин за намиране или търсене във всички точки на пространството за класиране е неприемлив поради много бързото нарастване на еднородността на пространството с увеличаване на броя на обектите и, следователно, увеличаването на сложността на изчисленията. Можете да намалите проблема с търсенето до конкретен целочислен програмен проблем. Това обаче не намалява много ефективно изчислителната трудност.

Разминаването в обобщените класации по различни критерии възниква, когато броят на експертите е малък и оценките им са противоречиви. Ако мненията на експертите са близки, тогава обобщените класации по критериите на медианата и средната стойност ще съвпадат.

Сложността на изчисляването на медианата или средното класиране доведе до необходимостта от използване на по-прости методи за конструиране на обобщено класиране.

Един от тези методи е методът на сумите от рангове.

Този метод се състои в класиране на обекти според сумите на ранговете, получени от всеки обект от всички експерти. Сумите се съставят за матрицата за класиране

За да се вземе предвид компетентността на експертите, достатъчно е да се умножат всеки аз-то класиране по коефициент на компетентност й th експерт В този случай, изчисляване на сумата от рангове за азти обект се произвежда по следната формула:

(аз =1,2,…,н).

Обобщеното класиране, отчитащо компетентността на експертите, се основава на подреждането на сумите от рангове за всички обекти.

Трябва да се отбележи, че конструирането на обобщено класиране въз основа на суми от рангове е правилна процедура, ако ранговете са присвоени като места на обекти под формата на естествени числа 1, 2, ..., н. Ако присвоите рангове по произволен начин, като числа в подредена скала, тогава сумата от ранговете, най-общо казано, не запазва условието за монотонност на трансформацията и следователно можете да получите различни обобщени класации за различни картографирания на обекти върху числовата система. Номерирането на местоположенията на обектите може да се извърши само с естествени числа. Следователно, при добро съгласие между експертите, конструирането на обобщена класация с помощта на метода на ранговата сума дава резултати, съответстващи на резултатите от изчисляването на медианата.

Друг по-теоретично обоснован подход за конструиране на обобщено класиране е да се премине от матрицата за класиране към матрицата за сравнение по двойки и да се изчисли собственият вектор, съответстващ на максималната собствена стойност на тази матрица. Обектите са подредени според големината на компонентите на собствения вектор.

3.3. Оценка на последователността на експертните мнения

Когато класират обектите, експертите обикновено не са съгласни относно проблема, който се решава. В тази връзка е необходимо да се определи количествено степента на експертно съгласие. Получаването на количествена мярка за съгласуваността на експертните мнения позволява по-разумно тълкуване на причините за разминаването на мненията.

Понастоящем са известни две мерки за съответствие между мненията на група експерти: коефициенти на дисперсия и ентропийно съгласуване.

Дисперсионен коефициент на конкордация. Помислете за матрицата на резултатите от класирането нобекти от група от мексперти ( й =1,…,м ; аз =1,…,н), където е присвоен ранг йти експерт аз-ти обект. Нека съставим сумите на ранговете за всяка колона. В резултат на това получаваме вектор с компоненти

(аз=1,2,…,n). (5.14)

Разглеждаме количествата като реализации на случайна променлива и намираме оценка на дисперсията. Както е известно, оптималната оценка на дисперсията по критерия за минимална средна квадратична грешка се определя по формулата:

, (5.15)

където е оценката на математическото очакване, равна на

Коефициентът на дисперсия на съответствие се определя като съотношението на оценката на дисперсията (5.15) към максималната стойност на тази оценка

Коефициентът на съгласуване варира от нула до единица, защото.

Нека изчислим максималната стойност на оценката на дисперсията за случай на липса на свързани рангове (всички обекти са различни). Нека първо покажем, че оценката на математическото очакване зависи само от броя на обектите и броя на експертите. Замествайки стойността от (5.14) в (5.16), получаваме

Нека първо да разгледаме обобщението азпри фиксирано й. Това е сумата от ранговете за йти експерт. Тъй като експертът използва естествени числа от 1 до н, тогава, както е известно, сумата от естествените числа от 1 до нравна на

(5.19)

Замествайки (5.19) в (5.18), получаваме

(5.20)

Така средната стойност зависи само от броя на експертите ми брой обекти н .

За да изчислим максималната стойност на оценката на дисперсията, заместваме стойността от (5.14) в (5.15) и поставяме на квадрат бинома в скоби. В резултат на това получаваме

(5.21)

Като се има предвид, че от (5.18) следва

получаваме

(5.22)

Максималната стойност на дисперсията се постига при най-голямата стойност на първия член в квадратни скоби. Стойността на този термин зависи значително от подредбата на ранговете - естествени числа във всеки ред аз. Нека, например, всичко мекспертите дадоха една и съща класация за всички нобекти. Тогава всеки ред от матрицата ще съдържа еднакви числа. Следователно сумирането на ранговете във всеки аз-u линия дава м- многократно повторение аз-ro числа:

Чрез повдигане на квадрат и сумиране аз, получаваме стойността на първия член в (5.22):

(5.23)

Сега да предположим, че експертите дават различни класации, например, за случая н =мвсички експерти присвояват различни рангове на един обект. Тогава

Сравнявайки този израз с м =н, се уверяваме, че първият член в квадратни скоби на формула (9) е равен на втория член и следователно оценката на дисперсията е нула.

По този начин случаят на пълно съвпадение на експертните класации съответства на максималната стойност на оценката на дисперсията. Замествайки (5.23) в (5.22) и извършвайки трансформации, получаваме

(5.24)

Нека въведем нотацията

(5.25)

Използвайки (5.25), записваме оценката на дисперсията (5.15) във формата

Заместване на (5.24), (5.25), (5.26) в (5.17) и намаляване с фактор ( н-1), записваме крайния израз за коефициента на съгласуване

(5.27)

Тази формула определя коефициента на съгласуване в случай на липса на свързани рангове.

Ако в класацията има свързани рангове, тогава максималната стойност на дисперсията в знаменателя на формула (5.17) става по-малка, отколкото при липса на свързани рангове. Може да се покаже, че при наличие на свързани рангове коефициентът на съгласуваност се изчислява по формулата:

(5.28)

(5.29)

Във формула (5.28) - индикаторът на свързаните рангове в йкласиране, е броят на групите с равни рангове в й-то класиране, - броят на равните рангове в к-група от свързани рангове при класиране йти експерт. Ако няма съответстващи рангове, тогава =0,=0 и следователно =0. В този случай формула (5.28) съвпада с формула (5.27).

Коефициентът на съответствие е равен на 1, ако всички експертни класации са еднакви. Коефициентът на съответствие е нула, ако всички класирания са различни, т.е. няма абсолютно никакво съвпадение.

Коефициентът на съответствие, изчислен с помощта на формула (5.27) или (5.28), е оценка на истинската стойност на коефициента и следователно е случайна променлива. За да се определи значението на оценката на коефициента на съгласуване, е необходимо да се знае честотното разпределение за различни стойности на броя на експертите ми брой обекти н. Разпределение на честотата за Упри и изчислено в . За големи стойности мИ нМожете да използвате добре познати статистики. С броя на обектите н>7 значимостта на коефициента на съгласуване може да се оцени с помощта на критерия. величина Wm (н -1 ) има разпространение с v=n–1 степен на свобода.

При наличие на сродни рангове разпределението с v=n-1 степен на свобода има количеството:

(5.30)

Коефициент на съгласуване на ентропиятасе определя по формулата (коефициент на съгласие):

Където н– ентропия, изчислена по формулата

(5.32)

a е максималната стойност на ентропията. Във формулата за ентропия - вероятностни оценки йприсвоен -ти ранг аз-ти обект. Тези оценки на вероятността се изчисляват като съотношението на броя на експертите, присвоили ранг на обекта йспрямо общия брой експерти.

Максималната стойност на ентропията се постига при еднакво вероятно разпределение на ранговете, т.е. Тогава

Замествайки тази връзка във формула (5.32), получаваме

(5.35)

Коефициентът на съгласие варира от нула до единица. Когато подреждането на обектите по ранг е еднакво вероятно, тъй като в този случай . Този случай може да се дължи или на невъзможността за класиране на обекти според формулиран набор от показатели, или на пълно противоречие на експертните мнения. При , което се постига при нулева ентропия ( з=0), всички експерти дават една и съща класация. Наистина, в този случай за всеки фиксиран обект всички експерти му присвояват еднакъв ранг й, следователно, , a Следователно и з =0.

Сравнителната оценка на коефициентите на съгласуване на дисперсията и ентропията показва, че тези коефициенти дават приблизително еднаква оценка на съгласието на експертите с близък ранг. Но ако, например, цялата група експерти е разделена в мненията си на две подгрупи и класирането в тези подгрупи е противоположно (пряко и обратно), тогава коефициентът на дисперсия на съгласуваност ще бъде равен на нула, а ентропията коефициентът на съгласуване ще бъде равен на 0,7. По този начин ентропийният коефициент на съгласуване ни позволява да регистрираме факта на разделяне на мненията на две противоположни групи. Броят на изчисленията за коефициента на съгласуване на ентропията е малко по-голям, отколкото за коефициента на съгласуване на дисперсията.

3.4. Обработка на сравнения на сдвоени обекти

При решаването на проблема с оценката на голям брой обекти (класиране, определяне на относителни тегла, оценяване) възникват трудности от психологически характер поради възприятието на експертите за много свойства на обектите. Експертите могат да решат проблема с двойното сравнение на обекти с относителна лекота. Възниква въпросът: как да се получи оценка на целия набор от обекти въз основа на резултатите от сравнението по двойки, без да се налагат условия за транзитивност? Нека разгледаме алгоритъм за решаване на този проблем. Позволявам мекспертите оценяват всички двойки обекти, като дават цифрова оценка

(5.36)

Ако при оценката на двойка експерти те се изказаха в полза на предпочитанията на експертите, а противоположните експерти се изказаха и експертите считат тези обекти за еквивалентни, тогава оценката на математическото очакване на случайната променлива е равна на

(5.37)

Общият брой на експертите е равен на сумата

(5.38)

Определяйки от тук и замествайки го в (5.37), получаваме

(5.39)

Очевидно е, че наборът от стойности образува матрица, въз основа на която е възможно да се изгради класация на всички обекти и да се определят коефициентите на относителната важност на обектите.

Нека въведем вектор от коефициенти на относителната важност на обектите на реда Tсъс следната формула:

където е матрицата на математическите очаквания на оценките на двойки обекти, - вектор на коефициентите на относителна важност на обектите на поръчка T . Стойността е

(5.41)

Коефициентите на относителна важност от първи ред са относителните суми на елементите на реда на матрицата х. Наистина, вярвайки T=1, от (5.40) получаваме

(5.42)

Коефициенти на относителна важност от втори ред ( T=2) има относителни суми от елементи на матрични редове X 2 .

(5.43)

Ако матрицата хе неотрицателна и неразложима, тогава с нарастване на реда количеството се сближава към максималната собствена стойност на матрицата х

и векторът на коефициентите на относителната важност на обектите клони към собствения вектор на матрицата х, съответстващ на максималната собствена стойност

Определянето на собствените стойности и собствените вектори на матрицата се извършва чрез решаване на алгебричното уравнение

където E е матрицата на идентичност, и системи от линейни уравнения

Където к– собствен вектор на матрицата х, съответстващ на максималната собствена стойност. Компонентите на собствения вектор са коефициенти на относителната важност на обектите, измерени по съотношителна скала.

От практическа гледна точка е по-лесно да се изчислят коефициентите на относителната важност на обектите, като се използва последователна процедура съгласно формула (5.40) с T=1, 2, ... Както показва опитът, 3-4 последователни изчисления са достатъчни, за да се получат стойностите и к, близки до граничните стойности, определени от уравнения (5.46), (5.47).

Матрицата е неотрицателна, тъй като всички нейни елементи (5.39) са неотрицателни. Матрицата се нарича неразложима, ако не може да бъде намалена до триъгълна форма чрез пренареждане на редове (редове и колони със същото име)

(5.48)

където са неразложимите подматрици на матрицата х. Матрично представяне хвъв формата (5.48) означава разделянето на обектите на лдоминиращи комплекти

При 1 =нматрица хе неразложимо, т.е. има само едно доминиращо множество, което съвпада с оригиналното множество от обекти. Разложимост на матрицата хозначава, че има голямо разногласие между експертите в оценката на обектите.

Ако матрицата хе неразложим, тогава изчисляването на коефициентите на относителна важност дава възможност да се определи колко пъти един обект превъзхожда друг обект по отношение на сравнените показатели. Изчисляването на коефициентите на относителната важност на обектите ви позволява едновременно да конструирате класация на обекти. Обектите се класират така, че първият обект се счита за обект с най-висок коефициент на относителна важност. Пълното класиране се определя от верига от неравенства

от което следва

Ако матрицата X е разложима, тогава коефициентите на относителна важност могат да бъдат определени само за всеки набор. За всяка матрица се определят максималната собствена стойност и съответният собствен вектор. Компонентите на собствения вектор са коефициентите на относителната важност на обектите, включени в множеството. С помощта на тези коефициенти се класират обектите от дадено множество. Общото класиране на обектите се дава от релацията

По този начин, ако матрицата хе неразложим, тогава въз основа на резултатите от сравнението по двойки на обекти е възможно както да се измери предпочитанието на обектите в скалата на отношенията, така и в скалата на ред (класиране). Ако матрицата хразложим, тогава е възможно само класиране на обекти.

Трябва да се отбележи, че връзката на предпочитанията може да бъде изразена с всяко положително число СЪС. В този случай условието трябва да е изпълнено.По-специално можете да избирате СЪС=2, така че ако , тогава ако тогава и ако , тогава .

3.5. Определяне на връзката между класирането

При обработката на резултатите от класирането могат да възникнат проблеми при определяне на връзката между класациите на двама експерти, връзката между постигането на две различни цели при решаване на една и съща група проблеми или връзката между две характеристики.

В тези случаи мярка за връзката може да бъде коефициент на рангова корелация. Характеристика на връзката между множество класирания или цели ще бъде матрица от коефициенти на рангова корелация. Коефициентите на рангова корелация на Spearman и Kendall са известни.

Коефициентът на рангова корелация на Spearman се определя по формулата:

където е взаимният корелационен момент на първото и второто класиране и е дисперсията на тези класации. Въз основа на тези две класации оценките на момента на взаимна корелация и дисперсията се изчисляват по формулите:

(5.51)

(5.52)

Където н– брой класирани обекти, – класирания съответно на първо и второ класиране, – средни класирания на първо и второ класиране. Средните оценки за ранг се определят по формулите:

(5.53)

Нека изчислим оценките на средните рангове и дисперсии при предположението, че няма свързани рангове в класирането, т.е. и двете класации дават строго подреждане на обектите. В този случай средните рангове (5,53) са сумите на естествените числа от едно до н, разделена на н. Следователно средните рангове и за двете класации са еднакви и равни

(5.54)

Когато изчисляваме оценките на дисперсията, отбелязваме, че ако отворим скобите във формули (5.52), тогава под знака на сумата ще има естествени числа и техните квадрати. Две класации могат да се различават една от друга само чрез пермутация на ранговете, но сборът на естествените числа и техните квадрати не зависи от реда (пермутацията) на членовете. Следователно дисперсиите (5,52) за всеки две класирания (при липса на свързани рангове) ще бъдат еднакви и равни

(i=1,2). (5,55)

Замествайки стойността от (5.51) и от (5.55) във формула (5.50), получаваме оценка на коефициента на рангова корелация на Спирман

(5.56)

За практически изчисления е по-удобно да се използва друга формула за коефициента на корелация на Спирман. Може да се получи от (5.56), ако използваме тъждеството

В равенството (5.57) първите две суми от дясната страна, както следва от израза (5.55), са идентични и равни

Замествайки стойността на сумата от (5.57) във формула (5.56) и използвайки равенство (5.58), получаваме следната формула за коефициента на рангова корелация на Спирман, удобна за изчисления:

(5.59)

Коефициентът на корелация на Spearman варира от –1 до +1. Равенството на единица се постига, както следва от формула (5.59), с идентични класирания, т.е. когато Стойността се среща с противоположни класирания (директно и обратно класиране). Когато коефициентът на корелация е равен на нула, класациите се считат за линейно независими.

Оценката на коефициента на корелация, изчислена по формула (5.59), е случайна величина. За да се определи значимостта на тази оценка, е необходимо да се зададе стойността на вероятността, да се вземе решение за значимостта на коефициента на корелация и да се определи праговата стойност, като се използва приблизителната формула

(5.60)

Където н– брой обекти, - функция, обратна на функцията

за които има таблици. След изчисляване на праговата стойност, оценката на коефициента на корелация се счита за значима, ако.

За да определите значимостта на оценката на коефициента на Spearman, можете да използвате теста на Student, тъй като стойността

приблизително разпределени по Закона на Студент с н - 2 степени на свобода.

Ако в класацията има свързани рангове, тогава коефициентът на Спирман се изчислява по следната формула:

(5.62)

където е оценката на коефициента на рангова корелация на Spearman, изчислена по формула (5.59), а стойностите са

(5.63)

В тези формули броят на различните свързани рангове съответно в първото и второто класиране.

Коефициентът на рангова корелация на Kendall при липса на свързани рангове се определя по формулата:

Където н– брой обекти, - рангове на обекти, знак х– функция, равна на

Сравнителна оценка на корелационните коефициенти на Spearman и Kendall показва, че коефициентите на Spearman се изчисляват с помощта на по-проста формула. В допълнение, коефициентът на Spearman дава по-точен резултат, тъй като е оптимална оценка на коефициента на корелация според критерия за минимална средна квадратична грешка.

От това следва, че при практически изчисления на корелационната зависимост на класирането е за предпочитане да се използва коефициентът на рангова корелация на Спирман.

ЗАКЛЮЧЕНИЕ

Динамичността и новостта на съвременните национални икономически проблеми, възможността за появата на различни фактори, влияещи върху ефективността на решенията, изискват тези решения да се вземат бързо и в същото време да бъдат добре обосновани. Опитът, интуицията, чувството за перспектива, съчетани с информация, помагат на специалистите да избират по-точно най-важните цели и насоки на развитие, да намерят най-добрите варианти за решаване на сложни научни, технически и социално-икономически проблеми в условия, когато липсва информация за решаване на подобни проблеми в миналото.

Използването на метода на експертните оценки помага да се формализират процедурите за събиране, обобщаване и анализиране на мненията на експертите, за да се трансформират във форма, която е най-удобна за вземане на информирано решение.

Но трябва да се отбележи, че методът на експертните оценки не може да замени нито административни, нито планови решения, той само позволява да се попълни информацията, необходима за подготовката и вземането на такива решения. Широкото използване на експертни оценки е легитимно само когато е невъзможно да се използват по-точни методи за анализ на бъдещето.

Експертните методи непрекъснато се развиват и усъвършенстват. Основните насоки на това развитие се определят от редица фактори, включително желанието за разширяване на обхвата на приложенията, увеличаване на степента на използване на математическите методи и електронно-изчислителните технологии, както и намиране на начини за отстраняване на възникващите недостатъци.

Въпреки успехите, постигнати през последните години в развитието и практическото използване на метода за експертна оценка, съществуват редица проблеми и задачи, които изискват по-нататъшни методологични изследвания и практическа проверка. Необходимо е да се подобри системата за подбор на експерти, да се повиши надеждността на характеристиките на груповото мнение, да се разработят методи за проверка на валидността на оценките и да се проучат скрити причини, които намаляват надеждността на експертните оценки.

Но дори и днес експертните оценки в комбинация с други математически и статистически методи са важен инструмент за подобряване на управлението на всички нива.

БИБЛИОГРАФИЯ:

2. Беклешев В.К., Завлин П.Н. Трудови норми в научноизследователски институти и конструкторски бюра. М.: Икономика, 1973. 203 с.

10. Добров Г.М., Ершов Ю.В., Левин Е.И., Смирнов Л.П. Експертни оценки в научно-техническото прогнозиране. Киев: Наукова думка, 1974. 263 с.

11. Евланов Л.Г. Вземане на решения в условията на несигурност. М.: IUNH, 1976. 196 с.

12. Евланов Л.Г., Кутузов В.А. Експертни оценки в управлението. М.: Икономика, 1978. 133 с.

13. Карданская Н. Вземане на управленски решения. М.: ЕДИНСТВО, 1999. 407 с.

14. Кемени Д., Снел Д. Кибернетично моделиране. М.: Съветско радио, 1972. 234 с.

15. Кравченко Т.К. Процесът на вземане на планови решения. М.: Икономика, 1974. 183 с.

16. Миркин Б.Г. Проблем с груповия избор. М.: Наука, 1974. 256 с. . 17. Михеев В.И. Социални и психологически аспекти на управлението. Стил и методи на работа на лидера. М.: Млада гвардия, 1975. 181 с.

18. Pfanzagl I. Теория на измерванията. М.: Мир, 1976. 278 с.

19. Тихомиров Ю.А. Управленско решение. М.: Наука, 1996. 278 с.

20. Федоренко Н.П. Икономическа оптимизация. М.: Наука, 1977. 236 с.

21. Ямполски С.М., Лисичкин В.А. Прогнозиране на научно-техническия прогрес. М.: Икономика, 1974. 302 с.

Често има много алтернативи за избор, всяка с различни предимства. И как можете да изберете най-добрия, като имате мнението на десетки, дори стотици експерти?

Както изчисляването на рейтинга на компютърна игра, въз основа на оценките на критиците за графика, геймплей и сюжет, така и колективният избор на приоритетна задача преди появата на клиент, принадлежат към методите на експертните оценки.

Кратка образователна програма

В случаите на изключителна сложност на проблема, неговата новост, липса на налична информация и невъзможност за математическа формализация на процеса на решаване, трябва да се обърнете към препоръките на компетентни специалисти, които познават проблема перфектно - експерти. Тяхното решение на проблема, аргументацията, формирането на количествени оценки, обработката на последните чрез формални методи се наричат ​​метод на експертни оценки.

1. Индивидуалните оценки се основават на използването на мненията на отделни експерти, независими един от друг.
2. Колективните оценки се основават на използването на колективно експертно мнение.

Начини за измерване на обекти

1. Ранжиране- това е подреждането на обекти във възходящ или низходящ ред на някакво присъщо свойство. Класирането ви позволява да изберете най-значимия фактор от групата фактори, които се изследват.
2. Сравнение по двойки- това е установяването на предпочитание към обекти при сравняване на всички възможни двойки. Тук, както при класирането, не е необходимо да се подреждат всички обекти, необходимо е да се идентифицира по-значим обект във всяка двойка или да се установи тяхното равенство.
3. Директно оценяване. Често е желателно не само да се подредят (класират обектите на анализ), но и да се определи колко по-значим е един фактор от други. В този случай обхватът на промените в характеристиките на даден обект е разделен на отделни интервали, на всеки от които се присвоява определена оценка (бал), например от 0 до 10. Ето защо методът на пряка оценка понякога също наречен точков метод.

Метод за определяне на коефициентите на тежест (a ij)

1. на всички характеристики са присвоени тегловни коефициенти, така че сумата от коефициентите да е равна на някакво фиксирано число (например едно, десет или сто);
2. на най-важната от всички характеристики е даден тегловен коефициент, равен на някакво фиксирано число, а на всички останали са дадени коефициенти, равни на части от това число.

1. експертът подрежда всички характеристики в низходящ ред според тяхната важност: A1>A2>…>An;
2. присвоява стойност, равна на единица, на първата характеристика: A1=1 и присвоява тегловни коефициенти на останалите характеристики в части от едно;
3. сравнява стойността на първия атрибут със сумата от всички следващи.

IN сравнение по двойкиНяма нужда, както при класирането, да подреждате всички обекти, необходимо е да идентифицирате по-значим обект във всяка двойка или да установите тяхното равенство. Сравнение по двойки може да се извърши с голям брой обекти, както и в случаите, когато разликата между обектите е толкова незначителна, че класирането им е практически невъзможно.
При използване на метода най-често се съставя матрица с размер n x n, където n е броят на обектите, които се сравняват.

При сравняване на обекти матрицата се запълва с елементи a ij, както следва (може да се предложи друга схема за попълване):

• 2, ако обект i е за предпочитане пред обект j (i > j),
• 1, ако е установено равенство на обектите (i = j),
• 0, ако обект j е предпочитан пред обект i (т< j).

А сега най-добрата част...

Анализ на резултатите от експертните оценки

Формиране на обобщена оценка

Освен това резултатът може да се състои от няколко алгоритъма, преплетени с други. Например, алгоритъмът за изчисляване на коефициента на компетентност на експерта може да повлияе на средната статистическа оценка на този експерт и др.

Установяване на степента на последователност на експертните мнения

Средно линейно отклонение

Стандартно отклонение

дисперсия

Коефициент на рангова корелация на Спирман

Коефициентът (стойността) може да варира в диапазона от –1 до +1. Ако оценките са напълно еднакви, коефициентът е равен на единица. Коефициентът е равен на минус едно, когато има най-голямо разминаване в експертните мнения.
x ij – ранг ( важност), присвоен на i-тия обект от j-тия експерт, x ik е рангът, присвоен на i-тия обект от k-тия експерт, d i е разликата между ранговете, присвоени на i-тия обект.

Коефициент на съгласуване на Kendell
Коефициентът може да приема стойности от 0 до 1. При пълно съгласие на експертните мнения коефициентът на съответствие е равен на единица, докато пълното несъгласие е нула. Най-реалистичен е случаят на частично съгласуване на експертните мнения.

Изчисляване

Средният ранг на набора от характеристики се определя:

Изчислява се отклонението d j на средния ранг на j-тия признак от средния ранг на съвкупността:

Определя се броят на еднаквите рангове, присвоени от експертите на j-тия признак – t q.
Определя се броят на групите с еднакви рангове - Q. Коефициентът на съгласуване се определя по формулата:

Където

Говорейки за последователността на експертните мнения, заслужава да се спомене, че класирането не е (или не винаги предполага) дистанция. Тоест за един експерт A>B>C означава, че A>>B>C, а за друг A>B>>C. И всички видове корелации и изчисления на средни оценки няма да помогнат тук. Като алтернатива вземете предвид индекса на консистенция. Нещо като броя на противоречивите затворени вериги от експертни мнения (първият смята, че А е по-добър от Б, вторият, че В е по-добър от С, а третият, че С е по-добър от А) към броя на всички такива вериги.

Заключение

Така че си тръгвам. Честит празник на всички, Рамин. А за тези, които са дошли да гледат момичетата - ето ви

Министерство на образованието и науката на Русия

Марийски държавен технически университет

Катедра Контрол и производство на радиоапаратура

по темата за: Методи за експертна оценка

Изпълнени: чл. гр. БЖД-41

Копилова И.В.

Проверил: проф. отдел Кипър

Скулкин Н.М.

Йошкар-Ола 2012 г

Въведение

Експертна оценка

Етапи на експертната оценка

Видове експертни оценки

Обработка на резултатите от експертното проучване

Заключение

Библиография

Въведение

Примери за методи за експертна оценка. Как ще се промени икономическата среда с времето? Какво ще се случи с околната среда след десет години? Как ще се промени екологичната ситуация? Ще бъде ли осигурена екологичната безопасност на промишленото производство или ще започне да се разпространява създадена от човека пустиня? Достатъчно е да се замислим върху тези формулировки на природни въпроси, да анализираме как преди десет или дори повече от двадесет години сме си представяли днешния ден, за да разберем, че просто не може да има сто процента надеждни прогнози. Вместо твърдения с конкретни числа, можете да очаквате само качествени оценки. Но ние, инженерите, трябва да вземаме решения, например за екологични и други проекти и инвестиции, чиито последствия ще се усетят десет, двадесет и т.н. в бъдеще. години. Какво трябва да направя? Остава да се обърнем към методите на експертните оценки. Какви са тези методи?

1. Експертна оценка

Експертна оценка- процедурата за получаване на оценка на проблема въз основа на мнението на специалисти (експерти) с цел последващо вземане на решение (избор).

Експерти(от лат. "expertus" - опитен) - това са лица, които имат познания и са в състояние да изразят аргументирано мнение относно изследваното явление.

Методи за експертна оценка - това са методи за организиране на работа с експертни специалисти и обработка на експертни мнения.

Същността на методите за експертна оценка е, че прогнозата се основава на мнението на специалист или екип от специалисти, базирано на професионален, научен и практически опит. Има индивидуални и колективни експертни оценки.

Експертните оценки често се използват при подбора, например:

една версия на техническо устройство за пускане в серия от няколко проби,

група астронавти от много кандидати,

набор от изследователски проекти за финансиране от маса приложения,

получатели на екологични заеми измежду много желаещи,

при избор на инвестиционни проекти за реализация измежду представените и др.

2. Етапи на експертната оценка

1. Поставяне на целта на изследването.

Експертната оценка включва създаването на определен ум, който има по-големи способности в сравнение с възможностите на отделния човек. Източникът на многоумните способности е търсенето на слаби асоциации и предположения, базирани на опита на отделен специалист. Експертният подход ви позволява да решавате проблеми, които не могат да бъдат решени по конвенционален аналитичен начин, включително:

· Избор на най-доброто решение сред наличните.

· Прогнозиране на развитието на процеса.

· Търсене на възможни решения на сложни проблеми.

Преди да започнете експертно изследване, е необходимо ясно да определите неговата цел (проблем) и да формулирате подходящ въпрос към експертите. Препоръчително е да се придържате към следните правила:

· Ясно дефиниране на условията, времето, външните и вътрешните ограничения на проблема. * Способността да се отговори на въпрос с точност, достъпна за човешкия опит.

· По-добре е да формулирате въпроса като качествено твърдение, а не като оценка на число. За числени оценки не се препоръчва да се определят повече от пет градации.

· Експертите оценяват възможните варианти и не трябва да очакват от тях да съставят пълен план за действие или подробно описание на възможните решения.

2. Избор на изследователска форма, определяне на бюджета на проекта.

Съществуващите видове експертни оценки могат да бъдат класифицирани според следните критерии:

· Според формата на експертно участие: редовна, задочна. Методът лице в лице позволява на експертите да съсредоточат вниманието си върху проблема, който се решава, което подобрява качеството на резултата, но кореспондентският метод може да бъде по-евтин.

· По брой итерации (повторения на процедурата за повишаване на точността) - едноетапни и итеративни.

· За задачите, които трябва да бъдат решени: генериране на решения и оценка на опциите.

· По тип на отговора: идеологически, класиране, оценяване на обект в относителна или абсолютна (числова) скала.

· Според метода на обработка на експертните мнения: директен и аналитичен.

· Според броя на участващите експерти: без ограничение, ограничено. Обикновено се използват 5-12 експерти.

Най-известните методи за експертни оценки са методът Делфи, мозъчната атака и методът на йерархичния анализ. Всеки метод има свое време и нужда от експерти. След като изберете метода за експертна оценка, можете да определите разходите за процедурата, които включват заплащане на експерти, наемане на помещения, закупуване на офис консумативи и заплащане на специалист за провеждане и анализ на резултатите от изследването.

3. Изготвяне на информационни материали, анкетни формуляри, модератор на процедурата.

Преди да направят преценка, експертите трябва да разгледат проблема, представен по изчерпателен начин. За извършване на тази процедура е необходимо да се изготвят информационни материали, описващи проблема, наличните статистически данни, справочни материали, анкетни формуляри и оборудване. Трябва да се избягват следните грешки: споменаване на разработчиците на материали, подчертаване на една или друга опция за решение, изразяване на отношението на ръководството към очакваните резултати. Данните трябва да са многостранни и неутрални. Необходимо е предварително да се разработят анкетни формуляри за експертите. В зависимост от метода те могат да бъдат с отворени и затворени въпроси, като отговорът може да бъде даден под формата на преценка, двойно сравнение, класирана серия, в точки или под формата на абсолютна оценка.

Самата процедура се провежда от независим модератор на процедурата, който следи за спазването на регламента, разпространява материали и анкетни карти, но не изразява мнение.

4. Подбор на експерти.

Проблемът за подбора на експерти е един от най-трудните в теорията и практиката на експертното изследване. Очевидно е необходимо да се използват като експерти онези хора, чиито преценки ще помогнат най-много за вземане на адекватно решение. Но как да идентифицираме, намерим, подберем такива хора? Трябва да се каже откровено, че няма методи за подбор на експерти, които със сигурност да гарантират успеха на изпита.

В проблема за избора на експерти могат да се разграничат два компонента - съставяне на списък с възможни експерти и избор на експертна комисия от тях в съответствие с компетентността на кандидатите.

Експертите трябва да имат опит в области, свързани с решаваните задачи. При избора на експерти трябва да се вземе предвид моментът на личен интерес, който може да се превърне в значителна пречка за получаване на обективна преценка. За целта се използват например методите на Шар, когато един експерт, най-уважаваният специалист, препоръчва редица други и по-нататък по веригата, докато се избере необходимият екип.

5. Извършване на преглед.

Процедурата се различава в зависимост от използвания метод. Общи препоръки:

· Установете и спазвайте разпоредбите. Увеличаването на времето за вземане на решение над оптималното не повишава точността на отговора.

6. Статистически анализ на резултатите . След получаване на отговорите на експертите е необходимо те да бъдат оценени. Това позволява:

1) Оценете последователността на експертните мнения. При липса на значително експертно съгласие е необходимо да се идентифицират причините за несъответствието (наличие на групи) и да се признае липсата на консенсус (незначителни резултати).

) Оценете грешката на изследването.

) Изградете модел на свойствата на обекта въз основа на отговорите на експертите (за аналитично изследване). Резултатите от експертната оценка се представят под формата на доклад. В доклада се посочва целта на изследването, съставът на експертите, получената оценка и статистическият анализ на резултатите.

7. Изготвяне на доклад с резултатите от експертната оценка.

. Видове експертни оценки

Методите за експертна оценка могат да бъдат разделени на две групи:

§ методи на колективна работа на експертна група

§ методи за получаване на индивидуални мнения на членовете на експертната група.

Методи за колективна работа на експертна група включват получаване на общо мнение по време на съвместно обсъждане на проблема, който се решава. Понякога тези методи се наричат ​​методи за директно получаване на колективно мнение. Основното предимство на тези методи е възможността за многостранен анализ на проблемите. Недостатъците на методите са сложността на процедурата за получаване на информация, трудността при формиране на групово мнение въз основа на индивидуалните преценки на експертите и възможността за натиск от авторитети в групата.

Методите за работа в екип включват мозъчна атака, сценарии, бизнес игри, срещи и съд.

Мозъчна атака.Организира се като среща на експерти, чиито изказвания подлежат на едно, но много съществено ограничение - не можете да критикувате предложенията на другите. Можете да ги развивате, можете да изразявате идеите си, но не можете да ги критикувате! По време на срещата експертите, „заразявайки се“ един друг, изразяват все по-екстравагантни идеи. Около два часа по-късно срещата, записана на магнетофон или видеокамера, приключва и започва вторият етап на мозъчната атака - анализ на изразените идеи. Обикновено от 100 идеи 30 заслужават по-нататъшно развитие, от 5-6 те позволяват да се формулират приложни проекти, а 2-3 в крайна сметка носят полезен ефект - печалба, повишена екологична безопасност, подобряване на околната среда и др. Освен това интерпретацията на идеи е творчески процес. Например, когато се обсъждаха възможностите за защита на корабите от атака с торпедо, беше предложена идеята: „Подредете моряците отстрани и духнете върху торпедото, за да промените курса му“. След разработването тази идея доведе до създаването на специални устройства, които създават вълни, които избиват торпедото от курса.

Метод "635"- една от разновидностите на мозъчна атака. Числата 6, 3, 5 представляват шестима участници, всеки от които трябва да запише три идеи в рамките на пет минути. Листът се върти в кръг. Така за половин час всеки ще запише 18 идеи, а всички заедно – 108. Структурата на идеите е ясно дефинирана. Възможни са модификации на метода. Този метод се използва широко в чужди страни (особено в Япония), за да се изберат от различни идеи най-оригиналните и прогресивни решения на определени проблеми.

Бизнес игрисе основават на моделиране на функционирането на системата за социално управление при извършване на операции, насочени към постигане на поставената цел. За разлика от предишните методи, при които експертните оценки се формират по време на колективно обсъждане, бизнес игрите включват активната дейност на експертна група, на всеки член на която е възложена определена отговорност в съответствие с предварително изготвени правила и програма.

Основното предимство на бизнес игрите е възможността за разработване на решение в динамика, като се вземат предвид всички етапи на процеса, който се изучава, с взаимодействието на всички елементи на системата за социално управление. Недостатъкът е трудността при организиране на бизнес игра в условия, близки до реална проблемна ситуация.

Метод на срещата(„комисии“, „кръгла маса“) - най-простият и традиционен. То включва провеждане на среща или дискусия с цел изработване на единно колективно мнение по решавания проблем. За разлика от метода на мозъчната атака, всеки експерт може не само да изрази своето мнение, но и да критикува предложенията на другите. В резултат на такова задълбочено обсъждане се намалява възможността за грешки при вземането на решение.

Предимството на метода е простотата на неговото изпълнение. Въпреки това, на среща може да се приеме погрешното мнение на един от участниците поради неговия авторитет, служебна позиция, постоянство или ораторски способности.

Комисионен метод- един от методите за експертни оценки, базиран на работата на специални комисии. Групи от експерти на кръгла маса обсъждат определен проблем, за да хармонизират гледните точки и да изработят общо мнение. Недостатъкът на този метод е, че групата от експерти в своите преценки се ръководи главно от логиката на компромиса.

Метод за писане на скриптсе основава на определяне на логиката на процес или явление във времето при различни условия. Това включва установяване на последователност от събития, които се развиват по време на прехода от съществуващата ситуация към бъдещото състояние на обекта. Уникален сценарий може да бъде описание на последователността и условията за международна интеграция на икономиките на страните, включително следните въпроси:

от какви най-прости форми към по-сложни форми трябва да премине този процес;

как ще се отрази на националната икономика и икономическите връзки на страните;

какви са финансовите, организационните, социалните, правните проблеми, които могат да възникнат по време на интернационализацията на икономиката.

Прогнозният сценарий определя стратегията за развитие на прогнозирания обект. Той трябва да отразява общата цел на развитието на обекта, критериите за оценка на горните нива на дървото на целите, приоритетите на проблемите и ресурсите за постигане на основните цели. Сценарият показва последователно решение на проблема и възможни пречки. В този случай се използват необходимите материали за разработване на прогнозния обект.

Сценарият трябва да бъде написан по такъв начин, че след прочитането му да стане ясна общата цел на извършваната работа в светлината на социално-икономическите цели за прогнозния период.

Обикновено е многовариантно по природа и обхваща три линии на поведение:

оптимистичен - развитие на системата в най-благоприятна ситуация;

песимистичен - развитие на системата в най-неблагоприятна ситуация;

работа - развитие на системата, като се вземе предвид противодействието на негативните фактори, чието възникване е най-вероятно.

Като част от прогнозния сценарий е препоръчително да се разработи резервна стратегия в случай на непредвидени ситуации.

Готовият скрипт трябва да бъде анализиран. Въз основа на анализа на информацията, която се оказва подходяща за предстоящата прогноза, се формулират цели, определят се критерии и се разглеждат алтернативни решения.

Съдебен методе разновидност на метода „срещи” и се осъществява по аналогия с провеждането на съдебен процес.

Избраните опции за решение действат като „ответници“;

в ролята на „съдии” – вземащи решения;

в ролята на „обвинители” и „защитници” – членове на експертната група.

Ролята на „свидетели” играят различни условия за подбор и експертни аргументи. При провеждането на такъв „процес“ определени решения се отхвърлят или приемат.

Методът „съд“ е препоръчително да се използва, когато има няколко групи експерти, които се придържат към различни варианти на решение.

Методи за получаване на индивидуални мнения на членовете на експертната група се основават на предварително получаване на информация от експерти, интервюирани независимо един от друг, с последваща обработка на получените данни. Тези методи включват методи на въпросници, интервюта и методи на Delphi. Основните предимства на метода за индивидуална експертна оценка са тяхната ефективност, възможността за пълно използване на индивидуалните способности на експерта, липсата на натиск от страна на властите и ниската цена на изследването. Техният основен недостатък е високата степен на субективизъм на получените оценки поради ограничените познания на един експерт.

Делфи метод.Целта е да се разработи програма от последователни многократни индивидуални проучвания. Индивидуалните анкети на експерти обикновено се провеждат под формата на въпросници. След това те се обработват статистически на компютър и се формира колективно мнение на групата, идентифицират се и обобщават аргументи в полза на различни преценки. Компютърно обработената информация се предава на експерти, които могат да коригират оценките, като същевременно обясняват причините за несъгласието си с колективната преценка. Тази процедура може да се повтори до 3-4 пъти. В резултат на това обхватът на оценките се стеснява и се изработва последователна преценка относно перспективите за развитие на обекта. Характеристики на метода Delphi:

а) анонимност на експертите (членовете на експертната група са непознати един на друг, взаимодействието между членовете на групата при попълване на въпросници е напълно изключено);

б) възможността за използване на резултатите от предишния кръг на проучването;

в) статистически характеристики на груповото мнение.

Този метод помага да се предопредели развитието на дългосрочни проблемни ситуации. Нашите специалисти, работещи в областта на научно-техническото прогнозиране, разработват и методи за обработка на експертни оценки. Те се наричат ​​евристични.

Метод на интервювключва разговор между прогнозист и експерт по модела въпрос-отговор, по време на който прогнозистът, в съответствие с предварително разработена програма, задава въпроси на експерта относно перспективите за развитие на прогнозирания обект. Успехът на такава оценка до голяма степен зависи от способността на експерта да дава импровизирани мнения по различни въпроси.

Аналитичен методвключва внимателна независима работа от експерт за анализ на тенденциите, оценка на състоянието и пътищата на развитие на прогнозирания обект. Експертът може да използва цялата необходима информация за прогнозния обект. Той оформя заключенията си под формата на меморандум. Основното предимство на този метод е възможността да се използват максимално индивидуалните способности на експерта. Въпреки това, той е от малка полза за прогнозиране на сложни системи и разработване на стратегии поради ограничените познания на един специалист експерт в свързани области на знанието.

. Обработка на резултатите от експертното проучване

експертно колективно индивидуално проучване

Нека да преминем към разглеждане на процедурите, извършени на етапа на обработка на резултатите от проучването.

Въз основа на експертни оценки се получава обобщена информация за изследвания обект (явление) и се формира решение, конкретизирано от целта на изследването. При обработката на индивидуалните експертни оценки се използват различни количествени и качествени методи. Изборът на един или друг метод зависи от сложността на решавания проблем, формата, в която са представени експертните становища и целите на изследването.

Най-често при обработката на резултатите от проучването се използват методи на математическа статистика.

В зависимост от целите на изпита, при обработката на оценките могат да бъдат решени следните проблеми:

· формиране на обобщена оценка;

· определяне на относителните тегла на обектите;

· установяване степента на съгласуваност на експертните мнения и др.

1)Формиране на обобщена оценка

И така, нека група експерти да оценят някакъв обект, тогава х й - оценка на j-тия експерт, , където m е броят на експертите.

За формиране на обобщена оценка на група експерти най-често се използват средни стойности. Например медианата (M д ), което се приема за такава оценка, по отношение на която броят на големите оценки е равен на броя на по-малките.

Може да се използва и точкова оценка за група експерти, изчислена като средноаритметично:

2)Определяне на относителните тегла на обектите

Понякога е необходимо да се определи колко важен (значим) е определен фактор (обект) от гледна точка на някакъв критерий. В този случай те казват, че е необходимо да се определи тежестта на всеки фактор.

Един метод за определяне на тегла е както следва. Нека x ij - оценка на фактор i, дадена от j-тия експерт, , , n е броят на обектите, които се сравняват, m е броят на експертите. След това теглото на i-тия обект, изчислено според оценките на всички експерти (wi ), е равно на:

където w ij - теглото на i-тия обект, изчислено според оценките на j-тия експерт, е равно на:

3)Установяване на степента на последователност на експертните мнения

Ако в едно проучване участват няколко експерти, несъответствията в оценките им са неизбежни, но е важна величината на това разминаване. Груповата оценка може да се счита за достатъчно надеждна само ако има добро съответствие между отговорите на отделните експерти.

За анализ на разпространението и последователността на оценките се използват статистически характеристики - мерки за разпространение.

Диапазон на вариация (R):

Xмакс - х мин ,

където x макс - максимална оценка на обекта; мин - минимална оценка на обекта.

Стандартното отклонение, изчислено по добре познатата формула:

където xj е оценката, дадена от j-ия експерт; е броят на експертите.

Коефициентът на вариация (V), който обикновено се изразява като процент:

Подходите за проверка на последователност, използвани при оценката на обекти чрез метода на класиране, са специфични.

В този случай резултатът от работата на експерта е класиране, което е последователност от рангове (за експерт j): x 1j , х 2j, …, x nj .

Съгласието между класирането на двама експерти може да се определи с помощта на коефициента на рангова корелация на Spearman:

където xij е рангът, присвоен на i-тия обект от j-тия експерт; ik е рангът, присвоен на i-тия обект от k-тия експерт; i е разликата между ранговете, присвоени на i-тия експерт обект.

Стойността може да варира от -1 до +1. Ако оценките са напълно еднакви, коефициентът е равен на единица. Коефициентът е равен на минус едно, когато има най-голямо разминаване в експертните мнения.

В допълнение, изчисляването на коефициента на рангова корелация може да се използва като начин за оценка на връзката между всеки фактор и получената характеристика (реакция) в случаите, когато характеристиките не могат да бъдат измерени точно, но могат да бъдат подредени.

В този случай стойността на коефициента на Спирман може да се интерпретира подобно на стойността на коефициента на двойна корелация. Положителната стойност показва пряка връзка между факторите, отрицателната стойност показва обратна връзка и колкото по-близка е абсолютната стойност на коефициента до единица, толкова по-тясна е връзката.

Когато е необходимо да се определи последователността в класирането на голям (повече от двама) брой експерти, се изчислява т. нар. коефициент на съгласуваност - общият коефициент на рангова корелация за група, състояща се от m експерти:

Обърнете внимание, че изместеното в скобите не е нищо повече от средната сума от ранговете (когато се сумират за всеки обект), получени от i обекти от експерти.

Коефициентът W варира в диапазона от 0 до 1. Равният му на единица означава, че всички експерти са присвоили едни и същи рангове на обекти. Колкото по-близо до нула е стойността на коефициента, толкова по-непоследователни са експертните оценки.

Заключение

Опитът, интуицията, чувството за перспектива, съчетани с информация, помагат на специалистите да избират по-точно най-важните цели и насоки на развитие, да намерят най-добрите варианти за решаване на сложни научни, технически и социално-икономически проблеми в условия, когато липсва информация за решаване на подобни проблеми в миналото.

Използването на метода на експертните оценки помага да се формализират процедурите за събиране, обобщаване и анализиране на мненията на експертите, за да се трансформират във форма, която е най-удобна за вземане на информирано решение. Но трябва да се отбележи, че методът на експертните оценки не може да замени нито административни, нито планови решения, той само позволява да се попълни информацията, необходима за подготовката и вземането на такива решения. Широкото използване на експертни оценки е легитимно само когато е невъзможно да се използват по-точни методи за анализ на бъдещето.

Експертните методи непрекъснато се развиват и усъвършенстват. Основните насоки на това развитие се определят от редица фактори, включително желанието за разширяване на обхвата на приложенията, увеличаване на степента на използване на математическите методи и електронно-изчислителните технологии, както и намиране на начини за отстраняване на възникващите недостатъци. Въпреки успехите, постигнати през последните години в развитието и практическото използване на метода за експертна оценка, съществуват редица проблеми и задачи, които изискват по-нататъшни методологични изследвания и практическа проверка. Необходимо е да се подобри системата за подбор на експерти, да се повиши надеждността на характеристиките на груповото мнение, да се разработят методи за проверка на валидността на оценките и да се проучат скрити причини, които намаляват надеждността на експертните оценки. Но дори и днес експертните оценки в комбинация с други математически и статистически методи са важен инструмент за подобряване на управлението на всички нива.

Библиография

1Орлов А.И. Експертни оценки. // Заводска лаборатория. ? 1996. ? Т. 62. ? номер 1. ? стр. 54-60.

2Орлов А.И. Експертни оценки. Учебник надбавка. - М.: 2002.

Бешелев С.Д., Гурвич Ф.Г. Експертни оценки при вземане на устройствени решения. Учебник надбавка. - М.: Икономика, 1976. ? 287 стр.

Евланов Л.Г., Кутузов В.А. Експертни оценки в управлението. - М.: Икономика, 1978. ? 133 стр.

Управление. Учебник надбавка. / Ед. Ж.В. Прокофиева. - М.: Знание, 2000. - 288 с.

Бешелев С.Д., Гурвич Ф.Г. Експертни оценки. - М.: Наука, 1973. - 79 с.

Статистически методи за анализ на експертни оценки. - М.: Наука, 1977. - 384 с.

Моисеев Н.Н. Математически проблеми на системния анализ. - М.: Наука, 1981. - 487 с.

Литвак Б. Г. Експертни оценки и вземане на решения. - М.: Патент, 1996.

Характеристика на методите за експертна оценка [Електронен ресурс]: #"justify">Експертна оценка. / Уикипедия. [Електронен ресурс]: #"justify">Експертни оценки. // StatSoft: SPC Consulting. [Електронен ресурс]: http://www.spc-consulting.ru/app/expert.htm

Обучение

Нуждаете се от помощ при изучаване на тема?

Нашите специалисти ще съветват или предоставят услуги за обучение по теми, които ви интересуват.
Изпратете вашата кандидатурапосочване на темата точно сега, за да разберете за възможността за получаване на консултация.

Видове експертна оценка

Същността на метода за експертна оценка е, че експертите извършват интуитивно-логически анализ на проблема с количествена оценка на преценките и формална обработка на резултатите. Обобщеното експертно мнение, получено в резултат на обработката, се приема като решение на проблема.

Характерните черти на метода на експертната оценка като научен инструмент за решаване на сложни неформализируеми проблеми са:

· научно обоснована организация на всички етапи на изследването, осигуряваща най-голяма ефективност на работата на всеки етап,

· използването на количествени методи както при организирането на изпита, така и при оценката на експертните оценки и формалната групова обработка на резултатите.

Особен вид метод за експертна оценка е експертното проучване - вид проучване, при което респондентите са експерти - висококвалифицирани специалисти в определена област на дейност.

Експертът е компетентно лице, което има задълбочени познания за предмета или обекта на изследване.

Методът предполага компетентното участие на специалисти в анализа и решаването на разглеждания проблем.

В практиката на психологическите и социологически изследвания се използва за:

· прогнозиране на развитието на определено явление;

· оценка на съществуващото състояние на всяко явление;

· събиране на предварителна информация за проблема на изследването (сондиране);

· оценка на психолого-педагогическите характеристики на учениците;

· екипни оценки;

· сертифициране на персонала (ролята на експерти се изпълнява от ръководителите на екипа, обществени организации или специална сертификационна комисия).

Предимства на метода на експертната оценка

Когато вземаме решения относно диагноза, обикновено приемаме, че информацията, използвана в подкрепа на нея, е валидна и надеждна. Но за много педагогически и психологически проблеми това предположение не може да бъде доказано. Практиката показва, че основните трудности, които възникват при търсенето и избора на решения, свързани с различни психологически ситуации, се дължат преди всичко на недостатъчно високото качество и непълнотата на наличната статистическа информация или на принципната невъзможност за нейното получаване. Тогава на помощ идва експертният метод, който ви позволява да погледнете широко на проблема и да видите възможно решение.

Надеждността на оценките и решенията, взети въз основа на експертни оценки, е доста висока и до голяма степен зависи от организацията и насочеността на процедурата за събиране, анализ и обработка на получените становища. Резултатите от проучване на експертни групи се различават значително от решенията, формирани в резултат на дискусии на заседанията на комисиите, където мнението на авторитетни или просто „настоятелни“ участници може да надделее. Това не означава, че индивидуалното мнение на даден специалист или решението на такава комисия не е от значение. Въпреки това, правилно обработената информация, получена от група експерти, като правило се оказва по-надеждна и надеждна.

Този метод няма да работи, когато:

· първоначалната статистическа информация не е достатъчно надеждна;

· част от информацията има качествен характер и не може да се определи количествено;

· по принцип е възможно да се получи необходимата информация, но в момента на вземане на решение тя не е налична, тъй като това е свързано с голяма инвестиция на време или пари;

· има голяма група фактори, които могат да повлияят на изпълнението на дадено решение в бъдеще, но те не могат да бъдат точно прогнозирани.

Изисквания към експертната група

Надеждността на груповата експертна оценка зависи от общия брой експерти в групата, съотношението на различните специалисти в групата и характеристиките на експертите.

Труден проблем е формирането на система от експертни характеристики, които могат значително да повлияят на хода и резултатите от изследването. Тези характеристики трябва да описват специфичните свойства на специалиста и възможните взаимоотношения между хората, които влияят на изследването.

Подборът на експерти и формирането на експертни групи е доста сложна задача, резултатът от която в най-голяма степен определя ефективността на метода и правилността на получените решения. Подборът на специалисти за участие в експертното проучване започва с идентифициране на научни, технически и административни проблеми, пряко свързани с решаването на поставената задача.

Съставя се списък на лицата, компетентни в необходимите области, който служи като основа за избор на експерти. Експертът в пълния смисъл на думата е активен участник в научните изследвания. Опитът да се скрие целта на изследването от него, превръщайки го в пасивен източник на информация, е изпълнен със загуба на доверието му в организаторите на изследването.

Формирането на група от потенциални експерти започва с метода на „снежната топка”. След преценка на броя на възможните кандидати за експерти се решава въпросът за размера на експертната група. Оптималният брой едва ли е възможно да се определи точно, но е очевидно, че в малка група експерти крайната оценка е прекалено повлияна от оценката на всеки експерт. Твърде много експерти затрудняват формирането на консенсусно мнение. Освен това с увеличаването на броя на участниците намалява ролята на нестандартните мнения, които се различават от мнението на мнозинството, но не винаги се оказват грешни. Участието на голям брой експерти позволява поне частично да компенсира липсата на информация, да използва по-пълно индивидуалния и колективния опит и да вземе предвид предположенията на специалистите за бъдещото състояние на обектите.

От основно значение е възможността за осигуряване на „равнопоставеност“ на научните специалисти в различни области, с различно ниво на компетентност, като се отчита спецификата на изследвания проблем.

Въпреки това е възможно да се установят някои общи изисквания, включващи списък от качества, които трябва да притежава „идеалният“ експерт, с когото е за предпочитане да работите:

· компетентност на потенциален експерт в изследваната област,

· ерудиция в сродни области,

· опит в научна или практическа работа в определена област,

· официална позиция,

· интегритет,

· обективност,

· способност за творческо мислене,

· интуиция.

За подбор на специалисти за работната група се използват някои прости статистически методи и техники, както и тяхната комбинация:

1) експериментални (с помощта на тестване, проверка на ефективността на техните предишни експертни дейности);

2) документални (въз основа на социално-демографски данни);

4) използване на самооценка (оценка на степента на компетентност на изучавания проблем, която се дава от самия потенциален експерт).

В допълнение към тези методи е възможно да се изчисли надеждността и точността на експертните оценки, представени от някой от потенциалните експерти в миналото. За да направите това, изчислете степента на надеждност на експерта, която се разбира като относителната честота на случаите, когато експертът приписва най-високата вероятност на хипотези, които впоследствие са потвърдени (тоест броят на прогнозите, направени от експерта като цяло е разделено на броя на сбъднатите прогнози). Концепцията за експертна надеждност и точност се основава на предположението, че има клас проблеми, за които експертът е подходящ или неподходящ.

Процедура за експертна оценка

Работата на лицето, което организира експертното проучване, включва и подготовката на експертите за работа, по-специално предоставянето им на най-обективни данни по проблема. Трябва да се внимава, за да се гарантира, че участниците са достатъчно информирани за източниците на проблема, който се изследва, и начините за решаване на подобни проблеми в миналото.

Работата включва:

· съставяне на специални въпросници за експерти.Основният инструмент за експертно проучване е въпросник или формуляр за интервю, разработени по специална програма. За разлика от масовото проучване, програмата за експертно проучване не е толкова детайлна и има предимно концептуален характер. В него, на първо място, ясно се формулира разглежданото явление и се предоставят под формата на хипотези възможните варианти на неговия изход;

· избор на група от експерти;

· поставяне на проблема и поставяне на въпроси към експертите;

· избор на метод за експертни оценки;

· самата оценка;

· анализ на получените данни.

Необходимо е условията на проучване да допринесат за получаване на най-надеждните оценки. За да се гарантира независимостта на оценките, взаимното влияние на експертите трябва да се елиминира, когато е възможно, и да се намали влиянието на външни фактори. От голямо значение е правилната формулировка на въпросите на въпросника, която ви позволява да изразите отношението на експерта по всеки въпрос под формата на количествена оценка и позволява да се координират оценките, получени от различни експерти. Ако формата на разпит на експерти включва тяхното лично общуване, трябва да се внимава мненията на най-известните и авторитетни експерти да не задават тона на дискусиите (за това, когато говорят, думата е първа дава се на „обикновените“ участници, а след това на най-известните и авторитетни).

Може също да е необходимо:

· проверка на входните данни, използвани за експертни оценки;

· промяна на състава на експертните групи;

· многократни измервания по едни и същи въпроси, последвани от сравнение на резултатите с обективна информация, получена чрез други методи.

След провеждане на проучване на група експерти резултатите се обработват. Изходната информация за обработка са числови данни, изразяващи предпочитанията на експертите и смислена обосновка на тези предпочитания.

Целта на обработката е получаване на обобщени данни и нова информация, съдържаща се в скрита форма в експертни оценки. Въз основа на резултатите от обработката се формира решение на проблема. Наличието както на числени данни, така и на съдържателни изявления от експерти води до необходимостта от използване на качествени и количествени методи за обработка на резултатите от груповата експертна оценка.

Един от най-критичните етапи при обработката на събраната информация е съгласуването на експертните становища, което може да се извърши въз основа на едно от следните правила:

Правило на мнозинството - избира се оценката на явление или решението на проблем, към която се придържа мнозинството експерти (трябва обаче да се отбележи, че често има ситуации, когато експертите, които дават по-надеждни оценки, се оказват в малцинството) ;

Правило за среден резултат — определя се прост или претеглен среден резултат от експертни мнения.

Качественият анализ на причините за групирането на мнения ни позволява да установим наличието на различни възгледи, концепции, да идентифицираме научни школи, да определим естеството на професионалната дейност и др. Всички тези фактори позволяват по-задълбочено разбиране на резултатите от експертното проучване.

Видове експертна оценка

Съществуващите видове експертни оценки могат да бъдат класифицирани според следните критерии:

1 Според формата на експертно участие:

· кореспонденция

Методът лице в лице ви позволява да фокусирате вниманието на експерта върху проблема, който се решава, което подобрява качеството на резултата, но методът на кореспонденция може да бъде по-евтин. Изборът на варианти за работа с експерти се определя от спецификата на проблема и ситуацията. Възможностите за работа лице в лице с експерти ви позволяват да събирате по-добра информация, въпреки че има организационни трудности и взаимно влияние на експертите. Кореспондентските форми на работа с експерти позволяват да се пренебрегнат географските граници при интервюиране на експерти, изключва тяхното взаимно влияние, но прави работата на експертните групи неефективна.

Видове анкета лице в лице:

1. Безплатно интервю с експерти. Има разузнавателна цел и се използва по-често, когато е необходимо по-точно да се представи проблемът, да се изяснят някои нюанси, да се интерпретират по-ясно използваните понятия и да се очертаят основните насоки на изследване. Броят на интервюираните тук експерти е малък (10-15), но основното е избраните експерти да бъдат представители на различни професионални и научни гледни точки. Това интервю се провежда от опитен социолог.

2. Анкетно проучване на експерти.

3. “Мозъчна атака”, “мозъчна атака” - директен обмен на мнения, стимулиране на наблюдение. Основната цел е да се намери решение или начини за решаване на всеки научен или практически проблем.

Видове кореспондентско проучване:

1. Анкета на експерти по пощата

2. Делфийска техника - състои се в разработване на консенсусни мнения чрез многократно повтаряне на анкета на едни и същи експерти. След първото проучване и обобщаване на резултатите резултатите от него се съобщават на участниците в експертната група. След това се провежда повторно проучване, по време на което експертите или потвърждават своята гледна точка, или променят оценката в съответствие с мнението на мнозинството. Този цикъл съдържа 3-4 преминавания. По време на такава процедура се изготвя оценка, но изследователят, разбира се, не трябва да пренебрегва мнението на онези, които след многократни проучвания остават на своята гледна точка.

Очевидно този тип работа с експерти е много трудоемка и сложна, въпреки че използването на техниката Delphic има и своите предимства: анонимността на анкетата се осигурява чрез изключване на взаимодействието между експертите; установяване на обратна връзка под формата на докладване на обработена информация за съгласуваната гледна точка на експертите на предишните етапи на проучването; елиминиране на взаимното влияние на експертите. Методът Делфи не е предназначен да постигне пълно единство на експертните мнения по съществото на въпроса, следователно, въпреки сближаването на гледните точки, различията в експертните становища все още ще съществуват. Недостатъкът на този вид експертно изследване е зависимостта на оценките, дадени от експертите, от формулировката на въпросите и аргументацията; влияние на общественото мнение върху експертите.

2. Според задачите за решаване:

· генериране на решения;

· оценка на опциите.

3. По вид отговор:

· идеологически;

· класиране;

· оценяване на обект в относителна или абсолютна (числова) скала.

4. Според метода на обработка на експертните становища:

· директен;

· аналитичен.

5. По броя на ангажираните експерти:

· без ограничения;

· ограничен (обикновено се използват 5 - 12 експерти).

Най-известните методи за експертни оценки са методът Делфи, мозъчната атака и методът на йерархичния анализ. Всеки метод има свое време и нужда от експерти.

Библиография:

1. Бешелев С.Д., Гурвич Ф.Г. Експертни оценки. М.: Наука, 1973. 246 с.

2. Бешелев С.Д., Гурвич Ф.Г. Математически и статистически методи за експертни оценки. М.: Статистика, 1980. 263 с.

3. Карданская Н. Вземане на управленски решения. М.: ЕДИНСТВО, 1999. 407 с.

Основните етапи на обработка на експертни оценки:

· определяне на компетентността на експертите;

· определяне на обобщена оценка;

· изграждане на обобщена класация на обектите при няколко оценявани обекта или алтернативи);

· определяне на зависимости между класациите;

· оценка на последователността на експертните мнения. При липса на значително съгласие между експертите е необходимо да се идентифицират причините за несъответствието (наличие на групи) и да се признае липсата на консенсус (незначителни резултати);

· оценка на изследователската грешка;

· изграждане на модел на свойствата на обект (обекти) въз основа на отговорите на експерти (за аналитично изследване);

· изготвяне на доклад (с посочване на целта на изследването, състава на експертите, получената оценка и анализ на резултатите).

26. Избор на експерти и тяхното анкетиране.

Често се предлага да се използват методи за взаимна оценка и самооценка на компетентността на експертите. От една страна, кой може да познава възможностите на един експерт по-добре от самия него? От друга страна, при самооценката на компетентността се оценява по-скоро степента на самочувствие на експерта, отколкото действителната му компетентност. Освен това самото понятие „компетентност” не е строго дефинирано. Може да се изясни чрез подчертаване на компонентите му, но това усложнява предварителната част от дейността на експертната комисия.

При използването на метода за взаимна оценка, в допълнение към възможността за показване на лични и групови симпатии и антипатии, роля играе незнанието на експертите относно възможностите на другия. В съвременните условия само специалисти, които са работили заедно в продължение на много години, могат да имат доста добро запознаване с работата и възможностите на другия. Привличането на такива двойки специалисти обаче не е много препоръчително, тъй като те са твърде сходни един с друг.

Използването на формални показатели (длъжност, научна степен и звание, трудов стаж, брой публикации...) очевидно може да има спомагателен характер. Успешното участие в предишни прегледи е добър критерий за дейността на дегустатор, лекар, съдия в спортни състезания, т.е. такива експерти, които участват в дълги серии от подобни експертизи. Но, уви, най-интересни и важни са уникалните експертизи на големи проекти, които нямат аналози.

Ако процедурата по експертно проучване включва съвместна работа на експерти, техните лични качества са от голямо значение. Един „говорещ” може да парализира дейността на цялата комисия. В такива случаи е важно да се спазват правилата за работа, разработени от РГ.

Има един полезен метод „снежна топка“, при който от всеки специалист, привлечен като експерт, се получават няколко имена на тези, които могат да бъдат експерти по разглежданата тема. Очевидно някои от тези имена са се срещали по-рано в дейността на РГ, а някои са нови. Процесът на разширяване на списъка спира, когато спрат да се появяват нови имена. Резултатът е доста обширен списък от възможни експерти. Ясно е, че ако на първия етап всички експерти са били от един и същ „клан“, тогава методът „снежна топка“ най-вероятно ще доведе до хора от този „клан“, мненията и аргументите на други „кланове“ ще бъдат пропуснати.

Трябва да се подчертае, че изборът на експерти в крайна сметка е функция на Работната група и никакви методи за подбор не я освобождават от отговорност. С други думи, работната група е тази, която отговаря за компетентността на експертите, за принципната им способност да решат задачата. Важно изискване е лицето, вземащо решение, да одобри списъка с експерти.

Съществуват редица нормативни документи, регламентиращи дейността на експертните комисии в определени области. Пример за това е Законът на Руската федерация „За екологичната експертиза“ от 23 ноември 1995 г., който регулира процедурата за изследване на „планирани икономически или други дейности“, за да се идентифицират възможните вреди, които въпросната дейност може да причини на естествена среда.

27. Обработване на информация, получена от експерти, проверка на нейната последователност и достоверност.

Експертните оценки са методите на обща група методи за научно изследване, използвани за оценка на сложни системи на качествено ниво.

Когато се използва експертна преценка, обикновено се приема, че мнението на група експерти е по-надеждно от мнението на отделен експерт. Някои теоретични изследвания отбелязват, че това предположение не е очевидно, но в същото време твърдят, че при условие, че са изпълнени определени изисквания, в повечето случаи груповите оценки са по-надеждни от индивидуалните. Ето защо е важно при организирането на експертни проучвания да се въведат определени правила и да се използват подходящи методи за получаване и обработка на експертни оценки.

Алгоритъмът за организиране на експертни проучвания включва етапи, на които се разглеждат следните въпроси:

· проблеми на формирането на експертни групи, включително изисквания към експертите, размери на групите, въпроси на обучението на експерти, оценка на тяхната компетентност;

· форми на експертни проучвания (различни видове въпросници, интервюта, смесени форми на проучвания) и методи за организиране на проучвания (включително методи на проучване, мозъчна атака, бизнес игри и др.);

· подходи за оценка (класиране, стандартизация, различни видове подреждане, включително методи на предпочитания, двойни сравнения и др.);

· методи за обработка на експертни оценки;

· методи за определяне на последователността на експертните мнения, надеждността на експертните оценки (включително статистически методи за оценка на дисперсията, вероятност за даден диапазон от промени в оценките, Kendall, Spearman рангова корелация, коефициент на съгласуване и др.) и методи за увеличаване на последователност на оценките чрез подходящи методи за обработка на резултатите от експертно проучване;

· възможности за интерпретация на получените резултати.

Целесъобразността на използването на определен метод се определя от естеството на анализирания проблем и използваната информация.

Ако са оправдани само качествени оценки на обекти въз основа на определени качествени характеристики, тогава се използват методи за класиране, двойки и множество сравнения. Ако естеството на анализираната информация е такова, че е препоръчително да се получат числени оценки на обекти, тогава може да се използва един или друг метод, вариращ от директни числени оценки с помощта на скали до по-фини методи за последователно сравнение, например Churchman- Ackoff.

Изпитни процедури

По време на проверката могат да възникнат грешки - отклонения в оценките, внесени от самата процедура по събиране и анализ на експертни мнения. Ето защо експертите в областта на експертните методи обръщат голямо внимание на разработването на надеждни правила за подготовка и провеждане на експертизи. Най-важните правила и етапи на провеждане на изпити са разгледани по-долу.

За подготовка на изпита трябва да се сформира група от специалисти-организатори. Тази група има за цел да осигури условия за ефективна работа на експертите и да разработи процедура за разглеждане, която е най-подходяща за естеството на разглеждания проблем. Задачите на групата включват:

· Постановка на проблема, определяне на целите и задачите на изследването, неговите граници, основни етапи;

· Разработване на изпитни процедури;

· Избор на експерти, проверка на тяхната компетентност и формиране на експертни групи:

· Провеждане на анкета и съгласуване на оценки;

· Формализиране на получената информация, нейната обработка, анализ и интерпретация.

Броят на експертите в групата не трябва да бъде малък, тъй като в този случай ще се загуби смисълът от формирането на експертни оценки. В допълнение, груповите резултати ще бъдат значително повлияни от оценката на всеки оценител. В същото време при много голям брой експерти оценката на всеки от тях почти не влияе върху груповата оценка. Увеличаването на размера на експертната група не винаги повишава надеждността на оценките, тъй като често разширяването на групата от експерти е възможно само чрез привличане на нискоквалифицирани специалисти. С увеличаването на броя на експертите се увеличават и трудностите, свързани с обработката на резултатите от проучването и координирането на работата на групата.

Преди експертно проучване трябва да се разработят правила за неговото провеждане и организация, съдържащи редица разпоредби, които са задължителни за всички експерти. Тези правила трябва да гарантират спазването на условия, благоприятстващи формирането на обективно мнение от експертите. Тези условия включват:

· Независимост на експертите, формиращи собствено мнение за оценяваните събития;

· Поддържане на анонимност на отговорите;

· Възможност за провеждане на колективни обсъждания на оценяваните събития;

· Предоставяне на експерти с необходимата информация.

В зависимост от важността и сложността на проблема и съответно задачите, възложени на групата от организатори, тя включва до пет до седем души - специалисти в дадената област (области) на знанието, както и специалисти по експертни методи ( социолози, психолози, математици).

Подготовката за изпита започва с изложение на проблема. За да направите това, първо се запознайте с предисторията и състоянието на проблема, установете неговото място и значение. След това се извършва предварителен анализ на проблема, изясняват се всички външни и вътрешни връзки и се определят границите на материала, включен в разглеждането. За да направят това, организаторите на изпита поставят централен въпрос, който съставлява същността на проблема, и след това го „разделят“ на подвъпроси, като същевременно ограничават „полето“ на разглеждане само до тези подвъпроси, без отговори на които е невъзможно да се получи отговор на централния въпрос.

При решаването на сложни социално-икономически, научни и технически проблеми експертите, представляващи различни области на знанието, се обръщат към концепции от различни дисциплини. Следователно е необходимо да се формулират основните понятия. използвани по време на прегледа.

В зависимост от целите и задачите на изпита, от избора на специалисти, участващи в него, организаторите на изпита избират метод на изследване:индивидуално или групово (колективно), лично (щатно) или кореспондентско, устно или писмено.

Независимо дали говорим за въпросник или интервю, основата на проучването е въпросник, с помощта на който се събира необходимата информация. Превеждането на целта и задачите на изпита на езика на въпросите изисква сложна и усърдна работа от организаторите на изпита, познаване на различни видове въпроси, способност за точното им формулиране и подреждането им в определена последователност.

Въпросникът е структурно организиран набор от въпроси, всеки от които е логически свързан с централната задача на изпита. Всички въпроси във въпросника, в зависимост от тяхното съдържание, могат да бъдат разделени на три групи: информация за самия експерт (неговата възраст, длъжност, трудов стаж, образование, научна титла, тясна специализация и др.); въпроси по същността на изследвания проблем; въпроси за оценка на мотивите на експерта при неговия анализ.

Формата прави разлика между отворени, затворени и полузатворени въпроси; преки и непреки. Въпросът се счита за отворен (свободен), ако отговорът на него може да бъде даден във всякаква форма и не е регламентиран по никакъв начин, затворен - ако формулировката му съдържа варианти за възможни отговори, като експертът трябва да избере един или повече; полузатворен, ако списъкът предвижда възможност за допълнителни коментари.

Има три вида въпроси, за които се дава експертна оценка - въпроси, чиито отговори съдържат количествена оценка (1), изискваща съдържателен отговор в съкратен (2) и разширен (3) вид.

Работата по подбора на експертите, участващи в изпита, обикновено започва със съставянето на списък от лица, компетентни в изследваната област. Този списък служи като основа за подбор на експерти по специални методи за оценка на техните качества. Има четири основни групи такива методи: самооценка; оценка от група на всеки специалист; оценка въз основа на предишното представяне на експерта; методи за оценка на компетентността на кандидат-експертите.

©2015-2019 сайт
Всички права принадлежат на техните автори. Този сайт не претендира за авторство, но предоставя безплатно използване.
Дата на създаване на страницата: 2016-04-27