Почему не работают тесты и как с этим бороться

Вадим Ковальчук,
1999.

Почему не работают тесты на социотип? Вот основные недостатки классических тестов:

1. Отсутствие нечёткости. Нельзя жёстко соотнести тип с его признаками. Каждый конкретный тип проявляет свои признаки по-разному (не зря существуют понятия «самый экстравертный интроверт» и «самый иррациональный рационал»). Дихотомия в данном случае не работает, необходимы более размытые характеристики. Нельзя также жестко отнести конкретного человека к одному из признаков – наработанные модели поведения могут внести искажения.

Тип – целостное образование, результат совместного действия признаков (вообще – элементов структуры психики). Подход теста – выявление частного, а затем механическое соединение элементов – не совсем естественный.

2. Отсутствие адаптивности. Большинство тестов статично. Они не улучшаются, используя предыдущие результаты, чтобы отбрасывать малоэффективные вопросы и добавлять новые.

Нечёткость и адаптивность – это главные условия для правильного типирования. Чтобы согласиться с этим, достаточно пронаблюдать за работой опытного типировщика (назовем его экспертом). На основании неполной, зашумленной информации (отдельные фрагменты которой часто противоречат друг другу), он умудряется сделать правильный вывод, хотя не всегда может объяснить его. Подтверждение этому – типирование «телегероев». Наши знания о человеке, который находится на далекой дистанции, отрывочны, и никакой тест, основанный на фиксированном наборе вопросов и ответов, не сможет помочь в такой ситуации.

Учитывая явное превосходство кустарного типирования «на глазок» перед использованием новейших компьютеризованных тестов с десятками, а то и сотнями вопросов, остается только одно – попытаться сымитировать работу опытного эксперта. Такие задачи решаются с использованием методов искусственного интеллекта, в частности – экспертных систем (ЭС).

В [1] поставлен вопрос «кому нужны экспертные системы», и приведен анализ областей применения ЭС:

Подходит

Не подходит

Диагностика

Нет установившейся теории

Мало специалистов

Данные «зашумлены»

Вычислительные задачи

Существует подходящая формула

Специалистов пруд пруди

Известны точные факты

Вся левая колонка таблицы подходит к проблеме социодиагностики. Единственное возражение, на мой взгляд, может возникнуть насчет «нет установившейся теории». Действительно, после 30 лет существования соционики это звучит не совсем понятно, однако в этом есть доля правды. Теорий и направлений достаточно много, но как только речь заходит о человеке, который далек от чистого типа, результаты различных школ часто противоречат друг другу. Социодиагностика до сих пор остается одной из главных проблем соционики, и можно с уверенностью сказать, что подходящей формулы не существует.

Экспертная система – это система, в которую включены знания специалистов о некоторой конкретной проблемной области, и которая в пределах этой области способна принимать экспертные решения.

Классический пример ЭС – система MYCIN, которая диагностирует бактериальные инфекции крови и дает предписания относительно лекарственной терапии. Она обладает несколькими характеристиками, свойственными всем экспертным системам:

1. Её знания составляют правила вида «ЕСЛИ … ТО можно предположить с определённой вероятностью, что перед нами…» (переходя к соционике, можно записать:

ЕСЛИ (1) человек «на людях» ведёт себя активно, проявляет положительные эмоции, И (2) подвижен, И (3) экономен в мелочах, ТО можно предположить с вероятностью (0,7), что его тип Посредник);

2. Эти правила являются вероятностными, и позволяют системе прийти, от ненадёжных данных (когда некоторые из исходных данных неверны или отсутствуют), к правдоподобным заключениям;

3. Система может объяснить свой процесс рассуждения;

4. Самое главное – система действительно работает. Она выполняет работу, которой люди обучаются годами.

На самом деле, система MYCIN весьма ограниченна в своих возможностях, но результаты её работы вполне удовлетворительны.

Основа экспертной системы – база знаний, содержащая в себе опыт экспертов. Этот опыт может представляться в виде эвристик – правил, полученных опытным путем. Например, высказывание «ЕСЛИ человек любит сладкое, ТО он, скорее всего, Искатель» – эвристика. Существуют и другие модели представления знаний, но у них есть общие требования: выражение опыта словами и наличие вероятности (не все Искатели любят сладкое, да и среди других типов сладкоежек тоже хватает). Одна такая эвристика, не связанная с другими, поможет мало – действительно, по вопросу «Любите ли вы сладкое» тип не определишь. Но в сочетании с другими, тоже нечёткими эвристиками, она сможет дополнить картину. Даже вопрос, построенный на строгих описаниях осей Юнга по уровням коммуникации, в одиночку не даст точного ответа – ведь любое описание отражает лишь общие тенденции.

Для создания полноценной ЭС необходимо содействие экспертов. Для эксперта такая работа сопряжена с трудностями – ему придется записать словами весь свой опыт, которым он часто пользуется неосознанно. Но результат того стоит – мы получим эффективного и надёжного помощника, который будет хранить опыт эксперта (и даже многих), отлично справляться с рутинной работой, и в то же время учитывать неопределённость, как человек. Будет ли эффективной такая система? Думаю, да. Подобные системы нашли применение в геологии, при анализе данных геологоразведок, в медицине, при диагностике заболеваний, чем значительно упрощают работу врачам. Во всяком случае, ЭС будет типировать почти так же, как и опытный эксперт, что уже немало.

Наиболее очевидные преимущества ЭС – это избавление от рутинной работы, экономия времени и анализ всей доступной информации. Но существуют и другие:

  • накопление опыта экспертов (систему можно наращивать знаниями многих специалистов);
  • поиск корреляций (дополнительная информация, которая попадает в систему при диагностике, будет автоматически преобразована в вопрос, и при следующих сеансах работы будет определяться её связь с типом);
  • применение в обучении экспертов (появляется возможность ознакомиться с методами работы эксперта на основе базы знаний).
  • Добавив в ЭС способность к обучению, мы получим систему, которая не просто дает правильные ответы, исходя из отрывочных и противоречивых фактов, но и учится на собственных ошибках, что даст ей возможность «расти над собой», набираться опыта, и, возможно, вылавливать новые закономерности.

Главный недостаток ЭС – это невозможность пользоваться невербальной информацией, которую получает типировщик на интервью. Однако вполне реально типировать людей по рассказам о них, по биографии, или литературных героев. В этом случае информация лишена невербальной компоненты, но приводит к ответу.

Принципов построения ЭС достаточно много. Архитектура ЭС определяется структурой базы знаний (моделью представления знаний) и структурой машины вывода, которая на основании этих знаний получает ответ. На мой взгляд, для диагностики социотипа есть смысл выбрать байесовскую машину вывода и привязанный к ней формат базы знаний. Принцип работы этой машины вывода основан на использовании теоремы Байеса и состоит в следующем: как правило, мы легко можем совершить переход от типа к признакам (хорошо зная многих Посредников, можно сказать, что «как правило» Посредник заботлив). Гораздо труднее совершить обратный переход – совсем не обязательно, что заботливый человек окажется Посредником. Этот переход позволяет сделать теорема Байеса. Она вычисляет вероятность гипотезы (в нашем случае – гипотезы типа), исходя из вероятности проявления признака при этом типе, и из априорной вероятности этого типа (т.е. частоты встречаемости типа). В самом начале вероятность гипотезы равна априорной вероятности (скажем, 1/16, если принять примерно равные пропорции для всех типов). При работе ЭС пользователю задаются вопросы типа «Заботливый ли это человек? Оцените по шкале [-5..5], где -5 – однозначное нет, +5 – однозначное да, 0 – не знаю, остальные значения – промежуточные оценки». При получении ответов пользователя эти вероятности пересчитываются, и начинают выделяться гипотезы-лидеры и гипотезы-аутсайдеры. При этом отсутствие ответа на вопрос (точнее, ответ «0 – не знаю»), не является критичным, т.к. он не меняет вероятности. К концу работы могут быть определены наиболее вероятные гипотезы, причем по величине вероятности можно определить, достоверна эта гипотеза, или нет. Например, если вероятность гипотезы больше порога 0.90, то она принимается как достоверная, а если меньше 0.30 – то отвергается как недостоверная. Если все гипотезы имеют низкую вероятность, то это означает, что необходимо собрать дополнительную информацию. Имея на руках базу знаний, легко получить ответ на вопрос, какую именно информацию нужно собирать.

Построенная на такой основе ЭС не обладает способностью приобретать новые знания.

Следующий этап – это введение свойства адаптивности. В самом простом случае адаптивность выглядит так: после определения типа система задает вопрос «введите какие-нибудь дополнительные признаки этого человека». Эти признаки вводятся в базу знаний, и в дальнейшем вопросы по этим признакам задаются для каждого типируемого человека. После накопления определённой «критической массы» типирований рассчитываются вероятности (частоты), и дополнительный признак становится полноценным элементом базы знаний.

Более сложная адаптивность предполагает изменение правил, введение новых, а также изменение структуры базы знаний и машины вывода, но это – уже перспектива.

В настоящее время ведётся работа по созданию оболочки ЭС «Эксперт», которая нуждается в наполнении экспертными знаниями.

Немаловажный вопрос – как оценить результаты работы ЭС? Ответ прост – так же, как и результаты работы эксперта-человека. Если эти результаты нас систематически устраивают, мы их принимаем.

Литература

1. Экспертные системы. Принципы работы и примеры. Под ред. Р. Форсайта. Москва, «Радио и связь», 1987

2. Конорева Л. В., Перевозчикова О. Л., Ющенко Е. Л. Диалоговые системы и представление знаний. Справочное пособие. Киев, «Наукова думка», 1993.

3. Гуленко В.В. Насколько прочны основания соционики? – Киев, 03.03.1998// СМиПЛ, 1998, № 3.