НАДЕЖНОСТЬ — показатель качества метода и данных, получаемых с помощью этого метода, мера независимости данных от случайных обстоятельств и нерелевантных факторов.
Классическая формулировка Н. В классической теории измерения Н. метода понимается как его устойчивость к меняющимся условиям применения, в том числе нечувствительность к влиянию исследователя, или как согласованность измерения. Результат измерения включает истинный компонент и ошибку. Последняя представляет собой суперпозицию влияний, не коррелирующих между собой.
Это предположение делается для того, чтобы гарантировать нормальное распределение ошибок и предсказывать их поведение. Классические показатели Н., используемые для оценки качества опросников, концептуально определяются как дополнение до единицы отношения дисперсии ошибки к дисперсии измерения. Традиционно обозначается ρxx: это корреляция измеренной переменной самой с собой, очищенная от ошибки измерения. Другая интерпретация показателя Н. — квадрат корреляции между истинными и измеренными значениями. Истинное значение понимается как сумма ответов респондента на все возможные вопросы, измеряющие данный конструкт, напр., социально-экономический статус. Отсюда следует, что чем большую долю универсума вопросов (индикаторов) включает методика, тем выше ее Н.
Одним из методов эмпирической оценки Н. является повторное применение методики на одних и тех же респондентах (ретестовая Н.). Корреляция между результатами двух измерений интерпретируется как коэффициент Н. Этот подход основывается на нереалистичном предположении о стабильности истинного показателя во времени и не принимает в расчет реактивный эффект (изменение свойств респондента вследствие первого измерения, в особенности при обсуждении сензитивных тем). В результате корреляция между двумя измерениями ниже действительной Н. методики.
Эффекты памяти, напротив, завышают показатель Н. Предположение об отсутствии корреляции между ошибками двух измерений также нереалистично. Ретестовый подход к определению Н. сложен технически: исследователь должен идентифицировать индивидуальные результаты обоих измерений и обеспечить повторное участие респондентов в процедуре.
Метод альтернативных форм основан на использовании двух взаимозаменяемых методик. В некоторых случаях исследователям доступны альтернативные шкалы аттитюдов (см.), или ценностей. Возражением против этого подхода является неправдоподобность предположения о полной эквивалентности разных версий одной методики.
Метод расщепления методики пополам строится на предположении о строгой параллельности двух частей методики. Корреляция половин между собой является оценкой Н. каждой половины. Н. методики находится по формуле
Спирмена-Брауна. Этот подход не предполагает устойчивости истинного показателя во времени, исключает эффект памяти и возможность ковариации ошибок измерения. Однако полученный показатель Н. всегда зависит от способа разделения методики на половины. Обобщением этого подхода является метод внутренней согласованности.
В некоторых случаях и сама измеряемая область поведения, и выборка вопросов считается однородной, а все элементы методики — коррелирующими. Н. методики определяется по формуле Л. Кронбаха:
где k — количество элементов измерительной методики, σ²τ — дисперсия суммарных измеренных баллов, σ²i — дисперсия отдельных элементов. Формула имеет интересную теоретическую интерпретацию и более широкий диапазон пригодности. Она находит применение для разработки шкал Лайкерта. Близкий подход связан с подстановкой вместо дроби в правой части формулы Кронбаха величины, обратной первому собственному значению из анализа главных компонент индикаторов.
Более современный и общий подход к определению Н. связан с использованием структурных уравнений (см.). Последний метод позволяет, в частности, оценивать Н. менее «родственных» измерений — т. наз. тау-эквивалентных и параллельных.
Н. как воспроизводимость результатов, полученных разными исполнителями. В исследованиях, связанных с использованием наблюдения или кодирования текстового материала в качестве меры Н. используется сходство результатов, полученных разными исполнителями («экспертами»), работающими по одной схеме (инструкции).
Результаты измерения (кодирования) сводятся в таблицу сопряженности, строки и столбцы которой состоят из категорий, использованных, соответственно, первым и вторым исполнителем. Коэффициент согласованности κ («каппа») Коэна рассчитывается по формуле:
к = (D — P) / (1 — P) ,
где D = (1/N) ∙ ∑Ii=1 Xii, т. е. сумма частот по диагонали, деленная на общее количество наблюдений (чистая согласованность), а P = (1/N²) ∙ ∑Ii=1 Xi∙X∙i, т. е. сумма попарных произведений сумм по столбцу и по строке с одним и тем же номером, деленная на квадрат общего количества наблюдений (случайная согласованность). Похожий подход используется для проверки правильности («объективности») транскрипции устных текстов в нарративном анализе, анализе разговора и т.п.
В случае, когда измерение осуществляется несколькими экспертами, используется коэффициент конкордации Кендалла.
Процедурные средства обеспечения Н. В тех случаях, когда Н. методики не может быть оценена количественно, исследователи предпринимают усилия для того, чтобы идентифицировать и устранить источники случайной изменчивости данных. Этнографы используют стандартизованные процедуры наблюдения, множественные источники фиксации материала, стремятся к максимально полной и точной фиксации происходящего, приглашают независимых наблюдателей.
Этнометодологи и разговорные аналитики используют лонгитюдный дизайн исследования, чтобы избежать случайной фиксации нетипичных и мимолетных событий и случайной потери долговременных закономерностей. Исследователи текста сравнивают результаты, полученные при анализе различных фрагментов целостного текста. Визуальные социологи используют несколько параллельно средств фиксации происходящего в разных ракурсах. Важным принципом оценки Н. по-прежнему остается воспроизводимость данных/результатов несколькими независимыми учеными. Многие методологи качественных исследователей неоднократно пытались отказаться от понятия объективности и Н., считая его мерой нечувствительности метода к социальным изменениям и контексту. С этой точки зрения независимость данных, полученных в интервьюировании, объявлялась фикцией и артефактом исследования.
Однако даже те, кто понимает интервьюирование как совместное творчество, используют повторяемости и регулярности текста как подтверждение достоверности данных. Во многих отраслях качественных исследований используются процедуры оценки полученных материалов, напоминающие финансовый аудит (см. Валидность).
С.В. Сивуха
