Библиотека Михаила Грачева

предыдущая

 

следующая
 
оглавление
 

Мангейм Дж. Б., Рич Р.К.

Политология: Методы исследования

 

М.: Издательство “Весь Мир”, 1997. – 544 с.

 

Красным шрифтом в квадратных скобках обозначается конец текста

на соответствующей странице печатного оригинала указанного издания

 

3. ОТ АБСТРАКТНОГО К КОНКРЕТНОМУ: ОПЕРАЦИОНАЛИЗАЦИЯ И ИЗМЕРЕНИЕ

 

 

Каждое качество проявляет себя в определенном количестве, а без количества не может быть качества. До настоящего времени многие наши товарищи все еще не понимают, что необходимо уделять внимание количественному аспекту вещей – основополагающей статистике, основным процентным соотношениям и количественным пределам, определяющим качество вещей. У них в голове нет “цифр”, и в результате они не могут не делать ошибок.

Мао Цзэдун

 

Эмпирическое исследование– это способ получения ответов на вопросы о действительности. Наши вопросы могут быть главным образом практическими либо представлять преимущественно академический интерес. В любом случае они, возможно, будут сформулированы в абстрактной форме. Тем не менее ответы, которые мы хотим получить, обычно носят конкретный и специальный характер. Одна из первых проблем исследования – разработать способы перехода от абстрактного уровня вопросов к конкретным наблюдениям, которые позволят нам ответить на них.

Приведем пример не из области политики: предположим, мы хотим разрешить спор, какой из двух профессиональных футбольных защитников является лучшим спортсменом. Очевидно, нам придется каким-то образом сравнивать этих двоих, чтобы выработать свои аргументы. Но на каких основаниях мы будем их сравнивать? Мы хотим определить, у кого из них больше качеств хорошего спортсмена, однако спортивное мастерство – абстрактное понятие. Чтобы оценить каждого защитника в терминах этого качества, нам придется количественно определить понятие спортивного мастерства. Мы могли бы подсчитывать число сделанных ими передач во время игр, транслировавшихся по телевидению, поделить это число на число передач, которые они пытались сделать, и считать получающуюся в результате количественную оценку показателем спортивного мастерства. Или, что более вероятно, мы могли бы выполнять несколько таких операций по оценке действий игроков, так чтобы иметь более полную [c.72] картину того, насколько хорошо эти спортсмены выполняют функции защитника, и затем определенным образом их комбинировать. Получив новые количественные отношения, мы сможем сделать конкретные сравнения и разрешить спор.

То, что мы только что описали, – это, по существу, процесс, посредством которого в социальном исследовании осуществляется переход от абстрактного понятия к конкретным наблюдениям. Это решающий этап процесса исследования, поскольку лишь в том случае, если он выполнен правильно, собранная нами информация даст сведения о полезности наших теорий или позволит получить ответы на наши вопросы. Процесс сбора наблюдаемых явлений для представления абстрактных понятий известен как операционализация, а уточнение шагов, которые следует предпринять при ведении наблюдений, называется инструментализацией. Результатом ее является измерение, а измерение мы в конце концов используем в качестве свидетельства, принимая решения и отвечая на вопросы.

В настоящей главе мы подробно опишем эти процессы и обсудим проблемы, которые могут возникнуть при попытке операционализации и измерения понятий. Усвоив эту главу, вы сможете сформулировать объяснения, выработанные в результате анализа литературы, в форме, допускающей их проверку посредством реальных наблюдений. Обсуждаемые здесь действия представляют собой тот этап процесса исследования, после которого можно приступать к разработке плана исследования и сбору данных.

 

ОПЕРАЦИОНАЛИЗАЦИЯ: СВЯЗЬ МЕЖДУ ТЕОРИЕЙ И НАБЛЮДЕНИЕМ

 

В гл. 2 мы подчеркивали важность наличия теории для руководства наблюдением. В самых общих чертах процесс исследования описан как процесс сравнения реальных наблюдений с теоретическими представлениями, для того чтобы мы могли оценить, насколько можно доверять теориям как объяснениям политических явлений. Эти представления формулируются в виде гипотез, предсказывающих наличие взаимосвязей между переменными, которые Представляют понятия теории. Цель настоящей главы – описать план проведения наблюдений, которые позволят произвести такие сравнения. Проблема заключается [c.73] в том, каким образом количественно представить наши понятия, так чтобы иметь возможность точно сказать, подтверждаются или нет наблюдениями наши теоретические представления.

Возникающие при этом проблемы в области социальных наук, по существу, не отличаются от проблем в области естественных наук. Простой пример помогает дать кое-какие пояснения на этот счет. Допустим, мы хотим проверить гипотезу о том, что минеральное удобрение, внесенное на одном поле, в большей степени стимулирует рост, чем естественные питательные вещества, обнаруженные на другом поле. Рост – это абстрактное понятие. Мы не можем увидеть его непосредственно, необходимо перевести рост в эмпирически наблюдаемую переменную, так чтобы мы могли определить, когда одно растение характеризуется им в большей степени, чем другие.

Можно представить понятие росте с помощью переменной достигнутая высота, поскольку относительная высота эмпирически наблюдаема. Однако стебли кукурузы отметок высоты не имеют; мы должны установить их сами. Но как это сделать? Мы попытаемся оценить с помощью наблюдателя кукурузу на двух полях как высокую или низкую. Однако такая процедура позволяет осуществить лишь грубое сравнение растений; при этом возможны разного рода ошибки, поскольку люди могут оценить переменную высота по-разному. Если мы хотим делать осмысленные сравнения, необходим более точный и надежный способ определения высоты.

Переменную высоты следует представить в виде значений какого-либо измерительного прибора, который может быть использован для получения точных, стандартизированных сведений о степени проявления данной характеристики у отдельных растений. Можно допустить, чтобы высота была представлена показателем, таким, как длина в дюймах, и измерить растения с помощью мерной ленты. Тогда данные, считываемые с мерной ленты, становятся значениями, которые мы приписываем растениям по переменной высота; эти значения и есть то, что мы реально сравниваем, пытаясь определить правильность нашего предсказания относительно величины роста растения на одном поле по сравнению с другим. [c.74]

Итак, мы перешли от абстрактного понятия рост к переменной высота и далее к показателю длина в дюймах. Это преобразование и есть то, что называется операционализацией, поскольку мы свели абстрактное понятие к множеству значений, которые могут быть получены с помощью специальных операций. И наконец, мы производим сравнения, на основании которых сможем оценить правильность нашей гипотезы об относительном росте, воспользовавшись сравнением значений, полученных в результате процесса измерения (в нашем примере – показаний, считанных с мерной ленты). Когда мы говорим о наблюдении в исследовании, мы имеем в виду процесс использования измерительного инструмента в целях приписывания значений некоторой характеристики или свойcтва рассматриваемого явления тем объектам, которые подвергаются изучению. Иными словами, наблюдение означает использование инструмента для измерения свойства или поведения.

Это очень важный момент. Он поясняет роль операционализации и измерения в процессе исследования. Мы никогда не можем реально сравнивать понятия, хотя наши теории, а зачастую и проблемы, будут сформулированы в терминах понятий. Мы сравниваем показатели понявший. В приведенном выше примере мы не можем сравнивать рост растений на двух полях. Мы можем сравнивать лишь данные, считанные с мерной ленты измерения, полученные с помощью показателя, который, как мы решили, представляет наше понятие.

Это означает, что наши сравнения могут быть точны лишь в той степени, в которой выбранные показатели отражают понятие, для измерения которого они предназначены. Если мы неправильно операционализировали наши понятия, отношение между показателями может неверно отражать отношение между понятиями, которые они должны представлять. В результате любые выводы, которые мы получаем исходя из понятий или теории, частью которой эти понятия являются, оказываются ошибочными.

Рис.3.1 иллюстрирует эту ситуацию. Теория устанавливает отношение между двумя абстрактными понятиями. Гипотеза предсказывает наличие отношения между двумя эмпирически наблюдаемыми переменными, которые мы сводим к измеряемым показателям, а наши наблюдения выявляют [c.75] отношение (или отсутствие отношения) между двумя множествами значений этих показателей. Совершенно ясно, что мы можем сделать некоторые выводы о действительности на основе теоретических отношений лишь в том случае, если переменные хорошо соответствуют понятиям и показатели хорошо соответствуют переменным. Операционализация почти неизбежно приводит к некоторому упрощению или частичной утрате смысла, поскольку показатели редко передают все, что мы вкладываем в понятие. И хотя нам почти всегда приходится мириться с частичной утратой смысла, необходимо проводить операционализацию так, чтобы минимизировать этот недостаток. Нужно подыскивать такие показатели, которые передают возможно большую часть содержания понятий или отдельные его аспекты настолько точно, насколько это возможно.

 

ТЕОРИЯ

 

Понятие А связано с понятием В

       

ГИПОТЕЗА

 

Переменная А связана с переменной В

       

РАБОЧАЯ ГИПОТЕЗА

 

Показатель 1 связан с показателем 2

       

НАБЛЮДЕНИЕ (ИЗМЕРЕНИЕ)

 

Значения
показателя 1

Значения
показателя 1

 

Рис. 3.1. Операционализация: отношения между понятием, переменной и измерением

 

Из всего этого вытекает ряд следствий, которые можно проиллюстрировать в нашем примере из области сельского хозяйства. После того как исследование начато, мы можем осознать, что в понятие “рост” входит нечто большее, чем высота, и что показатель “длина в дюймах” не полностью отражает то, что мы хотим измерить. Например, может оказаться, что два поля существенно различаются с точки зрения роста растений, однако все различия касаются диаметра стебля, ширины листьев и веса початка, а высота растений на обоих полях может различаться не очень существенно. В этом случае если при оценке результатов применения удобрения мы будем учитывать только высоту, то допустим серьезную ошибку, так как связь между понятием (рост) и переменной, которая его представляет (высота), неполноценна. Взятая переменная не полностью операционализирует понятие, которое она [c.76] представляет. Она не улавливает все значение понятия, и ее использование дает неправильное представление о связи, существующей в реальном мире.

Это особенно часто встречающаяся ситуация в социологических науках, так как наиболее важные их понятия многомерны в том смысле, что они имеют более чем один аспект или компонент. Вводимые нами критерии этих понятий должны отражать их многомерность (т.е. многообразие, несходство), если мы хотим, чтобы они были использованы как индикаторы концепции. Например, если критерием понятия “демократия” мы изберем только проведение регулярных выборов, то существует вероятность того, что мы классифицируем как демократические диктаторские режимы, которые также проводят выборы, но только с одним кандидатом на пост и не допускают свободы выражения мнений. В таком случае диктатуру мы будем рассматривать как западноевропейскую демократию. Чтобы получить корректный критерий того, какую нацию считать демократической, мы, несомненно, нуждаемся в индикаторах, отражающих все разнообразие этого понятия.

Этот простой пример поясняет, почему операционализации принадлежит решающая роль в проверке теории и во всем процессе исследования. Гораздо труднее объяснить, как обеспечить должную операционализацию. Это происходит потому, что подбор переменных для передачи понятий и разработка показателей для переменных в значительной степени требуют приложения творческих способностей и не могут быть сведены к множеству стандартизованных действий, которые безошибочно позволят получить необходимые измерения. Единственное, что мы можем сделать, – это указать некоторые подводные камни в процессе операционализации, которых следует избегать, и описать способы оценки адекватности операционализации, которые уже сделаны. Об этом мы расскажем в разделах главы, посвященных измерению.

 

ОПЕРАЦИОННЫЕ ОПРЕДЕЛЕНИЯ

 

Однако, прежде чем перейти к обсуждению проблемы измерения в социальной науке, необходимо рассмотреть, из чего состоит операционализация понятия. Это делается путем уточнения набора процедур, которым надо [c.77] следовать, или операций, которые надо выполнять для получения эмпирического показателя проявления понятия в каждом отдельном случае. Эти процедуры дают операционное определение понятия и соответствующей ему переменной. Процесс операционализации в существенной степени сводится к задаче выбора операционных определений для понятий.

Чтобы приносить пользу (т. е. давать валидные и надежные измерения понятий), операционные определения должны точно и эксплицитно сообщать, что следует делать для определения того, какое количественное значение должно быть приписано переменной в каждом отдельном случае. Операционные определения должны точно задавать все шаги, выполняемые в процессе измерения.

Мы хотим быть точными в этом вопросе по крайней мере по трем причинам. Во-первых, мы стремимся к тому, чтобы точно сообщить другим исследователям, что именно мы сделали для получения наших измерений, так чтобы они могли оценить нашу работуи, быть может, повторить наше исследование для проверки результатов в другой ситуации. Во-вторых, если у нас есть ассистенты, занимающиеся сбором информации, мы захотим сделать наши инструкции достаточно детальными и точными, чтобы все они осуществляли измерения в равных условиях. Если наши инструкции расплывчаты, наши ассистенты при осуществлении измерений будут предпринимать несколько отличные способы действий, их результаты окажутся несопоставимы и мы не сможем сделать на их основании валидные выводы. И наконец, точные и детальные утверждения о том, как операционализировать переменную, помогут нам в оценке полученных результатов и в устранении конкурирующих объяснений для результатов, полученных из-за дефектов процесса измерения. (Мы подробнее поговорим об этом в других разделах данной главы.)

Рассмотрение следующего гипотетического примера поможет вам понять, что требуется при построении операционного определения. Предположим, по заданию университета вы должны провести работу по оценке результатов воздействия сладких безалкогольных напитков на академическую успеваемость студентов. На основании этого исследования должно быть решено, оставлять ли в [c.78] университетском городке торговые автоматы. Эта задача в основном сводится к проверке следующей гипотезы:

Чем большее количество сладких безалкогольных напитков выпивает студент, тем ниже качество его (или ее) академической успеваемости.

Для решения задачи вам придется построить операционные определения для ключевых понятий потребление безалкогольных напитков и академическая успеваемость. Для простоты предположим, что понятие академической успеваемости вы представили в виде переменной средняя оценка, второе ключевое понятие – в виде ответов студентов на прямой вопрос о потреблении ими безалкогольных напитков. После выбора колледжей и студентов, которые войдут в исследование, вы должны разработать процедуры для выполнения соответствующих измерений и проинструктировать ассистентов относительно того, как применять эти процедуры. Чтобы обеспечить сведения о зависимости переменной (академическая успеваемость), вам придется точно определить, откуда можно взять оценки, как подсчитать среднюю оценку и как формализовать информацию. Чтобы обеспечить измерение независимой переменной, вам придется дать точную формулировку вопросов, которые будут задаваться, и точно определить, как записывать различные возможные ответы на эти вопросы.

При разработке операционных определений для переменных, используемых в исследовании, вам необходимо дать скрупулезное описание процедур, используемых для осуществления измерений. Каждый шаг должен быть детально расписан. Это не только позволяет сделать описание исследования и обеспечивает стандартность процедур измерения, но и дает возможность продумать весь процесс осуществления измерения для определения возможных ошибок, которые могут сказаться на надежности результатов.

Предположим, мы хотим измерить степень поддержки, которую члены двух основных партий оказывают своей партии в законодательных органах штата. Мы можем операционализировать понятие “партийное единство” путем обращения к поименному голосованию и в дальнейшем использовать процент совпадений голосования среднего члена партии с голосованием большинства его партии как показатель единства при голосовании. Однако, решив [c.79] поступить таким образом, мы столкнемся с многовариантностью при реальной операционализации нашей переменной.

Информация о том, как голосует каждый законодатель, может быть получена из протоколов законодательного органа, однако после этого необходимо решить, какое из многих зафиксированных в протоколе голосований следует включить в наш подсчет. Одни голосования являются единодушными (такие, как голосование о выпуске прокламации в честь какого-нибудь национального героя) и не отражают партийного единства, поскольку не включают партийных проблем. Включение всех голосований снижает степень, в которой наше измерение отражает наше понятие. Мы должны выработать критерии для отбора голосований, подлежащих учету. Например, для того чтобы сосредоточивать внимание только на дискуссионных вопросах, мы могли бы отбирать для исследования только те поименные голосования, в которых принимают участие по крайней мере 2/3 законодателей и в которых побежденная сторона получает не менее 30% голосов.

Необходимо также решить, как разработать процедуру определения результатов голосования большинства членов партии, для того чтобы установить, соответствует ли голосование каждого члена партии позиции большинства. Мы должны решить, как поступать с воздержавшимися: считать ли их поведение за отказ от поддержки своей партии или исключать их из подсчета? Кроме того, нам нужно точно определить процедуру первоначального подсчета и последующего усреднения процентного содержания согласованных голосований для каждого законодателя.

При каждой операционализации мы сталкиваемся с необходимостью принимать сходные решения при определении того, какими процедурами пользоваться для получения соответствующих измерений. Полное операционное определение демонстрирует, как мы решили поступать с такими проблемами, и не оставляет никаких сомнений относительного того, что мы реально делали, производя наши измерения.

В результате построения операционного определения разрабатывается инструмент для выполнения измерений. В естественных науках для получения показателей, характеризующих степень проявления у физических [c.80] объектов некоторого свойства, применяются такие инструменты, как шкалы, экспонометры и микрометры. В социальных науках используются измерительные инструменты совсем иного рода. К числу типичных для социальных наук инструментов относятся: вопросы о форме проведения исследования; инструкции по проведению и описанию наблюдений за определенными событиями, такими, как дебаты на заседаниях ООН; множество характеристик, получаемых из справочника, и правила их объединения для формирования измерения.

Надлежащий инструментарий в социальных науках не менее важен, чем в естественных. Точно так же, как мы не стали бы измерять вес с помощью линейки, мы не захотели бы измерять политическое отчуждение с помощью вопросов, не выявляющих состояния людей, испытывающих отчуждение. Обсуждая в следующем разделе валидность и надежность измерений, мы предложим некоторые способы проверки инструментов, разработанных в процессе операционализации, которые укрепляют нашу уверенность в том, что эти инструменты измеряют то, что мы хотим.

 

ИЗМЕРЕНИЕ

 

Мы операционализируем переменные, чтобы иметь возможность количественно представлять абстрактные понятия и осуществлять осмысленное сравнение явлений реального мира в терминах свойств, задаваемых этими понятиями. Такое приписывание числовых значений для представления свойств носит название измерения1. В результате измерения в каждом конкретном случае с переменной ассоциируется некоторое значение2. Это означает только то, что мы с большей точностью можем говорить о том, в какой степени данный объект наблюдения (например, человек, город, нация или организация) проявляет свойство, которое представлено измеряемой переменной. Вместо того чтобы говорить, что в городе “плохи дела в связи с преступностью”, мы сможем говорить о конкретных размерах преступности. Вместо того чтобы говорить о ком-то “преданный республиканец”, можно сказать, что он (или она) получил 5 баллов по нашей шкале силы идентификации партийной принадлежности. [c.81]

 

УРОВНИ ИЗМЕРЕНИЯ

 

Процедуры измерения предоставляют средство категоризации и упорядочения явлений. Вместе с тем одни процедуры дают возможность выявить более тонкие и детальные различия между событиями, чем другие. Поэтому нам приходится констатировать различные уровни измерения. Говоря о том, что процедура обеспечивает данный уровень измерения, мы квалифицируем ее в соответствии с количеством поставляемой ею информации об измеряемых явлениях и их взаимоотношениях друг с другом. Уровни измерения носят название номинального, порядкового и интервального.

Номинальное измерение представляет минимальную информацию о явлении. Оно дает лишь набор дискретных категорий, позволяющих разграничить разные объекты. Номинальное измерение – это простое наименование объектов в соответствии с заранее заданной схемой классификации. Национальность обычно “измеряется” на номинальном уровне посредством классификации людей на англичан, швейцарцев, бразильцев и т. п. Это “измерение” не сообщает, насколько характеристика “национальность” свойственна разным людям, и не позволяет упорядочивать их. Использование номинального измерения всего лишь дает возможность объединить объекты в классы, обозначенные так, как это принято в классификационной схеме.

Чтобы быть полезными, схемы номинального измерения должны основываться на множествах категорий, которые являются взаимоисключающими и исчерпывающими. Это означает, что (1) невозможно отнести один объект к более чем одной категории и (2) категории должны быть такими, чтобы каждый объект мог быть отнесен к той или иной категории. Если мы хотим расклассифицировать всех избирателей Соединенных Штатов с помощью схемы номинального измерения, мы не можем воспользоваться категориями демократ, республиканец, либерал и консерватор, так как они не являются взаимоисключающими. Поскольку американские политические партии обращаются к самым широким массам избирателей, человек вполне может оказаться одновременно демократом и консерватором или либералом, одновременно республиканцем и консерватором или либералом. Эти [c.82] категории не дают возможности провести разграничение между избирателями во всех случаях. Аналогично, если мы попытаемся расклассифицировать избирателей на основании партийной принадлежности, используя только две категории: республиканец и демократ, – мы обнаружим, что наши категории не являются исчерпывающими, так как некоторые избиратели считают себя независимыми либо членами других партий.

Для упрощения анализа мы, быть может, захотим заменить категории в схеме номинального измерения числами. Важно понимать, однако, что в данном контексте эти числа не имеют реального значения – они всего лишь символы. Исходя из того, что мы решили заменить категорию республиканец цифрой 5, а категорию демократ – цифрой 1, мы не можем считать, что у республиканцев в пять раз больше приверженцев, чем у демократов. Любая категория номинального измерения может быть заменена любым числом, при условии, что у каждой категории будет свой индивидуальный номер.

Порядковое измерение предоставляет больше информации, так как дает возможность не только категоризовать, но и упорядочивать, или ранжировать, явления. Порядковое измерение позволяет присваивать каждому объекту число, которое обозначает не только то, что данный объект отличен от одних объектов и сходен с другими с точки зрения измеряемой переменной, это число указывает также, как именно данный объект связан с другими в терминах количества того конкретного свойства, которым он характеризуется. Располагая порядковым измерением, мы можем сказать, какие объекты характеризуются большим (или меньшим) количеством измеряемого свойства по сравнению с какими-то другими объектами; мы можем также расположить объекты по порядку в зависимости от количества того свойства, которое их характеризует. Такое упорядочение дает более детальную и более точную информацию, чем номинальное измерение. Понятие социальный класс обычно измеряется на порядковом уровне: каждому человеку приписывается ранг низшего, среднего или высшего класса.

Интервальное измерение предоставляет еще больше информации. Мы можем не только классифицировать и упорядочивать объекты, после того как они измерены на [c.83] интервальном уровне, но и сказать, насколько большим или меньшим количеством измеряемого свойства по сравнению с другими объектами они характеризуются. Порядковое измерение не основано ни на какой стандартной для данной переменной единице и не позволяет установить, насколько далеко в терминах этой переменной отстоят друг от друга разные объекты. Оно лишь позволяет говорить, что у одних объектов данная переменная имеет большее или меньшее значение, чем у других. Интервальное измерение основано на представлении о существовании некоторой стандартной единицы измеряемого свойства.

В то время как порядковые измерения дают нам лишь огрубленное представление об отношении между объектами с точки зрения данной переменной, интервальные измерения предоставляют информацию о “расстоянии” между ними. Хороший пример такого рода – переменная доход. Доход обычно измеряется в денежных единицах (в Соединенных Штатах это доллары и центы). Поскольку при измерении используются стандартные единицы, мы можем утверждать, что между 10000 и 11000 долларов годового дохода разница абсолютно та же, что и между 50000 и 51000 долларов. Мы не в состоянии сделать этого с помощью порядкового измерения. Если измерять доход с помощью порядкового измерения, разделяя людей по их доходу на такие категории, как доход ниже 5000 долларов и доход от 5000 до 9999 долларов, мы сможем сказать, что у одного человека доход выше или ниже, чем у другого, однако мы не сможем сказать точно, насколько эти люди различаются по своим доходам, так как не знаем, где именно находится человек внутри своей категории. Различие в доходе между человеком из категории 1 (до 5000 долларов) и человеком из категории 2 (от 5000 до 9999 долларов) может составлять всего лишь один доллар (5 000 долларов минус 4 999 долларов), а может доходить до 9999 долларов (9999 долларов минус 0 долларов) в зависимости от точной цифры их доходов, однако мы не можем увидать этой разницы, исходя из порядкового измерения.

Помимо того что интервальное измерение дает нам точную информацию об абсолютных различиях между объектами, мы также получаем возможность делать [c.84] точные утверждения об относительных различиях между понятиями. Мы, например, можем согласиться с тем, что население 50000 человек – это в два раза больше, чем население 25000 человек, потому что ведь есть такие места, где вообще никто не живет: в истинных интервальных измерениях существует нулевая точка, и по крайней мере теоретически возможно существование объектов, имеющих на таких шкалах нулевую отметку. Так как на порядковой шкале не существует осмысленной нулевой точки, мы не можем говорить, например, что люди высшего класса имеют в два раза большее количество “класса”, чем люди низшего класса, – мы не знаем, что означает “не иметь никакого классового статуса”.

На основании всего этого следует сделать одно важное замечание относительно уровня измерения. Когда речь идет о сравнении явлений, измерения номинального уровня – наименее полезный тип измерения. Если мы используем его в ситуации, когда возможно использовать “более высокий” (более точный) уровень измерения, мы можем потерять потенциально ценную информацию. Если при изучении поведения на выборах мы приводим классификацию людей на республиканцев, независимых и демократов, в то время как можно задать другой набор вопросов и осуществить их ранговое упорядочение с учетом [c.85] перехода от более сильной к более слабой партийной идентификации, мы, возможно, отказываемся от информации, которая поможет нам понять наблюдаемые отношения. Измерение порядкового уровня полезнее, чем измерение номинального уровня, но у него также есть свои ограничения. Интервальное измерение – наиболее желательная форма измерения как в силу того, что оно дает наиболее детальную информацию, так и потому, что оно позволяет осуществлять математическую обработку имеющихся данных. (Подробнее об этом будет говориться в гл. 14, 15 и 16.)

Наша задача состоит в том, чтобы там, где это возможно и удобно, стремиться к операционализациям, позволяющим осуществлять измерение интервального уровня. Однако каким образом мы выбираем уровень измерения, подходящий для конкретных понятий, операционализацией которых мы занимаемся? Это проблема как концептуализации, так и технологии измерения.

В процессе исследования на этапе построения теории мы должны прежде всего спросить себя, лежит ли в основе различий, наблюдаемых в отдельных случаях, некий континуум. Если да, то мы можем предложить для данного понятия порядковое или даже интервальное измерение, в противном случае в качестве измерения может выступать лишь номинальная классификация. Поясним важность этого на примере.

Предположим, мы изучаем зависимость между национальностью иммигрантов и степенью поддержки ими политического механизма большого города США начала XX века. Если мы осуществляем операционализацию национальности на номинальном уровне и категоризуем поддержку политического механизма в городских избирательных округах, мы, возможно, получим картину, подобную той, что изображена на рис.3.2а. Здесь не видно никакой отчетливой связи между национальностью и поведением на выборах, так как знание о том, какая национальность преобладает в данном округе, не позволяет ранжировать его относительно других округов. Однако если мы проанализируем ход наших рассуждений, то сможем понять, что наши ожидания относительно связи национальности с поддержкой политического механизма имеют определенные основания: соответствующие страны [c.86] происхождения различны с точки зрения возможности участия в политической жизни, которое они предоставляют своим гражданам. Мы можем сделать вывод, что те, кто имеет небольшой опыт существования в условиях демократии, будут с готовностью передавать свое право на самоуправление политическим лидерам. Если исходить из этого и упорядочить страны в соответствии допускаемой ими степенью участия своих граждан в политике, мы можем построить график, подобный тому, что изображен на рис.3.2б. На этом графике отчетливо видна взаимосвязь национальности с поддержкой политического механизма. Упорядочение категорий по независимой переменной помогает выявить систему в ее отношениях с зависимой переменной.

 

 

Рис. 3.2. Пример воздействия уровня измерения на интерпретацию данных

 

Если у нас хватит смелости, мы можем даже повысить уровень измерения независимой переменной до интервального. Мы, например, могли бы подсчитать количество постановлений, касающихся участия в политической жизни, в законодательствах соответствующих стран на протяжении нескольких лет, непосредственно предшествующих началу широкой иммиграции в США. Полученные цифры можно использовать для ранжирования национальностей на интервальной шкале и осуществить даже более точное сравнение независимой и зависимой переменных.

Сможем ли мы осуществить такое повышение ранга переменных, чтобы перейти от номинального уровня измерения к порядковому или интервальному, зависит как от разработки теоретического обоснования такого перехода, так и от наличия технических возможностей применения операционных процедур, осуществляющих измерения более высокого уровня. Даже если мы сможем в нашем примере выразить понятие национальности в терминах интервального уровня, мы, возможно, не получим в свое распоряжение законодательные акты, необходимые для расположения стран на интервальной шкале. В этом случае наши возможности по получению измерений более высокого уровня ограничивает измерительная техника. Примеры такого рода достаточно многочисленны. Например, при исследовании взаимосвязи между полом и политическим поведением у нас будет возможность утверждать, что мужские черты характера – это свойство, [c.87] которым люди обладают в разной степени (те, кто обладает им в наименьшей степени, – женщины). Если мы можем выступить с набором вопросов для выяснения того, насколько люди обладают этим свойством (если вообще обладают), мы в принципе можем упорядочить людей на порядковой или интервальной шкале “мужественности”. Однако если мы не располагаем денежными средствами для проведения исследования, в ходе которого люди ответят на эти вопросы, нам придется рассчитывать на номинальную классификацию мужчина/женщина, сведения о которой мы находим в списках членов партии.

Эти ситуационные факты затрудняют установление правил того, как операционализировать понятия с целью достичь определенных уровней измерения. Однако мы полагаем, что можно следовать правилу операционализации У.Ф.Шайвли3. Он советует использовать максимально точные для данного объекта измерения и не терять информацию за счет неточного измерения. Это обычно означает применение более строгих процедур измерения, которые там, где это возможно, осуществляли бы измерение более высоких уровней. Не довольствуйтесь операционализацией, дающей номинальное измерение, когда теоретически оправданно и технически возможно порядковое или интервальное измерение.

Сделав данные замечания, мы должны сказать о некоторых исключениях из основного правила. Существуют случаи, когда слишком большая точность измерения на самом деле нежелательна. Один пример такого рода приводит Шайвли. Из его работы заимствован (с некоторыми изменениями) рис.3.3. На рисунке двумя разными способами изображена зависимость между возрастом и голосованием на президентских выборах 1968 г. На рис.3.3а возраст измеряется в годах. Поскольку в каждой возрастной группе (например, 21–22 года, 35–36 лет, 50– 51 год) оказывается немного людей, на диаграмме не выявляется никакой отчетливой структуры отношений между двумя переменными. На рис.3.3б возраст измеряется менее точно – в пятилетиях. Наличие в каждой группе большого числа объектов позволяет увидеть явную структуру отношений: вероятность голосования повышается до 50-летнего возраста, а затем, вообще говоря, снижается. [c.88]

 

 

Рис. 3.3. Пример воздействия на интерпретацию группировки данных (взят из кн.: Shively W.Ph. The Craft of Political Research, 2nd ed. – Englewood Cliffs (N.J.): Prentice-Hall, 1980, p. 67-68).

 

Пожертвовав некоторой точностью измерения, мы получили выигрыш с точки зрения простоты анализа. Это удачная сделка, пока мы не зашли столь далеко по пути уменьшения точности, чтобы вновь потерять из виду изучаемые соотношения. Если мы используем для измерения возраста 20-летний интервал, мы не увидим больших количественных различий между возрастными группами голосующих и сможем прийти к выводу, что возраст не связан с вероятностью голосования. Поскольку заранее до реального анализа данных мы, как правило, не знаем, какая точность окажется необходимой для выявления соотношений, мы должны следовать правилу, в соответствии с которым осуществляется по возможности максимально точная операционализация понятий. Мы всегда сумеем отказаться от ненужной точности путем “сжатия категорий” (перехода к более крупным различительным единицам), если сочтем это нужным. Однако если не собрать информацию в самом начале, мы не сможем обратиться к ней в дальнейшем. [c.90]

 

РАБОЧАЯ ГИПОТЕЗА

 

Измерение приписывает объектам значения в соответствии с данными переменными. Именно эти значения используются для представления понятий при сравнении наших наблюдений. Прежде чем понять, какие выводы в отношении теории следуют из наших наблюдений, мы должны представить гипотезы, касающиеся отношений между переменными в виде рабочих гипотез, которые устанавливают ожидаемые отношения между измерениями или показателями. Предпоследняя строчка на рис.3.1 предлагает форму, в которой выступают рабочие гипотезы. Эти гипотезы требуют от нас установления связи между показателями и переменными, которые, по нашему мнению, следуют из осуществленной операционализации.

Рассмотрим пример из области международных отношений. Предположим, нас интересует теория доминации в сфере международной жизни. Исходя из теоретического допущения: “Чем более сильное влияние испытывает государство, тем более конформистскую политику оно проводит”, – мы можем выдвинуть следующую гипотезу: “Когда возрастает экономическая зависимость государства, [c.90] возрастает и степень поддержки, оказываемой им государству-покровителю”. Мы можем операционализировать экономическую зависимость как процент экспортной продукции, идущей государству-покровителю. Процент экспорта становится в нашем случае независимой переменной зависимость. Поддержка может измеряться процентом голосований в Генеральной Ассамблее ООН, в которых зависимое государство голосует иначе, чем государство-покровитель. Процент голосований в ООН становится в нашем случае показателем зависимой переменной поддержка политики государства-покровителя. Теперь мы можем сформулировать рабочую гипотезу, утверждающую наличие между показателями отрицательного отношения: когда процент продукции, экспортируемой государству-покровителю, возрастает, процент голосований в ООН, не согласующихся с позиций государства-покровителя, уменьшается.

Эта рабочая гипотеза сообщает о том, какие наблюдения согласуются с нашей гипотезой и нашей теорией. Она также предлагает возможные отношения между переменными и показателями, которые у нас имеются. Это отношение изображено на рис.3.4.

 

 

Рис. 3.4. Уточнение отношений между понятиями, переменными и показателями

 

Рисунок демонстрирует, насколько важно было додумать до конца соотношение между измерениями и переменными. Отношение, предсказанное утверждением и гипотезой, является положительным. А рабочая гипотеза [c.91] предсказывает отрицательное отношение. Это объясняется тем, что отношение между зависимой переменной и ее показателем является отрицательным. В свою очередь это означает, что вследствие того, как мы провели операционализацию зависимой переменной, именно отрицательное отношение между показателями предоставляет данные в поддержку гипотезы и теоретического утверждения, которое предсказывает положительные отношения между понятиями и переменными. Мы должны осознавать это, если хотим избежать неправильной интерпретации данных и сделать на основании наблюдений правильные выводы относительно полезности нашей теории.

Установление отношений между показателями, переменными и понятиями, которые они представляют, настолько важно, что некоторые исследователи в области социальных наук требуют создания наряду с теориями, касающимися политических феноменов, теории измерений, которая бы объясняла наши представления относительно связей между показателями и понятиями4. Что заставляет нас связывать экономическую зависимость с возрастанием экспорта? Какие особенности в распределении экспорта позволяют ему выступать в качестве отражения того, что мы имеем в виду, говоря о зависимости? На такого рода вопросы помогает ответить хорошо разработанная теория измерений. Положения теории измерений объясняют, почему показатели должны менять значения при изменении степени соответствия реальных объектов понятиям.

Показатели выбираются не случайным образом, а в результате тщательного продумывания связей между объектами реального мира. Сходные процессы осуществляются и при разработке теорий, касающихся политических феноменов: выводы, к которым мы приходим, могут оказаться неправильными, свойства, которые мы имеем в виду, используя некоторые понятия, могут на самом деле оказаться не связанными с показателями, которые мы решили использовать в качестве эмпирических мер этого понятия.

Вернемся к примеру с исследованием, которое должно определить, мешают ли безалкогольные напитки академической успеваемости. Мы решили измерять употребление безалкогольных напитков, просто задавая [c.92] студентам вопрос, сколько газированной воды они выпивают за некоторый период времени, предполагая, что они скажут правду и что те, кто выпивает больше, получат более высокое значение нашего показателя, чем те, кто выпивает меньше. Предположим, однако, что ответы студентов на наши вопросы полностью определяются тем, догадались ли они о цели исследования и хотят ли они обмануть университетское начальство в отношении количества потребляемых ими безалкогольных напитков. При таком повороте дел предполагаемая связь между переменной и показателем не будет зафиксирована и мы не сможем, опираясь на наши исследования, сделать на законных основаниях какие-либо выводы о результатах воздействия безалкогольных напитков, если только мы не предложим какое-либо альтернативное измерение.

Обсуждаемая спорная проблема существует ли какая-либо связь между нашим понятием и переменными, с одной стороны, и нашим индикатором или критерием – с другой, стала основной для вопроса о выработке критериев в науке. Вопрос, действительно ли изменения в наших индикаторах есть результат изменений в понятии, которое они представляют, тесно связан с проблемами надежности и достоверности, которые мы обсудим в последующих разделах настоящей главы. Важным моментом здесь является то, что идея теории измерений поможет найти подходы к этим проблемам в нашем исследовании.

Любая операционализация понятия – это, в сущности, гипотеза. Когда мы проводим операционализацию и говорим: “Пусть данное понятие обозначается таким-то показателем”, – мы выдвигаем гипотезу, что объекты, которые мы имеем в виду, используя данное понятие, действительно отражаются в выбранном показателе. Эта гипотеза может подтверждаться, а может и не подтверждаться наблюдениями. Мы не имеем права просто доверять адекватности наших измерений, мы должны проследить за проведенными наблюдениями, чтобы найти факты, подтверждающие, что измерения действительно отражают то, что мы имеем в виду под понятиями. Поиск валидных и надежных процедур измерения в социальных науках – это во многом процесс проверки гипотез. Нужно быть готовым признать ошибки и начать все сначала, если факты говорят о том, что введенные показатели не отражают [c.93] наши понятия. Проверка измерений происходит в первую очередь при попытках оценить валидность и надежность выбираемых показателей.

 

ОШИБКА ИЗМЕРЕНИЯ

 

В результате измерения разным объектам приписываются различные значения на основе оценок, заданных нашими показателями. Дифференциация в оценках может возникать за счет двух основных источников. Первый источник – это величина реального проявления у объектов определенной степени или аспекта интересующего нас свойства. Разные оценки возникают тогда, когда наши измерения действительно улавливают эту дифференциацию. В этом случае измерения отражают реальные различия между понятиями. Другой источник дифференциации значений – та величина, которая относится к самому измерению или к условиям его осуществления, что предопределяет наличие разных значений у разных объектов. В этой ситуации наши измерения не демонстрируют реальных различий между объектами, т. е. таких, которые отражают подлинную дифференциацию понятий, которые мы хотим измерять. Наблюдаемые нами в этом случае различия возникают из-за погрешностей в процедуре измерения.

Если бы наши измерения были совершенны, они бы демонстрировали только различия первого рода. Однако наши измерения крайне редко (если вообще когда-либо) бывают безупречными. Дифференциация значений, приписываемых разным объектам, неизбежно отражает не только реальные различия в степени проявления некоторого понятия, но и “искусственные” различия, обусловленные процессом измерения. Любая дифференциация значений, приписанных реальным объектам, обусловленная чем бы то ни было, кроме действительных различий, относится к ошибкам измерения. Они представляют собой не действительные различия между объектами, а различия, зарегистрированные ошибочно, из-за недочетов процесса измерения.

Грань между истинными вариациями оценок и вариациями, обусловленными ошибкой измерения, подобна различиям между объектами, фиксируемыми невооруженным глазом, и различиями, отмечаемыми лишь при [c.94] разглядывании их отражения в зеркале. В той степени, в какой зеркало искажает образы, оно либо скрадывает различия, которые можно было бы увидеть невооруженным глазом, либо создает впечатление существования различий, которые мы в других условиях не заметили бы. В социальных науках у нас крайне редко появляется возможность наблюдать ключевые понятия непосредственно, и мы вынуждены полагаться на отражение этих понятий с помощью измерительных процедур, аналогичных зеркалу. Соответственно, правильность наших представлений зависит от точности, с которой наши измерения отражают действительность.


Каковы хотя бы некоторые из источников искажения образов, обусловленных нашими измерениями? Необходимо знать ответ на этот вопрос, если хотим контролировать ошибки измерения или распознавать их, когда они присутствуют в наших данных. Мы можем перечислить несколько основных источников ошибок измерения, установив наиболее частые источники различий в оценках, относимых к другим, неистинным различиям в характеристиках, которые мы хотим измерить5.

1. Различия в распределении между объектами других, относительно постоянных характеристик, которые были непреднамеренно выявлены нашими измерениями. Например, для понимания вопросов, предназначенных для измерения политической идеологии, и ответа на них может понадобиться определенный уровень интеллекта. Если это так, ответы на вопросы будут отражать не только политико-идеологические, но и интеллектуальные различия между людьми. В окончательном результате влияние интеллекта и влияние политической идеологии будут перемешаны, и мы не сможем определить различия в оценках, обусловленные идеологическими факторами, и отличить их от различий, обусловленных интеллектуальными факторами. Аналогичным образом другие характеристики наших единиц анализа (такие, как региональное расположение городов, культурные особенности нации или источники документов) могут случайно отразиться в наших измерениях и исказить наше восприятие рассматриваемых понятий. Там, где эти “возмущающие” воздействия можно выявить и измерить, необходимо посмотреть, что произойдет, если поддерживатьих значения на постоянном [c.95] уровне: исчезнут, уменьшатся или увеличатся различия в оценках, которые получают объекты по нашим измерениям6.

2. Различия в распределении между объектами временных характеристик, которые отражаются в наших измерениях. Характер ответов на вопросы анкеты может определяться настроением или состоянием здоровья отвечающего. Недавние события в политической жизни города (например, раскрытие случаев коррупции среди должностных лиц) могут создавать временные, но систематические различия в том, как жители этих городов отвечают на вопросы исследования. Большое стихийное бедствие может произвести коренные и вместе с тем временные изменения в статистических данных, на которые мы опираемся при выяснении уровня экономического развития. Обнаруживать и контролировать воздействие таких временных “аномалий” труднее, чем воздействие постоянных характеристик объектов. Единственный способ уберечься от воздействий такого рода – это внимательно относиться к сигналам, предупреждающим о том, что отдельные объекты находятся под влиянием таких преходящих факторов (например, изучать недавние события в политической жизни городов, входящих в нашу выборку, или советовать интервьюерам не проводить интервью с человеком, который в данный момент тяжело болен), и выполнять процедуры, предназначенные для проверки надежности измерений (такие процедуры описываются в разделе данной главы, посвященном надежности).

3. Различия, проявляющиеся при интерпретации измерительного инструмента разными людьми. Это проблема возникает лишь в том случае, когда люди прямо отвечают на вопросы, а не тогда, когда исследователь осуществляет измерения, наблюдая за поведением. Если вопросы сформулированы неоднозначно, то и респонденты дадут им разные интерпретации, которые могут привести к различиям в оценках по измерениям, составленным на основании этих вопросов. Предположим, например, что, изучая поведение на выборах, мы несколько легкомысленно задали вопрос: “Вы принимали участие в последних выборах?” Если кто-либо из интервьюируемых не знает, что на прошлой неделе проводились муниципальные выборы, он может ответить да, так как думает, что вопрос относится к [c.96] последним общенациональным выборам, хотя он и не принимал участия в выборах, которые подразумевались в наших вопросах. Обезопасить себя от этих непредвиденных различий в оценках наших измерений можно с помощью предварительных вопросов (см. гл. 6) и проверки измерений на надежность.

4. Различия в условиях проведения измерения. Этот источник ошибок измерения также находится главным образом в исследованиях, результаты которых измеряются с помощью ответов на вопросы. Например, в ходе выборочного исследования надежно установлено, что на характер ответов могут оказывать влияние раса, пол и возраст интервьюера. Ответы (а следовательно, и оценки на шкалах) могут варьироваться от интервью к интервью в зависимости от характеристик самого интервьюера. Сходные проблемы могут возникнуть не только в ходе выборочного исследования. Например, мы можем ошибочно осуществить контент-анализ передачи последних известий, предназначенных для внутреннего вещания, и передачи последних известий, предназначенных для зарубежного вещания. Мы в таком случае будем применять один и тот же инструмент в совершенно разных условиях и на основе одного этого факта вправе ожидать появления различий в оценках. Избежать ошибки измерения такого рода можно одним способом – прилагать все усилия к тому, чтобы ситуации, в которых осуществляются измерения, были стандартизованы.

5. Различия в процессе применения измерительных инструментов. Приписываемые объектам оценки могут различаться в результате разнообразных ошибок, возникающих при сборе и записи информации. Интервьюеры могут неверно понять инструкции и задавать вопросы не так, как предполагал исследователь. Плохое освещение может оказаться причиной того, что респондент неправильно отметит пункты анкеты. В самый ответственный момент карандаш может сломаться, а в авторучке кончиться чернила, так что наблюдатели не сумеют зафиксировать ключевые для группового взаимодействия события. Из-за усталости кодировщик может изменить или проигнорировать инструкции по кодированию единиц в контент-анализе. Все эти типы отклонений в процессе применения измерительных инструментов приводят к [c.97] различиям в оценках вне зависимости от каких бы то ни было различий в реальных значениях исследуемой переменной. Основной способ борьбы с ошибками измерения (помимо привлечения к работе надежных ассистентов) – предварительная проверка инструментов измерения. Пробный прогон поможет вскрыть потенциальные “технические” проблемы, возникающие при применении данного инструмента (такие, как недостаток места в кодовой форме для записи типовых ответов), и человеческие факторы, которые могут сказаться на результатах (например, время, в течение которого наблюдатели могут работать не утомляясь).

6. Различия в обработке и анализе данных. Прежде чем информация может быть проанализирована, она должна подвергнуться тщательной обработке. Часто информация по нескольку раз меняет форму. Например, интервьюеры могут зафиксировать ответы на вопрос, записав каждое слово, сказанное интервьюируемым. Впоследствии, при кодировке ответов, эти письменные фрагменты могут сокращаться, превращаясь в одну-единственную цифру. Эта цифра может быть зафиксирована в битах магнитного диска или магнитной ленты. На каждом из этих этапов анализ данных становится все проще, однако с каждым следующим этапом увеличивается возможность ошибок, в результате которых объекты начинают различаться по некоторой переменной, в то время как на самом деле они не различаются. Возможность таких ошибок приводит к необходимости дважды и трижды проверять данные при каждом преобразовании и сохранять исходную форму для последующей проверки.

7. Различия в характере реакции индивидуумов на форму измерительных инструментов. Эта проблема приобретает важное значение тогда, когда объектами анализа являются люди. Измерительные инструменты могут выступать в самых разнообразных формах – это и устные интервью, и анкеты, которые должен заполнить опрашиваемый, и наблюдение подготовленного исследователя. Различные формы предъявляют к людям – объектам исследования разные требования. Интервью, к примеру, требует умения свободно говорить, анкета – читать и писать. Если люди различаются с точки зрения этих способностей, их оценки могут различаться даже тогда, когда люди [c.98] в действительности сходны по той переменной, которая операционализируется. Лучший способ избежать ошибок измерения такого типа – использовать более чем одну форму измерения для операционализации каждого понятия. Мы еще поговорим об этом в разделе данной главы, посвященном валидности.

Все эти факторы могут привести к проникновению в исследование ошибки измерения. Различные ошибки, происходящие из семи перечисленных источников, обычно подразделяются на систематические и случайные. Систематические ошибки – это ошибки, которые возникают из-за путаницы переменных в реальном мире (см. п. 1) или из-за особенностей самого инструмента. Они появляются каждый раз, когда используется данный инструмент, и постоянно сопутствуют объектам и исследованиям, в которых используется одно и то же измерение. Постоянные ошибки делают наши результаты невалидными в том смысле, что различия (или сходства), которые, как представляется, выявляют наши измерения, не есть точные отражения различий, которые мы, по нашему мнению, измеряем. Случайные ошибки проявляются по-разному и обусловлены преходящими характеристиками объектов, ситуационными различиями в применении инструмента, ошибками в проведении измерения и обработке данных и другими факторами. Они делают наши измерения невалидными почти так же, как и систематические ошибки. Кроме того, случайные ошибки делают наши измерения ненадежными в том смысле, что проявление случайных ошибок не дает возможности постоянно получать одни и те же результаты при использовании одного и того же измерения.

Как же избежать столь разрушительного воздействия на наши результаты ошибок измерения, которое превращает наше исследование в бесполезное или ошибочное? Чтобы ответить на этот вопрос, необходимо внимательно обсудить проблемы валидности и надежности.

 

ВАЛИДНОСТЬ

 

Мы не так уж часто имеем возможность непосредственно измерить понятия, используемые в социологических теориях. Такие понятия, как власть, демократия и представительство, не так просто представить количественно, [c.99] как понятия типа длины и веса. Нам приходится пользоваться показателями, лишь косвенно соответствующими понятиям, которые они представляют. А в таком случае всегда существует опасность, что выбранные показатели будут неадекватно отражать понятия, которые мы хотим с их помощью измерять. Для обозначения степени соответствия измерений понятиям, которые эти измерения должны отражать, используется термин валидность. Интересоваться валидностью измерения – то же самое, что интересоваться, действительно ли с помощью данного измерения мы измеряем то, что предполагали измерять. Обеспечение валидности часто считается основной проблемой, связанной с измерением в социальных науках.

Чтобы быть валидным, измерение должно быть исчерпывающим и полным. Если, например, мы сравниваем качество коммунальных служб в разных городах, у нас может возникнуть искушение считать показателем качества системы образования количество преподавателей в школах. Это – неуместное измерение, поскольку количество работающих в системе школьного образования в значительной степени определяется количеством учащихся и размерами города и может иметь мало общего с качеством образования. Если за показатель качества системы образования принять отношение количества учащихся к количеству учителей, мы получим более уместное измерение, так что различия, вызванные размерами города, уменьшатся или вообще исчезнут. Тем не менее измерение все еще останется недостаточным. Образование – это не только преподаватели. Образование – это также школьные задания, фильмы, книги, учебные пособия и множество других факторов. Рассмотрение каждого из этих факторов в отрыве от остальных может создать неверное впечатление о качестве системы образования. Система школьного образования может иметь в высшей степени благоприятное соотношение учащихся и преподавателей, однако недостаточное количество средств обучения и учебных материалов. Было бы ошибкой утверждать, что эта система школьного образования не отличается от системы с таким же соотношением учащихся и преподавателей и прекрасными средствами обучения и учебными материалами. Если мы стремимся к валидности, мы должны [c.100] попытаться выбрать такие измерения, которые были бы и уместными и полными.

В этой ситуации возникает два вопроса: как осуществить исчерпывающие, полные и уместные измерения и как убедиться в том, что нам удалось это сделать.

Ответ на первый вопрос начинается с процесса операционализации. Мы можем определить валидность как степень, в которой различия оценок измерения отражают только различия в распределении значений переменной, которую мы собираемся измерять. Так как мы, вероятно, никогда не сможем достичь полной и всеобщей валидности, наша цель должна заключаться в выборе измерений, которые были бы минимально чувствительны к воздействию всех иных различий, кроме различий, обусловленных интересующей нас переменной. Для этого необходимо внимательно рассмотреть все процессы, связанные с нашими измерениями, для обнаружения возможных причин различий в оценках. На этом этапе мы должны быть особенно внимательны, чтобы застраховаться от влияния систематических ошибок.

Рассмотрим такой пример. Возможно, нам понадобится измерить, в какой степени граждане разных государств согласны с политикой своих правительств. Мы решаем использовать в качестве показателя согласия или несогласия ответы на ряд специально подготовленных вопросов. Мы считаем, что единственным источником различий в ответах на вопросы являются различия мнений. Однако минутное размышление наводит на мысль о другом возможном источнике вариаций. Если среди исследуемых нами государств есть государства с авторитарным правительством, прибегающим к услугам секретной полиции для подавления инакомыслия и рассматривающим любую критику своей политики как акт государственной измены, граждане этих государств, вполне возможно, побоятся высказывать в интервью несогласие со своим правительством. В этом случае оценки, полученные для нашего измерения, могут по крайней мере в той же степени определяться отношением правительства данного государства к несогласным, в какой – мнением интервьюируемых, Поскольку вероятность ошибки измерения такого рода очень высока, подготовленные вопросы оказываются неподходящей операционализацией. [c.101]

Сходным образом в самом начале процесса исследования мы должны позаботиться о полноте. Если мы хотим измерить относительное влияние различных групп интересов в законодательном собрании штата, можно подумать об использовании в качестве показателя газетных сообщений о выступлениях этих групп перед законодательными комиссиями. Однако следует спросить себя, сводится ли политическое влияние к произнесению клятвенных заверений на публичных заседаниях. Эта деятельность законно считается частью процесса влияния, однако существует так много других средств оказания влияния, что измерение, опирающееся исключительно на произнесение заверений как показатель влияния, оказывается неполным.

Таким образом, получение уместных и относительно полных операционализаций зависит как от хорошего знания объекта нашего исследования, так и от осуществления тщательного логического анализа альтернативных операционализаций. Однако проверить валидность наших измерений для определения того, хороши ли они, можно лишь после того, как собраны данные. Процесс оценки валидности измерений называется валидизацией.

Имеется четыре основных подхода к валидизации. Первый часто называется прагматической валидизацией, поскольку валидность измерения оценивается на основе данных о том, насколько хорошо оно позволяет предсказывать поступки и события. Например,мы разрабатываем измерение для определения пригодности кандидатов на общественную должность, с точки зрения избирателей. Некоторый показатель валидности этого измерения можно получить, применив его ко всем кандидатам в сенат США в данном избирательном году и предсказав их шансы быть выбранными на основе сравнительных оценок по шкале привлекательности для избирателей. Чем более успешно мы предскажем результаты выборов для всех кандидатов, тем сильнее наша уверенность в валидности измерения, в том, что оно точно отражает понятие, которое мы имеем в виду. Принято говорить, что измерения, позволяющие предсказать будущие события, обладают прогностической валидностью.

Прагматическая валидизация требует наличия у переменных некоторого альтернативного показателя, [c.102] который, по нашему убеждению, является их валидным отражением. Мы проверяем наши измерения по этому альтернативному показателю, как могли бы проверять точность сообщения о возрасте по свидетельству о рождении. К сожалению, для понятий, используемых в социологических исследованиях, редко встречаются явно валидные альтернативные показатели. В итоге нам обычно приходится рассчитывать на валидизацию второго типа – конструктную валидизацию.

Конструктную валидизацию осуществляют, выводя валидность измерения из данных о степени соответствия реальных соотношений между оценками по различным измерениям ожиданий, следующих из теории, предписывающей нам использовать данный показатель. При этом рассуждение ведется по двум направлениям.

Прежде всего, мы должны сказать себе: “Если понятие Х положительно связано с понятием Y и отрицательно – с понятием Z (как и предсказывает наша теория), верно будет также и то, что оценки понятия Х в валидном измерении будут положительно связаны с оценками понятия Y в валидном измерении и отрицательно – с оценками понятия Z в валидном измерении”. Мы не можем валидизировать измерение, сравнивая оценки в этом измерении с оценками той же переменной в другом измерении, которое, как мы знаем, является валидным (как в случае свидетельства о рождении). Однако мы можем судить о его валидности по тому, в какой степени использование данного измерения в качестве показателя переменной создает те же типы отношений между данной переменной и другими переменными, которые мы ожидаем в соответствии с нашей теорией.

В качестве примера возьмем изучение международных сообществ. Мы могли бы построить измерение надежности такого союза на основе контент-анализа газетных публикаций соответствующих стран. Является ли валидным показателем надежности сообщества двух стран то. что газеты данного государства пишут о другом государстве? Мы могли бы ответить на этот вопрос, рассуждая следующим образом: “В соответствии с нашей теорией, чем надежнее сообщество государств, тем чаще они будут одинаково голосовать в ООН и тем меньше ограничений на взаимную торговлю они будут накладывать. Поэтому оценки [c.103] надежности сообщества в валидном измерении будут положительно связаны с оценками в измерениях одинакового голосования в ООН и отрицательно связаны с оценками в измерениях количества торговых ограничений. Затем мы переходим к анализу данных, необходимому для установления того, подтверждается ли это ожидание нашими наблюдениями. Если соотношения окажутся такими, как ожидалось, наша уверенность в валидности измерения надежности сообщества будет выше. Если соотношения будут иными, чем мы ожидали, мы зададимся вопросом, надежным ли измерением для этого понятия мы располагаем”.

То, что мы только что описали, часто называют внешней валидизацией. При этом осуществляется сравнение оценок в измерении, подвергающемся валидизации, с оценками в измерениях для других переменных. Разумеется, для использования этого метода валидизации нам придется включить в наше исследование измерения других переменных. Это означает, что нем следует обдумывать способы валидизации наших измерений уже на ранних этапах процесса исследования. Безусловно, к тому моменту, когда мы будем готовы разрабатывать план исследования, мы должны знать, как будет проверяться валидность наших измерений, для того чтобы наверняка собрать всю необходимую информацию.

Попытки внешней валидизации дадут убедительные доказательства валидности нашего измерения для одной переменной лишь в том случае, если мы будем убеждены в валидности измерений, используемых для остальных переменных. Так, в последнем примере мы не смогли бы сделать никаких выводов относительно валидности измерения надежности сообщества на основе соотношений оценок в данном измерении и оценок двух других переменных, если бы мы не считали показатели одинакового голосования и торговых ограничений валидными. Поскольку часто бывает трудно обнаружить безусловно валидные показатели для переменных, с которыми должна быть связана ключевая переменная, процедуры внешней валидизации следует применять с осторожностью. Все это очень напоминает процедуру проверки гипотезы. Никакой отдельно взятый результат не гарантирует валидности (или невалидности) измерения. Скорее, по мере накопления случаев успешной валидизации наша уверенность [c.104] в валидности измерения возрастает. По этой причине для использования во внешней валидизации разумно искать как можно больше предсказанных теорией отношений. Чем больше имеется в нашем распоряжении разных способов проверки валидности, тем надежнее наш результат.

Та же самая логика рассуждений применима ко второму типу конструктной валидизации – внутренней, или конвергентной, валидизции. Этот тип валидизации включает разработку нескольких измерений для одной и той же переменной и сравнение между собой этих разных измерений. Мы считаем, что, если каждый из показателей дает для рассматриваемого понятия валидное измерение, оценки, получаемые конкретными объектами в этих измерениях, должны быть тесно связаны. Если и А, и В, и С являются валидными измерениями для Х, то оценки любого конкретного объекта в измерениях А, В и С должны быть очень близки.

Предположим, например, что мы хотим получить показатель для качества уличного освещения в окрестностях жилья в рамках изучения работы коммунальных служб. Мы могли бы использовать в качестве такого показателя оценку достаточности уличного освещения, по мнению жителей (выявляется с помощью выборочных интервью). Мы можем выборочно опросить живущих по соседству людей, насколько хорошо, по их мнению, освещена улица около их дома, и взять среднюю оценку за меру качества уличного освещения. Чтобы осуществить внутреннюю валидизацию, мы можем измерить качество уличного освещения также: 1) использовав световой счетчик для получения физической меры яркости и распределения освещения; 2) получив оценки освещенности, сделанные специально обученными наблюдателями; 3) попросив жителей сравнить освещение на улицах с освещением на фотографиях, изображающих улицы, освещенные в разной степени, и усреднив их оценки для получения значения освещенности окрестностей их домов. Таким образом, мы получаем четыре измерения переменной. Если каждое из них является валидным, все они должны быть тесно связаны. Можно проверить это с помощью соответствующих статистических расчетов. Если мы обнаружим, что оценки измерения, в основе которого лежат ответы на вопросы интервью, слабо связаны с оценками остальных трех измерений и что при этом оценки этих трех измерений тесно [c.105] связаны друг с другом, у нас будет основание подозревать, что первое измерение невалидно.

Это очень похоже на взвешивание одного и того же предмета на трех разных весах. Если каждые весы показывают точный вес и у нас нет оснований считать, что в ходе эксперимента вес объекта изменился, мы вправе ожидать, что все эти весы покажут один и тот же вес. Если еще одни весы показывают вес, отличный от данного, можно подозревать, что они не отрегулированы.

На рис.3.5 изображены различия между внутренней и внешней формами конструктной валидизации. Рис.3.5а показывает, что внутренняя валидизация осуществляется через проверку соответствия оценок нескольких разных измерений для одного и того же понятия. Чем точнее это соответствие, тем увереннее мы себя чувствуем, утверждая, что каждое измерение валидно. Рис. 3.5б демонстрирует, что для внешней валидизации требуется установить, как наше измерение одной переменной связано с другими переменными, согласно теоретическим представлениям. Если ожидаемое отношение не проявляется, мы вправе подозревать, что выбранный нами показатель не обеспечивает валидного измерения для понятия. (В гл.14 мы обсудим статистические расчеты, которые можно использовать для определения степени реальной связанности разных измерений.)

 

 

Рис. 3.5. Формы конструктной валидизации

 

Пользуясь внутренней валидизацией, необходимо соблюдать те же предосторожности, которые требуются при внешней валидизации. Мы не всегда можем быть уверены, что наши альтернативные измерения ключевого понятия валидны, и поэтому мы должны с осторожностью делать вывод о валидности или невалидности измерения [c.106] на основании любой проверки валидизации. Наша уверенность в результатах внутренней валидизации может существенно возрасти, если мы последуем простому правилу: альтернативные измерения понятия должны основываться на возможно большем числе различных операционализаций.

В примере с уличным освещением измерения имеют в качестве источника четыре разных типа операционализаций: словесные оценки жителей, физические измерения, оценки наблюдателей и отбор фотографий, произведенный жителями. Каждый из них представляет особый способ операционализации. Чем больше разных способов мы можем использовать и чем более они взаимонезависимы, тем больше мы можем доверять нашей валидизации. Почему? Логика рассуждения здесь такова. Основной источник невалидности – это систематические и случайные ошибки измерения. Разные измерения подвержены ошибкам разных типов. Чем больше показателей для некоторой переменной у нас имеется и чем сильнее они отличаются друг от друга, тем менее вероятно, что во всех показателях проявится одна и та же ошибка измерения. А если это так, то у нас будет больше возможностей обнаружить ошибку измерения как источник различий в оценках в любом измерении и получить точное измерение для переменной в том случае, если мы будем использовать множественные показатели7.

Например, факторы, способные сделать непригодным физическое измерение качества уличного освещения (такие, как неисправный световой счетчик), по-видимому, совершенно не связаны ни с какими факторами, которые могли бы внести систематические ошибки в измерение, основанное на оценках жителей (такими, как характерная для людей тенденция считать, основываясь на чувстве местного патриотизма, что их коммунальные службы не хуже, чем в других местах). Если мы используем только один способ измерения, любой источник ошибок измерения может сказаться на оценках в каждом измерении, постоянно предоставляя нам негодный показатель и не давая возможности осуществлять значимые сравнения между измерениями. Если, например, мы опираемся только на физическое измерение освещенности, но снимаем показания несколькими разными способами (на [c.107] тротуаре, на краю тротуара и на мостовой), любой дефект измерительного инструмента (в данном случае светового счетчика) будет оказывать влияние на все измерения и ни одно нельзя будет использовать для проверки другого.

При таком подходе множественные показатели для переменных имеют очень большое значение. Наличие множественных измерений не только дает нам возможность проверить валидность наших показателей, но также в первую очередь увеличивает наши шансы получить валидное измерение переменных. Множественные измерения могут на самом деле повысить валидность измерения, позволяя скомбинировать результаты нескольких разных процедур для получения сложной оценки, которая скорее будет являться правильным отражением действительного значения переменной, чем каждое из измерений, взятое в отдельности. Такая сложная оценка с большей вероятностью будет представлять собой валидное измерение, так как не исключено, что при объединении результатов нескольких процедур измерения ошибки, приводящие к невалидности каждого измерения, нейтрализуются.

Здесь действует практически тот же принцип, что и при взвешивании предмета на многих разных весах. Поскольку весы несовершенны, каждый прибор может показать несколько иное значение веса – чуть тяжелее или чуть легче. Однако если предмет взвешивается на нескольких весах, в соответствии с законами теории вероятности достаточно высока вероятность того, что эти небольшие ошибки нейтрализуют друг друга, давая средний вес, который является правильным. Сходным образом, если мы операционализируем понятия несколькими разными способами, так что ошибка измерения, связанная с каждой операционализацией, не зависит от ошибок, сопровождающих все остальные операционализации, мы получаем хорошие шансы обеспечить точное измерение понятия, комбинируя разные оценки. (В разделах гл.8, посвященных шкалированию и индексированию, будут описаны некоторые возможные методы комбинирования оценок для получения составного измерения.)

Третий способ валидизации называется дискриминантной валидизацией. Задавая вопрос, обладает ли измерение дискриминантной валидностью, мы интересуемся главным образом тем, возможно ли, используя данное [c.108] измерение в качестве показателя некоторого понятия, отличить это понятие от других. Например, если бы мы захотели измерять понятие доверия к политическим деятелям с помощью ряда вопросов обследования, а в нашей анкете есть ряд вопросов, предназначенных для измерения понятия доверия к людям (вообще), то, сравнивая оценки двух измерений, мы можем спросить себя, не отражает ли первый набор вопросов всего лишь иной способ измерения доверия к людям. Если оценки очень близки, мы скажем, что измерение политического доверия не обладает дискриминантной валидностью, поскольку не позволяет отличить понятие “доверие к политическим деятелям” от понятия “доверие к людям”. [c.109]

Наконец, последний способ валидизации опирается на понятие очевидной валидности. Некоторые измерения основаны на столь прямом наблюдении за исследуемым поведением, что задавать вопрос об их валидности представляется неразумным: такое измерение кажется валидным “по внешнему виду”. Предположим, например, что мы хотим измерить степень соблюдения государственного закона, требующего наличия на входной двери каждой фирмы патента на соответствующую деятельность. По-видимому, обучив наблюдателей просто отмечать наличие или отсутствие таких патентов, мы получим явно валидное измерение выполнения закона. И хотя мы всегда должны спрашивать себя, являются ли выбранные нами измерения валидными по внешнему виду, как правило, мы совершали бы ошибку, если бы гарантировали точность результатов исследования, опираясь на одну лишь очевидную валидность. Мы должны попытаться удостоверить валидность наших измерений с помощью стандартных процедур типа тех, что описывались выше.

Основные свойства четырех рассмотренных типов валидизации представлены в табл. 3.1. Если мы хотим на основании наших исследований сделать правильные выводы, мы должны располагать валидными измерениями. Однако чтобы быть валидными, измерения должны быть также надежными.

 

Таблица 3.1

 

Типы валидизации

 

Прагматическая валидизация

Конструктная валидизация

Дискриминантная валидизация

Очевидная
валидизация

Сверить результаты, полученные путем использования показателя, с результатами, полученными путем использования другого показателя, признанного в качестве валидного измерения соответствующего понятия; или проверить прогностическую валидность показателя, использовав его для предсказания событий, отражающих измеряемое понятие.

Внутренняя (конвергентная) валидизация: сделать вывод о валидности показателя на основании его соотношения с другими показателями для того же самого понятия, использующего множественные показатели.

Внешняя валидизация: сделать вывод о валидности показателя на основании его соотношения с показателями для других понятий, с которыми измеряемое понятие теоретически должно быть связано.

Сделать вывод о валидности показателя на основании степени несоответствия показателям для других понятий, теоретически отличных от измеряемого понятия.

Признать валидность, исходя из непосредственной очевидности показателя. (Можно ли убедить людей, находящихся в курсе дела, что это валидный показатель для данного понятия?)

 

НАДЕЖНОСТЬ

 

Когда мы говорим о валидности измерения, нас интересует, насколько точно значения, получаемые с помощью этого измерения, соответствуют истинным значениям измеряемой переменной. Когда мы говорим о надежности измерения, нас интересует устойчивость получаемых с его помощью значений. Можем ли мы, применяя измерение несколько раз, получить для любого данного объекта одно и то же значение или же в результате разных подходов одним и тем же объектам приписываются разные значения? Если при неоднократном применении некоторого измерения один и тот же объект не получает одного и того же значения, это измерение является ненадежным показателем соответствующего понятия. Чтобы гарантировать надежность линеек, их изготавливают из нерастяжимого материала. Если бы линейки изготовляли из растяжимых материалов, они вполне могли бы [c.110] показывать разную длину одного и того же объекта (даже в том случае, если его длина на самом деле не изменилась) просто потому, что линейка растягивается и сжимается.

Если измерение ненадежно, оно не может быть валидным, поскольку по крайней мере некоторые различия в оценках, приписанных объектам, обусловлены ошибками измерения, а не истинными различиями между объектами. Вспомним наш пример с исследованием уличного освещения. Что, если используемый нами световой счетчик окажется настолько чувствительным, что будет фиксировать не только свет от уличных фонарей, но и лунный свет? Тогда значения переменной качество уличного освещения для каждой улицы будут зависеть как от яркости уличных фонарей, так и от случайных факторов, таких, как фазы луны и характера облачности. В той степени, в которой эти случайные факторы влияют на наши результаты, измерение оказывается невалидным отражением действительных различий в качестве уличного освещения. В этом случае ненадежность обусловливает невалидность.

Измерение может быть вполне надежным и все-таки невалидным. Вспомним приводившееся в качестве примера исследование того, в какой степени люди в разных государствах одобряют политику своего правительства. Мы говорили, что вопросы, задаваемые в ходе обследования, могут привести к невалидным измерениям, поскольку в авторитарных странах люди боятся говорить правду о том, что они думают. Так как данный фактор обусловливает скорее систематическую, чем случайную ошибку, вопросы могли бы давать весьма устойчивые результаты. Вне зависимости от того, сколько разих спрашивают, люди могли бы отвечать одно и то же. Это, однако, не делает измерение валидным.

Таким образом, измерение может быть надежным, не будучи валидным, но не может быть валидным, не будучи надежным. В то время как валидность уязвима и со стороны систематической, и со стороны случайной ошибки, надежность подвергается опасности лишь со стороны последней. Это означает, что, если в предшествующих исследованиях измерение было убедительно валидизировано, мы можем использовать его, не беспокоясь о его надежности: [c.111] если измерение валидно, оно должно быть надежно. Однако, продемонстрировав надежность, мы не гарантируем валидность.

Как застраховаться от ненадежности? Как определить, надежно ли данное измерение? Чтобы предотвратить угрозу ненадежности, необходимо знать о различных источниках случайных ошибок измерения, описанных нами в данной главе, и делать все возможное для установления контроля над ними. Следует, в частности, продумывать реальный процесс измерения и проводить предварительное тестирование инструментов измерения для выявления ранее неизвестных причин случайных ошибок.

В социальных науках часто бывает довольно сложно определить, надежно ли предлагаемое нами измерение. Это происходит потому, что истинное значение переменных, с которыми мы имеем дело, может коренным образом изменяться с течением времени и под давлением обстоятельств: люди меняют свое мнение под влиянием опыта; государства начинают по-иному распределять ресурсы между социальными службами и ведомствами оборонного характера в ответ на возникновение военной угрозы и т. п. Когда реальные значения так или иначе изменяются, трудно бывает отличить результаты воздействия случайных ошибок измерения от действительных колебаний в рамках измеряемых понятий. Это означает, что тесты на надежность следует проводить через максимально короткие промежутки времени.

В социальных науках имеется три типа методов установления надежности измерений. Первый – это метод неоднократного тестирования. В этом случае одно и то же измерение снова и снова применяется в отношении одного и того же набора объектов. Если объекты всякий раз получают одну и ту же оценку, измерение считается надежным. Трудности с данным методом возникают в том случае, когда измерение связано с интервьюированием людей (в отличие от измерения характеристик неодушевленных объектов или осуществления скрытого наблюдения за людьми). Если мы повторяем вопросы через короткий промежуток времени, интервьюируемые могут помнить данные ими ранее ответы и, стараясь быть последовательными, будут повторять эти ответы, вместо того чтобы правдиво отвечать на поставленный вопрос. Если возникает [c.112] такая ситуация, мы оказываемся не в состоянии правильно оценить надежность вопросов как показателя для данного понятия. Пытаясь избежать такого тест-эффекта, мы могли бы приступить к повторному опросу лишь по прошествии значительного промежутка времени. Однако в этом случае мы столкнемся с другой проблемой: с течением времени истинные значения переменной могли измениться, и мы можем оказаться не в состоянии отличить изменения в оценках, возникающие из-за ненадежности измерения, от действительных изменений переменной.

Указанная проблема привела к созданию другого теста на надежность – метода альтернативной формы. В соответствии с этим методом в один и тот же момент разные формы измерения применяются к одной и той же группе объектов либо одно и то же измерение применяется к разным группам объектов. В этом случае тест-эффект невозможен, поскольку ни один объект не измеряется более одного раза, а так как измерения не отделены друг от друга никакими временными интервалами, на результатах измерений не могут сказаться реальные изменения исследуемых переменных. Однако успех этой стратегии зависит от того, насколько хорошо сопоставимы друг с другом альтернативные формы измерения как измерения данного понятия, и от того, действительно ли две группы эквивалентны с точки зрения дистрибуции измеряемой переменной. Если у нас есть основания полагать, что эти условия выполняются, то, чем более близки оценки по двум измерениям или по двум группам, тем более мы можем быть уверены в надежности измерения. Однако если в нашем распоряжении нет сравнимых измерений или групп, мы не можем использовать данный метод должным образом.

Наконец, последний способ тестирования надежности измерения известен под названием метода подвыборки. Этот метод заключается в том, что, сформировав выборку из объектов, мы делим ее на несколько подвыборок таким образом, чтобы все они были похожи друг на друга. Затем мы применяем одно и то же измерение ко всем подвыборкам и используем сходство или различие результатов для подвыборок как показатель надежности измерения. Поскольку мы используем одно и то же измерение, у нас нет [c.113] необходимости заботиться о сопоставимости, как в случае метода альтернативной формы; а так как для обеспечения эквивалентности подвыборок мы можем опираться на теорию выборки, нам не приходится беспокоиться о том, что выбранные для измерения группы окажутся недостаточно однородными. Так как ни один объект не измеряется дважды, мы можем не считать тест-эффект угрожающим точности нашего теста на надежность; а поскольку [c.114] измерения осуществляются одновременно, реальные изменения переменной не могут иметь значения для данного метода, как это происходит в случае метода неоднократного тестирования. Однако возможность использования метода подвыборки определяется тем, в состоянии ли мы получить такую большую выборку, что, разделив ее на части, мы будем располагать подвыборками, достаточными для того, чтобы применяемые нами статистические тесты были осмысленными. Это не всегда возможно и может послужить препятствием для использования метода подвыборки при проверке надежности.

Для интерпретации результатов каждого из этих тестов на надежность имеется множество статистических процедур8.

У описанных методов много разновидностей. Какой из вариантов в наибольшей степени подойдет для данного исследовательского проекта, будет зависеть от того, каким временем и возможностями располагает исследователь, а также от характера исследования. Например, если мы хотим измерить уличное освещение на основании оценки освещенности разных кварталов, сделанной обученными наблюдателями, мы можем спокойно воспользоваться методом неоднократного тестирования, не думая ни о каком тест-эффекте. Уличное освещение не будет изменяться просто потому, что его кто-то измеряет, и поэтому можно позволить разным наблюдателям независимо друг от друга оценивать одну и ту же улицу в одну и ту же ночь. Мы не сможем в такой же степени доверять этому методу, если наше измерение качества уличного освещения будет основываться на ответах, данных самими жителями на вопросы интервью.

Вне зависимости от того, какой тест на надежность мы предпочли использовать, надежность измерений важно установить до того, как будет начато исследование. Это требует предварительного тестирования измерения посредством сбора данных, предназначенных исключительно для оценки инструментов, которые будут использоваться в самом исследовании. Если нам не удастся это сделать, то может оказаться, что наши измерения ключевых переменных ненадежны (и поэтому невалидны), и выясниться это может лишь после того, как исследование завершено. А это означает, что мы не сможем доверять [c.115] результатам исследования и что наши усилия были полностью или частично потрачены впустую. Предварительное тестирование солидности и надежности измерения должно быть составной частью любого исследовательского проекта, если в нем используются измерения, которые не были где-нибудь убедительно валидизированы, или если этот проект полагается на измерения, которые были валидизированы только в условиях, очень сильно отличающихся от тех, в которых они будут использоваться.

 

ЗАКЛЮЧЕНИЕ

 

К настоящему моменту мы ввели в рассмотрение основные компоненты процесса исследования. На рис.3.6 изображены их взаимоотношения друг с другом. Операционализация понятий посредством разработки измеряемых показателей готовит нас к работе с материалом, в ходе которой мы будем делать наблюдения, ложащиеся в основание наших выводов. Однако для того, чтобы осуществить эти наблюдения, нам понадобится “план наступления” – такая схема проведения наблюдений, которая позволит сделать на их основе максимальное количество надежных выводов. Такой план, или программа исследования, является темой гл. 4. [c.116]

 

 

Рис. 3.6. Модель процесса исследования

 

ДОПОЛНИТЕЛЬНАЯ ЛИТЕРАТУРА К ГЛАВЕ 3

 

Информацию об измерении в социальных науках можно почерпнуть из работ, в которых есть результаты исследований или разработки методов измерений. Обобщающее введение в проблему встречается крайне редко. Тем не менее мы можем указать полезный источник сведений в добавление к тем работам, которые упоминаются в примечаниях к настоящей главе. Полезное обсуждение логических оснований измерения имеется в: Кеrlingеr F.N. Foundations of Behavioral Research. – N.Y.: Holt, Rinehart and Winston, 1964; Kaplan A. The Conduct the Inguiry. – San Francisco: Chandler Publishing Co., 1964. Некоторые практические проблемы, возникающие в процессе измерения, освещаются в: Jоhnsоn J.M. Doing Field Research. – N.Y.: Free Press, 1975; а одно из лучших введений в проблему стратегий измерения – это работа: Shively Ph.W. The Craft of Political Research. – Englewood Cliffs (NJ.): Prentice-Hall, 1980,2nd. ed. Более подробно разработанные подходы к измерению можно найти в: Measurement in Social Science / Ed.: Вlаlосk H.M., jr. – Chicago: Adline, 1974, и Вlаlосk H.M., jr. Conceptualization and Measurement in the Social Science. – Beverly Hills (Calif.): Sage, 1982. Разнообразные примеры стратегий измерения приводятся в: Bohrnstedt G.W., Bogatta E.F. Social Measurement. – Beverly Hills (Calif.): Sage, 1981. Работа Carmines Е.G., Zeller R.A. Reliability and Validity Assessment. – Beverly Hills (Calif.): Sage, 1979 представляет собой краткий обзор методов установления валидности и надежности. [c.117]

 

ПРИМЕЧАНИЯ

 

1 Такое определение измерения см. в: Сampbell N. What is Science? – New York: Dover, 1952. Р.110.
Вернуться к тексту

2 Очень важно понимать разницу между переменной и ее значениями. Мы выделяем переменную вследствие ее способности принимать различные значения. Переменная – это понятие, переданное в эмпирических терминах. Значение – это некоторая величина или качество переменной, которые могут проявляться у конкретных объектов. Например, 23 года – это значение переменной возраст; 25000 долларов – значение переменной годовой доход; 12% – значение переменной процентное содержание среди населения лиц иностранного происхождения; “высший” – значение переменной социально-экономический статус.
Вернуться к тексту

3 См.: Shive1у W. Ph. The Craft of Political Research. – Englewood Cliffs (NJ.): Prentice-Hall, 1980,2nd cd., p. 66, 80.
Вернуться к тексту

4 См., например: Вlаlосk H. M., Jr. The Measurement Problem: A Gap Between the Languages of Theory and Research. – Methodology in Social Research. / Eds: Вlalосk H. M. Jr., Вlalосk A. – New York: McGraw-Hill, 1968. Р.5-27.
Вернуться к тексту

5 Более подробно следующие пункты обсуждаются в: Sellitz С., Wrightsman L.S., Cook S.W. Research Methods in Social Relations. – 3rd ed. – New York: Holt, Rinehart and Winston, 1976. P.165– 168. Авторы этой работы привержены психологической традиции и обращаются в первую очередь к исследованиям, объектами которых являются люди. Однако многие из рассмотренных проблем могут быть распространены на более широкий круг ситуаций исследования.
Вернуться к тексту

6 Полезные рекомендации о том, как достичь этого, можно найти в: Саmpbеll D.F. Recomendations for АРА Test Standarts Regarding Construct, Trait or Discriminant Validity. – American Psyhologist. – Vol.15. – 1960, August. P.546–553; Rosenberg M. The Logic of Survey Analysis. – New York: Basic Books, 1968.
Вернуться к тексту

7 Блестящее обсуждение логики множественных операционализаций см. в: Lееgе D.С., Francis W.L. Political Research. – New York: Basic Books, 1974. – Chap. 5; Sullivan J.L., Feldman S. Multiple Indicators. – Beverly Hills (Calif.): Sage, 1979.
Вернуться к тексту

8 Некоторые из них описаны в: Bohrnstedt G.W. Reliability and Validity Assesments in Attitude Measurement. // Attitude Measurement. / Ed.: Summeгs G. P. – Skokie (Ill.): Rand McNally, 1970. P.80–99.
Вернуться к тексту

 

предыдущая

 

следующая
 
оглавление