Критерии валидности, применяемые к качественным исследованиям. Валидность исследования – Триангуляция данных

В широком смысле слова валидность, т. е. обоснованность метода, означает ϲᴏᴏᴛʙᴇᴛϲᴛʙие получаемых с его помощью эмпирических данных основным целям исследования. Вопрос о валидности качественных методов в предшествующие годы был сильно запутан специалистами по математической статистике, кᴏᴛᴏᴩые распространили весьма специфичные статистические критерии валидности на классы задач и исследовательских ситуаций, не имеющих ничего общего с идеальными объектами типа вынимаемых из корзины разноцветных шаров, кᴏᴛᴏᴩыми оперирует теория вероятности.

Прежде, чем перейти к описанию качественных исследований, особенно групповых, следует охарактеризовать их отличия от количественных исследований. Чтобы понять данные отличия полнее, крайне важно разобраться в том, что, собственно говоря, будет «ошибкой» исследования.

Количественные социологические исследования будут разновидностью исследований, в основании кᴏᴛᴏᴩых лежит математическая теория вероятности. В числе аксиоматических предпосылок ϶ᴛᴏй теории имеется весьма важная предпосылка о том, что различия между анализируемыми объектами ограничены фиксированным набором дискретных признаков. К примеру, шары, лежащие в корзине, различаются по цвету, размеру и нарисованным на них цифрам. Люди, ϲᴏᴏᴛʙᴇᴛϲᴛʙенно, могут различаться по ϲʙᴏим демографическим признакам, установкам и т. д. , причем важно отметить, что в любом конкретном анкетном опросе набор признаков ограничен числом квантифицированных вопросов анкеты, а все прочие возможные признаки предполагаются идентичными.

Основным критерием, характеризующим исследование статистического типа, будет надежность, т. е. воспроизводимость полученных результатов. В случае если провести повторный опрос по той же методике в той же самой социальной группе, и результаты обоих опросов будут идентичны - значит, они надежны. Сегодня никто не оспаривает тот факт, что при правильно проведенном массовом репрезентативном опросе с помощью формализованных анкет автоматически достигается высокая степень воспроизводимости результатов. При этом вопрос их валидности данным далеко не исчерпывается.

В математической социологии валидность исследования принято трактовать как степень ϲᴏᴏᴛʙᴇᴛϲᴛʙия средства измерения тому, что подлежало измерению . Словарь поясняет далее, что в строгом смысле слова валидизация возможна исключительно при наличии независимого внешнего критерия, но такая ситуация в социологии будет редкостью. Во всех остальных случаях валидность результатов количественных опросов будет не более чем гипотезой, оценка степени правдоподобия кᴏᴛᴏᴩой не имеет ничего общего с математическими и статистическими процедурами. Низкая степень правдоподобия многих неявных содержательных гипотез, латентно закладываемых исследователями в формулировки и структуру формализованных вопросов, а порой и полное отсутствие такого правдоподобия, будет очень серьезной и плохо осознанной проблемой.

Таким образом, статистическую надежность результатов количественных исследований не следует путать с их надежностью и обоснованностью в широком смысле ϶ᴛᴏго слова. Строго говоря, количественные исследования надежны исключительно в той мере, в какой саму проблему надежности удается свести к ее статистическому толкованию. В случае если такое сведение не удалось или в принципе невозможно, количественные данные становятся крайне ненадежной основой для выводов.

Сравнивая количественные и качественные методы с позиции их валидности, следует прежде всего отметить, что сферы их валидного применения не совпадают друг с другом. Это делает бессмысленным обобщенное сравнение их по критерию валидности. Существуют классы задач, в кᴏᴛᴏᴩых количественные методы обладают высокой, а качественные низкой валидностью. Вместе с тем существуют - и ϶ᴛᴏт аспект обычно слабо подчеркивается даже в специальной литературе - другие классы задач, в кᴏᴛᴏᴩых указанное соотношение прямо противоположно.

В задачу нашего учебника не входит рассмотрение вопросов методологии качественных методов вообще. Специфика фокус-групп, а также индивидуальных глубоких интервью, если они проводятся большими сериями, состоит по сути в том, что к ним, по крайней мере теоретически, также применимы статистические критерии обоснованности, хотя и иные, чем в количественных исследованиях.

Отметим, что текстовые расшифровки серии групповых интервью, проведенных на определенную тему, образуют массив первичных данных объемом в несколько сотен страниц. Этот массив вполне пригоден для анализа с применением статистических методов как с точки зрения его размеров, так и с позиции разнородности. Разнородность массива обеспечивается участием нескольких десятков респондентов, что уже дает основания для приблизительного распределения однотипных ответов по трехчленной или пятичленной шкале: явное меньшинство, меньшинство, примерно поровну, большинство, явное большинство. Главное, однако, состоит не в ϶ᴛᴏм. Специфика массива первичных данных групповых интервью состоит по сути в том, что:

1. Единицей анализа будет не респондент, а высказывание. Поскольку каждый респондент будет носителем многих высказываний, ϶ᴛᴏ, как минимум, на порядок увеличивает массив первичных аналитических единиц, делая его статистически значимым.

2. В задачу качественных исследований не входит определение численности или удельного веса носителей той или иной позиции в обществе или его сегменте. По отношению к такому классу проблем качественные методы невалидны.

Задачей качественных методов будет формирование списка так называемых «гипотез существования», т. е. списка мнений, оценок или высказываний, существующих в обществе и, предположительно, имеющих не нулевую степень распространения. При ϶ᴛᴏм, как отмечает Д. Отметим, что темплтон, предпочтительнее ошибиться, выявив несуществующий или малозначимый фактор, чем упустить высокозначимый.

Математический аппарат, приспособленный для решения задач подобного типа, в принципе хорошо известен. Стоит заметить, что он используется в лингвистке при составлении списков звуков и слогов, а также частотных словарей слов и словосочетаний. Этот же аппарат используется и в социологических исследованиях, осуществляемых с помощью контент-анализа. Применительно к последнему случаю математическая постановка задачи выглядит примерно так: «Имеется кандидат в президенты А, о кᴏᴛᴏᴩом пишут в газетах. Требуется составить как можно более полный список эпитетов, кᴏᴛᴏᴩыми авторы статей характеризуют данного кандидата. Какой объем газетных текстов следует изучить, ɥᴛᴏбы с вероятностью 95% число невыявленных эпитетов не превысило 5% ?»

Как и подавляющее большинство прикладных статистических задач, данная задача не решаема без определенных предварительных знаний о характере частотного распределения искомых эпитетов, а также без некᴏᴛᴏᴩых априорных допущений. Учитывая зависимость от практического удобства выбора той или иной системы допущений сама постановка задачи может варьироваться. Углубление в ϶ᴛᴏт вопрос выходит за рамки нашей темы, поскольку в прикладных исследованиях, осуществляемых с помощью метода фокус-групп, статистический аппарат, подобный описанному выше, если где-то и применяется, то исключительно в узкоспециальных исследованиях, далеких от сферы применения маркетинговых фокус-групп.
Стоит отметить, что основных причин ϶ᴛᴏму видится две. Первая - применение такого аппарата сильно удорожает исследования, а коммерческий заказчик не склонен оплачивать математические «красоты», если они никак не влияют на конечные выводы. По ряду причин, кᴏᴛᴏᴩые будут описаны ниже, и заказчики, и исследователи считают вполне достаточной ориентацию на следующий субъективный критерий: если количество новой информации, получаемой от каждой следующей группы, резко упало, исследование следует прекращать.

Вторая причина гораздо более фундаментальная. Стоит заметить, что она связана с тем, что сегодня строго операциональное и поддающееся автоматизации вычленение из текстов смысловых единиц возможно только на уровне слов и устойчивых словосочетаний. Вычленение, группировка и топологизация более сложных смысловых единиц, осуществляемые на аналитической стадии качественного социологического исследования, могут выполняться только человеком на базе еще не изученных бессознательных интеллектуальных алгоритмов. Быстрый прогресс в развитии компьютерных программ автоматизированного перевода дает возможность предположить, что с течением времени станет осуществимым автоматизированное распознавание все более сложных смысловых единиц. При этом на практику фокус-групповых исследований эта работа пока не оказывает никакого влияния. При изучении литературы по маркетинговым фокус-группам мы ни разу не встречались с упоминанием о применении контент-анализа в какой бы то ни было форме. В области академических исследований такие упоминания имеются , однако изучение данного вопроса требует специальной работы. Отметим здесь же, что в начале 90-х годов наиболее современной работой по методам компьютерного контент-анализа считалась работа Вебера .

Резюмируя, обратимся к вопросу определения областей валидных количественных и качественных исследований. Выше было показано, что данные области принципиально различны, поскольку радикально различны решаемые ими классы задач. Область валидного применения формализованных опросов только на первый взгляд кажется беспредельной или очень широкой. На самом деле она ограничена выявлением степени распространенности тех или иных знаний, мнений или установок, кᴏᴛᴏᴩые:

а) должны быть известны заранее, т. е. до проведения опроса;

б) не должны быть навязываемой респонденту фикцией или псевдосуждениями, не ϲʙᴏйственными его сознанию.

Для выявления самого факта существования знаний, мнений или установок количественные методы непригодны, что хорошо видно из следующего сравнения результатов опроса.

А. Количественное исследование

Вопрос: Что Вы предпочитаете - яблочный пирог или шо­коладный кекс? (% к числу опрошенных)

Яблочный пирог - 26%

Шоколадный кекс - 22%

И то, и другое - 43%

Затрудняюсь ответить - 9%

Б. Качественное исследование

Вопрос: Что Вы предпочитаете - яблочный пирог или шоколадный кекс?

Ответ: Я не знаю. Я люблю и то, и другое.

Вопрос: Хорошо, если Не стоит забывать, что вам надо взять что-то одно, что ϶ᴛᴏ будет? Подумайте.

Ответ: Конечно, пироги различаются. В случае если у меня будет возможность взять яблочный пирог моей мамы, то я предпочту его любому шоколадному кексу. В случае если крайне важно взять какой-то яблочный пирог, то я точно не знаю.

Вопрос: От чего еще может зависеть Не стоит забывать, что ваш выбор?

Ответ: К примеру, ϶ᴛᴏ зависит от того, что я ем на обед. В случае если у меня полный обед, я думаю, что возьму яблочный пирог. Яблочный пирог - ϶ᴛᴏ большой деликатес в моей семье. Но если на обед я ел что-то легкое, типа рыбы, то лучше взять кекс. В случае если холодно, я не откажусь от шоколадного кекса .

Приведенный диалог хорошо иллюстрирует тот факт, что простой ответ «Я выбираю яблочный пирог» зависит от многих факторов, в данном случае - от того, кто приготовил ϶ᴛᴏт пирог, от степени голода, плотности обеда, температуры окружающей среды. Этот список, вероятно, может быть продолжен. Но, как и во многих других случаях, число таких факторов или, по крайней мере, наиболее распространенных из них, по-видимому, не очень велико. Задачей качественного исследования, как уже говорилось, будет выявление списка данных факторов с разумной степенью полноты. В ϶ᴛᴏй области качественные исследования обладают высокой степенью валидности. Уместно отметить, что определение частотного распределения действия выявленных факторов в изучаемой популяции - дело количественного исследования. Не стоит забывать, что важны, однако, две оговорки:

а) с практической позиции затраты на проведение количественного исследования могут превышать ожидаемый риск от принятия волевого решения, основанного на менее точной информации;

б) адекватная трансформация выявленных факторов в вопросы формализованной анкеты часто затруднена или невозможна, причем часто чрезвычайно трудно бывает даже определить возможную степень ϶ᴛᴏй неадекватности.

Эти обстоятельства нередко снижают валидность количественных исследований до такой степени, что их проведение становится нецелесообразным.

Лишь в тех случаях, когда гипотеза о валидности формулировок вопросов формализованных анкет выглядит обоснованной или правдоподобной, количественное исследование может дать валидный результат, позволяющий принять решение, основанное на более точной информации.

Большинство исследователей, работающих с качественными методами, считает, что разные люди обладают разными, но одинаково валидными интерпретациями реальности, сформированными контекстом, в котором они живут, культурой и опытом.

Как же тогда определять валидность инструмента? Есть только одна возможность – всем представителям разных точек зрения попытаться объединить некие единые критерии. Что довольно сложно, учитывая, что разные исследователи исходят из разных посылок и пользуются разными стратегиями. Например, grounded theory должна работать с довольно большой выборкой и основывать анализ на широком ряде данных. А дискурсный анализ, напротив, базируется на глубинном изучении отдельных (немногих) фрагментов текста. В анализе разговора могут исследоваться лингвистические особенности, а могут – глубинные социо-культурные смыслы.

Иногда к качественным методам ошибочно пытаются применять критерии валидности количественных методов, в особенности объективность, надежность и статистическую обобщаемость.

Работая с количественными методами, исследователи применяют множество средств, чтобы исключить байесы, а также устранить личность исследователя (добиться полной объективности и отстраненности). В качественной парадигме исследователи верят, что исследователь НЕИЗБЕЖНО влияет на процесс получения данных, уже тем самым, что формулирует исследовательский вопрос, выбирает метод получения и анализа данных, а также интерпретирует их. Более того, в качественных методах воздействие исследователя необходимо, например, в глубинном интервью, где требуется получить субъективный опыт респондента, или при анализе разговора, цель которого – выявить скрытые или неосознаваемые смыслы. Так что в качественных иссл. исследователи стараются извлечь максимальную выгоду из личной вовлеченности (вместо того, чтобы каждый раз по одной и той же схеме пытаться ее контролировать), одновременно анализируя, как именно воздействовал исследователь на процесс. Так что объективность критерием валидности для Кач. М. не является.

То, что в Кол. М. называется разбросом ошибки и тоже должно быть по максимуму исключено, в Кач. М. именно это иногда является объектом интереса и называется «индивидуальными различиями» или различиями поведения в разных контекстах и представляет собой отдельную тему для изучения. Так что и генерализация данных тоже не может быть критерием валидности в Кач. М.

С другой стороны, и в Кач., и в Колич. М. исследователи надеются, что полученные ими данные можно будет генерализовать. Абсолютно уникальное исследование, неприложимое ни к какой другой ситуации, вряд ли имеет смысл. При этом Кол. М. в целях возможности обобщения собирают данные с большой выборки, тогда как Кач. М. редко работают с большими группами. Исследователи в этом случае идут не по пути статистического обобщения, а по теоретическому, логическому, «вертикальному» пути. Т.е. они не ждут, что обнаруженное ими в точности повторится в другой выборке, но надеются, что их открытия, полученные в одном контексте, будут полезны и в других, но чем-то сходных с первым. Поскольку контексты могут различаться по многим параметрам, но все же сходиться в чем-то одном, понятие обобщаемости в данном случае приобретает широту и гибкость.

На данный момент разработан ряд методов для повышения валидности качественных инструментов. Это не жесткие рамки, которых следует держаться, но набор полезных средств, которыми можно пользоваться, выбирая, в зависимости от своего исследовательского вопроса и метода. Повышение валидности необходимо а) для общего обоснования парадигмы, чтобы показать, что она держится на надежной основе и заслуживает доверия не меньше, чем количественная и б) чтобы вызвать больше доверия у общественности и заказчиков исследований.

·Триангуляция.

Термин взят из навигации, где он означал вычисление местонахождения по трем различным точкам. Таким образом триангуляция в исследованиях – способ подтвердить высказывания (оценки, суждения) одного человека или группы при помощи суждений других. Например, человек связывает свои психологические проблемы с внешними событиями; можно дополнить его рассказ, проинтервьюировав также членов его семьи. Поскольку Кач. Исследователи часто считают, что каждый из их рассказов будет валидным, даже если они все разные, то триангуляция – не способ определить правдивость одного рассказа, но способ расширить понимание описываемого явления, посмотреть на него с разных точек зрения. К примеру, человек дает свое описание каких-то событий как причины его психологических проблем; члены его семьи могут внести свой вклад, рассказав, как личность и жизненный опыт первого респондента повлияли на их собственное переживание данных событий.

Можно собирать информацию о чем-то одном с разных групп (или людей), а можно собирать информацию об одном событии, но в разное время, как лонгитюд.

·Сравнение кодирования, которым пользуются исследователи.

Сравнение способов кодирования, которые используют разные исследователи, - тоже способ триангуляции. Это позволяет удостовериться, что анализ не сводится к чьим-то представлениям и будет доступен и другим людям. Если исследователь занимается кодированием какого-либо материала, ему следует обсуждать способ кодирования с другими участниками исследования, которые имеют доступ к сырому материалу. Это позволяет не пропустить никаких важных мотивов, а также сделать кодировку более ясной, последовательной и удобной для анализа.

Иногда несколько исследователей независимо кодируют данные, а потом результаты сопоставляются, и таким образом определяется inter-rater reliability (не знаю, как перевести). Между двумя кодированиями высчитывается Каппа Коэна (коэффициент согласия экспертов). Если она выше 0,8, надежность очень велика.

·Фидбек от респондентов.

Еще называется respondent validation. Респондентов просят дать свой комментарий относительно проведенного анализа. Это ценный способ для привлечения участников в исследование, а также позволяет удостовериться, что респондентов правильно поняли. Но способ не всегда уместен, например, если анализ должен выявлять противоречия между суждениями респондентов, скрытые значения, лингвистические и прочие особенности их рассказа – все это респонденты просто не могут понять (или им не нужно этого знать).

·Анализ выпадающих случаев.

Качественный анализ обычно представляет собой индуктивный процесс выделения тем и паттернов из массива данных. На этот процесс неизбежно влияют интересы, представления и цели исследователей. Когда такой анализ уже проведен, полезно поискать противоречащие всему случаи (девиантные кейсы), т.е. данные, в которых не появляются общие для всех остальных темы и паттерны (грубо говоря, человек говорит что-то совсем другое, чем все остальные).

Выпадающим случаям нужно уделять большое внимание и фиксировать их, чтобы учесть весь массив данных, а не только те, которые подходят под гипотезу исследования. Например: исследование посвящено воздействию физических упражнений. Вся группа говорит, что от упражнений им круто и весело, а два человека – что им плохо и не нравится. В генеральной совокупности эти два человека представляют гораздо большее количество случаев; к тому же, это дает основания провести новое исследование на тему «при каких условиях физич упражнения вредны или неприятны».

·Бумажный след.

Должен быть способ показать связь между сырыми данными и конечными отчетами (чтобы все было отражено аккуратно). Для этого можно сохранять «бумажный след» анализа, отражающий все стадии анализа (промежуточные документы): как кодировались данные, как ставился исследовательский вопрос, как интерпретировались данные и проч.

Другим после надежности ключевым критерием оценки качества методик является валидность. Вопрос о валидности методик решается лишь после того, как установлена достаточная ее надежность, поскольку ненадежная методика без знания ее валидности является практически бесполезной.

Следует заметить, что вопрос о валидности до последнего времени представляется одним из самых сложных. Наиболее укоренившимся определением этого понятия является то, которое приведено в книге А. Анастази: "Валидность теста - понятие, указывающее нам, что тест измеряет и насколько хорошо он это делает" (1982. С. 126). Валидность по своей сути - это комплексная характеристика, включающая, с одной стороны, сведения о том, пригодна ли методика для измерения того, для чего она была создана, а с другой стороны, какова ее действенность, эффективность. По этой причине не существует какого-то единого универсального подхода к определению валидности. В зависимости от того, какую сторону валидности хочет рассмотреть исследователь, используются и разные способы доказательства. Другими словами, понятие валидности включает в себя разные ее виды, имеющие свой особый смысл. Проверка валидности методики называется валидизациеи.

Валидность в первом ее понимании имеет отношение к самой методике, т.е это валидность измерительного инструмента. Такая проверка называется теоретической валидизациеи. Валидность во втором понимании уже относится не столько к методике, сколько к цели ее использования. Это прагматическая валидизация.

Итак, при теоретической валидизации исследователя интересует само свойство, измеряемое методикой. Это, по существу, означает, что проводится собственно психологическая валидизация. При прагматической валидизации суть предмета измерения (психологического свойства) оказывается вне поля зрения. Главный акцент сделан на то, чтобы доказать, что "нечто", измеряемое методикой, имеет связь с определенными областями практики.

Провести теоретическую валидизацию, в отличие от прагматической, порой оказывается значительно труднее. Не вдаваясь пока в конкретные детали, остановимся в общих чертах на том, как проверяется прагматическая валидность: выбирается какой-нибудь независимый от методики внешний критерий, определяющий успех в той или иной деятельности (учебной, профессиональной и т.п.), и с ним сравниваются результаты диагностической методики. Если связь между ними признается удовлетворительной, то делается вывод о практической эффективности, действенности диагностической методики.

Для определения теоретической валидности найти какой-либо независимый критерий, лежащий вне методики, гораздо труднее. Поэтому на ранних стадиях развития тестологии, когда концепция валидности только складывалась, бытовало интуитивное представление о том, что тест измеряет:

1) методика признавалась валидной, так как то, что она измеряет, просто "очевидно"; 2)

доказательство валидности основывалось на уверенности исследователя в том, что его метод позволяет "понять испытуемого"; 3)

методика рассматривалась как валидная (т.е. принималось утверждение, что такой-то тест измеряет такое-то качество) только потому, что теория, на основании которой строилась методика, "очень хорошая".

Принятие на веру голословных утверждений о валидности методики не могло продолжаться длительное время. Первые проявления действительно научной критики развенчали такой подход: начались поиски научно обоснованных доказательств.

Как уже говорилось, провести теоретическую валидизацию методики - это показать, действительно ли методика измеряет именно то свойство, качество, которое она, по замыслу исследователя, должна измерять. Так, например, если какой-то тест разрабатывался для того, чтобы диагностировать умственное развитие школьников, надо проанализировать, действительно ли он измеряет именно это развитие, а не какие-то другие особенности (например, личность, характер и т.п.). Таким образом, для теоретической валиди-зации кардинальной проблемой является отношение между психическими явлениями и их показателями, посредством которых эти психические явления пытаются познать. Она показывает, что замысел автора и результаты методики совпадают.

Не столь сложно осуществить теоретическую валидизацию новой методики, если для измерения данного свойства уже имеется методика с известной, доказанной валидностью. Наличие корреляции между новой и аналогичной старой методиками указывает на то, что разработанная методика измеряет то же психологическое качество, что и эталонная. И если новый метод одновременно оказывается более компактным и экономичным в проведении и обработке результатов, то психодиагносты получают возможность использовать новый инструмент вместо старого. Такой прием особенно часто используется в дифференциальной психофизиологии при создании методик диагностики основных свойств нервной системы человека (см. гл. VII).

Но теоретическая валидность доказывается не только путем сопоставления с родственными показателями, а также и с теми, где исходя из гипотезы значимых связей не должно быть. Таким образом, для проверки теоретической валидности важно, с одной стороны, установить степень связи с родственной методикой (конвергентная валидность) и отсутствие этой связи с методиками, имеющими другое теоретическое основание (дискриминантная валидность).

Гораздо труднее провести теоретическую валидизацию методики тогда, когда такой путь невозможен. Чаще всего именно с такой ситуацией сталкивается исследователь. В таких обстоятельствах только постепенное накопление разнообразной информации об изучаемом свойстве, анализ теоретических предпосылок и экспериментальных данных, значительный опыт работы с методикой позволяет раскрыть ее психологический смысл.

Важную роль для понимания того, что методика измеряет, играет сопоставление ее показателей с практическими формами деятельности. Но здесь особенно важно, чтобы методика была тщательно проработана в теоретическом плане, т.е. чтобы имелась прочная, обоснованная научная база. Тогда при сопоставлении методики с взятым из

повседневной практики внешним критерием, соответствующим тому, что она измеряет, может быть получена информация, подкрепляющая теоретические представления о ее сущности.

Важно помнить, что если доказана теоретическая валидность, то интерпретация полученных показателей становится более ясной и однозначной, а название методики соответствует сфере ее применения.

Что касается прагматической валидизации, то она подразумевает проверку методики с точки зрения ее практической эффективности, значимости, полезности. Ей придают большое значение, особенно там, где встает вопрос отбора. Разработка и использование диагностических методик имеет смысл только тогда, когда есть обоснованное предположение, что измеряемое качество проявляется в определенных жизненных ситуациях, в определенных видах деятельности.

Если опять обратиться к истории развития тестологии (А Анастази, 1982; B.C. Аванесов, 1982; К.М. Гуревич, 1970; "Общая психодиагностика", 1987; Б.М Теплов, 1985 и др), то можно выделить такой период (20-30-е гг), когда научное содержание тестов и их теоретический "багаж" интересовали в меньшей степени. Важно было, чтобы тест "работал", помогал быстро отбирать наиболее подготовленных людей. Эмпирический критерий оценки тестовых заданий считался единственно верным ориентиром в решении научных и прикладных задач.

Использование диагностических методик с чисто эмпирическим обоснованием, без отчетливой теоретической базы нередко приводило к псевдонаучным выводам, к неоправданным практическим рекомендациям. Нельзя было точно назвать те способности, качества, которые тесты выявляли. Б.М. Теплов, анализируя тесты того периода, назвал их "слепыми пробами" (1985).

Такой подход к проблеме валидности тестов был характерен вплоть до начала 50-х гг. не только в США, но и в других странах. Теоретическая слабость эмпирических методов валидизации не могла не вызвать критики со стороны тех ученых, которые в разработке тестов призывали опираться не только на "голую" эмпирику и практику, но и на теоретическую концепцию. Практика без теории, как известно, слепа, а теория без практики мертва. В настоящее время теоретико-прагматическая оценка валидности методик воспринимается как наиболее продуктивная.

Для проведения прагматической валидизации методики, т.е. для оценки ее эффективности, действенности, практической значимости, обычно используется независимый внешний критерий - показатель проявления изучаемого свойства в повседневной жизни. Таким критерием может быть успеваемость (для тестов способностей к обучению, тестов достижений, тестов интеллекта), производственные достижения (для методик профессиональной направленности), эффективность реальной деятельности - рисования, моделирования и т.д. (для тестов специальных способностей), субъективные оценки (для тестов личности).

Американские исследователи Тиффин и Маккормик (1968), проведя анализ используемых для доказательства валидности внешних критериев, выделяют четыре их типа:

1) критерии исполнения (в их число могут входить такие, как количество выполненной работы, успеваемость, время, затраченное на обучение, темп роста

квалификации и т.п.);

2) субъективные критерии (они включают различные виды ответов, которые отражают отношение человека к чему-либо или к кому-либо, его мнение, взгляды, предпочтения; обычно субъективные критерии получают с помощью интервью, опросников, анкет);

3) физиологические критерии (они используются при изучении влияния окружающей среды и других ситуационных переменных на организм и психику человека; замеряется частота пульса, давление крови, электросопротивление кожи, симптомы утомления и т.д.);

4) критерии случайностей (применяются, когда цель исследования касается, например, проблемы отбора для работы таких лиц, которые менее подвержены несчастным случаям).

Внешний критерий должен отвечать трем основным требованиям:

он должен быть релевантным, свободным от помех (контаминации) и надежным.

Под релевантностью имеется в виду смысловое соответствие диагностического инструмента независимому жизненно важному критерию. Другими словами, должна быть уверенность в том, что в критерии задействованы именно те особенности индивидуальной психики, которые измеряются и диагностической методикой. Внешний критерий и диагностическая методика должны находиться между собой во внутреннем смысловом соответствии, быть качественно однородными по психологической сущности (К.М. Гуревич, 1985). Если, например, тест измеряет индивидуальные особенности мышления, умение выполнять логические действия с определенными объектами, понятиями, то и в критерии нужно искать проявление именно этих умений. Это в равной степени относится и к профессиональной деятельности. Она имеет не одну, а несколько целей, задач, каждая из которых специфична и предъявляет свои условия к выполнению. Из этого вытекает существование нескольких критериев выполнения профессиональной деятельности. Поэтому не следует проводить сопоставление успешности по диагностическим методикам с производственной эффективностью в целом. Необходимо найти такой критерий, который по характеру выполняемых операций соотносим с методикой.

Если относительно внешнего критерия неизвестно, релевантен он измеряемому свойству или нет, то сопоставление с ним результатов психодиагностической методики становится практически бесполезным. Оно не позволяет прийти к каким-либо выводам, которые могли бы дать оценку валидности методики.

Требования свободы от контаминации вызываются тем, что, например, учебная или производственная успешность зависит от двух переменных: от самого человека, его индивидуальных особенностей, измеряемых методиками, и от ситуации, условий учебы, труда, которые могут привнести помехи, "загрязнить" применяемый критерий. Чтобы в какой-то мере избежать этого, следует отбирать для исследования такие группы людей, которые находятся в более или менее одинаковых условиях. Можно использовать и другой метод. Он состоит в корректировке влияния помех. Эта корректировка носит обычно статистический характер. Так, например, производительность следует брать не по абсолютным значениям, а в отношении к средней производительности рабочих, работающих в аналогичных условиях.

Когда говорят, что критерий должен иметь статистически достоверную надежность, это означает, что он должен отражать постоянство и устойчивость исследуемой функции.

Поиски адекватного и легко выявляемого критерия относятся к очень важным и сложным задачам валидизации. В западной тестологии много методик дисквалифицировано только потому, что не удалось найти подходящего критерия для их проверки. Например, у большей части анкет данные по их валидности сомнительны, так как трудно найти адекватный внешний критерий, отвечающий тому, что они измеряют.

Оценка валидности методики может носить количественный и качественный характер.

Для вычисления количественного показателя - коэффициента валидности - сопоставляются результаты, полученные при применении диагностической методики, с данными, полученными по внешнему критерию, тех же лиц. Используются разные виды линейной корреляции (по Спирмену, по Пирсону).

Сколько испытуемых необходимо для расчета валидности? Практика показала, что их не должно быть меньше 50, однако лучше всего более 200 Часто возникает вопрос, какой должна быть величина коэффициента валидности, чтобы она считалась приемлемой? В общем отмечается, что достаточно того, чтобы коэффициент валидности был статистически значим. Низким признается коэффициент валидности порядка 0,20- 0,30, средним - 0,30-0,50 и высоким - свыше 0,60.

Но, как подчеркивают А. Анастази (1982), К.М. Гуревич (1970) и др, не всегда для вычисления коэффициента валидности правомерно использовать линейную корреляцию. Этот прием оправдан лишь тогда, когда доказано, что успех в какой-то деятельности прямо пропорционален успеху в выполнении диагностической пробы. Позиция зарубежных тестологов, особенно тех, кто занимается профпригодностью и профотбором, чаще всего сводится к безоговорочному признанию того, что для профессии больше подойдет тот, кто больше выполнил заданий в тесте. Но может быть и так, что для успеха в деятельности нужно обладать свойством на уровне 40% решения теста. Дальнейший успех в тесте уже не имеет никакого значения для профессии Наглядный пример из монографии КМ Гуревича: почтальон должен уметь читать, но читает ли он с обычной скоростью или с очень большой скоростью - это уже не имеет профессионального значения. При таком соотношении показателей методики и внешнего критерия наиболее адекватным способом установления валидности может быть критерий различий.

Возможен и другой случай: более высокий уровень свойства, чем это требует профессия, служит помехой профессиональному успеху. Так Ф Тейлор нашел, что наиболее развитые работницы производства имеют невысокую производительность труда. То есть высокий уровень их умственного развития мешает им высокопроизводительно трудиться. В этом случае для вычисления коэффициента валидности более подошел бы дисперсионный анализ или вычисление корреляционных отношений.

Как показал опыт работы зарубежных тестологов, ни одна статистическая процедура не в состоянии полностью отразить многообразие индивидуальных оценок. Поэтому часто для доказательства валидности методик используют другую модель - клинические оценки. Это не что иное, как качественное описание сущности изучаемого

свойства. В этом случае речь идет об использовании приемов, не опирающихся на статистическую обработку.

Существует несколько видов валидности, обусловленных особенностями диагностических методик, а также временным статусом внешнего критерия Во многих работах (А Анастази, 1982; Л.Ф Бурлачук, СМ. Морозов, 1989; КМ. Гуревич, 1970; Б.В Кулагин, 1984; В Черны, 1983; "Общая психодиагностика", 1987 и др) называются чаще всего следующие: 1.

Валидность "по содержанию". Этот прием используется в основном в тестах достижений. Обычно в тесты достижений включается не весь материал, который прошли учащиеся, а какая-то его небольшая часть (3-4 вопроса). Можно ли быть уверенным в том, что правильные ответы на эти немногие вопросы свидетельствуют об усвоении всего материала. На это и должна ответить проверка валидности по содержанию. Для этого проводится сопоставление успешности по тесту с экспертными оценками учителей (по данному материалу). Валидность "по содержанию" также подходит к критериально-ориентированным тестам. Иногда этот прием называют логической валидностью. 2.

Валидность "по одновременности", или текущая валидность, определяется с помощью внешнего критерия, по которому информация собирается одновременно с экспериментами по проверяемой методике. Другими словами, собираются данные, относящиеся к настоящему времени успеваемость в период испытания, производительность в этот же период и т д. С ним коррелируют результаты успешности по тесту.

"Предсказывающая" валидность (другое название - "прогностическая" валидность). Определяется также по достаточно надежному внешнему критерию, но информация по нему собирается некоторое время спустя после испытания. Внешним критерием обычно бывает выраженная в каких-нибудь оценках способность человека к тому виду деятельности, для которой он отбирался по результатам диагностических испытаний. Хотя этот прием наиболее соответствует задаче диагностических методик - предсказанию будущей успешности, применять его очень трудно. Точность прогноза находится в обратной зависимости от времени, заданного для такого прогнозирования. Чем больше проходит времени после измерения, тем большее количество факторов требуется учитывать при оценке прогностической значимости методики. Однако учесть все факторы, влияющие на предсказание, практически невозможно. 4.

Валидность метода. Валидность метода исследования и диагностики (буквально означает “полноценный, пригодный, соответствующий”) показывает, в какой мере измеряется то качество (свойство, характеристика), для оценки которого он предназначен. Валидность (адекватность) говорит о степени соответствия метода своему назначению. Чем ближе раскрывается в диагностике тот признак, для обнаружения и измерения которого предназначен метод, тем выше его валидность.

Понятие валидности относится не только к методике, но и к критерию оценки ее качества, критерию валидности. Это основной признак, по которому можно практически судить о том, является ли данная методика валидной.

Выделяют несколько видов валидности диагностических методик.

Теоретическая (концептуальная) валидность определяется по соответствию показателей исследуемого качества, получаемых с помощью данной методики, показателям, получаемым посредством других методик (с показателями которых должна существовать теоретически обоснованная зависимость). Теоретическую валидность проверяют по корреляциям показателей одного и того же свойства, получаемым при помощи разных методик, связанных с одной и той же теорией.

Эмпирическая (прагматическая) валидность проверяется по соответствию диагностических показателей реальному жизненному поведению, наблюдаемым действиям и реакциям испытуемого. Если, например, с помощью некой методики мы оцениваем черты характера у данного испытуемого, то применяемая методика будет считаться практически или эмпирически валидной тогда, когда мы установим, что данный человек ведет себя в жизни именно так, как предсказывает методика, т.е. в соответствии с имеющейся у него чертой характера.

Внутренняя валидность означает соответствие содержащихся в методике заданий, субтестов, суждений и т.п. общей цели и замыслу методики в целом. Она считается внутренне невалидной или недостаточно внутренне валидной тогда, когда все или часть включенных в нее вопросов, заданий или субтестов измеряют не то, что требуется от данной методики.

Внешняя валидность – это примерно то же самое, что и эмпирическая валидность, с той лишь разницей, что в данном случае речь идет о связи между показателями методики и наиболее важными, ключевыми внешними признаками, относящимися к поведению испытуемого.

Очевидная валидность описывает представление о методе, сложившееся у испытуемого, т.е. это валидность с точки зрения испытуемого. Методика должна восприниматься обследуемым как серьезный инструмент познания его личности, чем-то схожий с медицинским диагностическим инструментарием.

Прогностическая валидность устанавливается с помощью корреляции между показателями методики и некоторым критерием, характеризующим измеряемое свойство, но в более позднее время. Л. Кронбах считает прогностическую валидность наиболее убедительным доказательством того, что методика измеряет именно то, для чего она была предназначена.

Содержательная валидность определяется через подтверждение того, что задания методики отражают все аспекты изучаемой области поведения. Содержательную валидность часто называют “логической валидностью” или “валидностью по определению”. Она означает, что методика валидна по мнению специалистов. Обычно она определяется у тестов достижений. На практике для определения содержательной валидности подбираются эксперты, которые указывают, какая область (области) поведения наиболее важна.

Из описания видов валидности следует, что не существует какого-либо единичного показателя, с помощью которого устанавливается валидность диагностической методики. Тем не менее разработчик должен представить весомые доказательства в пользу валидности предлагаемой методики.

Легко заметить прямую связь валидности с надежностью. Методика с низкой надежностью не может обладать высокой валидностью, поскольку неверен измерительный инструмент и нестабилен тот признак, который он измеряет. Такая методика при сопоставлении с внешним критерием может в одном случае показать высокие совпадения, а в другом – крайне низкие. Понятно, что при таких данных никаких выводов о соответствии методики своему назначению сделать невозможно.

Выведение коэффициента валидности – трудоемкая процедура, не обязательная в тех случаях, когда методика используется исследователем в ограниченных пределах и не предполагается ее применение в широком масштабе. К коэффициенту валидности предъявляют те же требования, что и к коэффициенту надежности: чем более методически совершенен критерий, тем выше должен быть и коэффициент валидности. Низкий коэффициент валидности чаще всего отмечается при акцентировании внимания на второстепенных аспектах.

Надежность метода исследования. Надежность – один из критериев качества результата в диагностике, относящийся к степени точности и устойчивости показателей диагностируемого признака. Чем больше надежность методики, тем свободнее она от погрешностей измерения. В самом широком смысле надежность – это характеристика того, в какой степени выявленные у испытуемых различия по результатам проведения методики являются отражением действительных различий в измеряемых свойствах и в какой мере они могут быть приписаны случайным ошибкам.

В теории диагностики понятие надежности имеет два значения: надежность методики как определенного инструмента (к примеру, пользуясь метром, мы уверены в том, что он остается неизменным, какие бы измерения мы ни производили) и относительная неизменность объекта диагностики (мы должны быть уверены, что в обычных условиях измеренная величина останется неизменной).

Понятие надежности связано с точностью измерений, вернее, с оценкой погрешности и определением на этой основе истинного значения величины.

Существуют три основных приема для оценки надежности диагностической методики.

Прием ретеста, или повторной диагностики, позволяет обработать одни и те же задания, выполненные одними и теми же испытуемыми в разное время, и просчитать взаимосвязь результатов, выраженную в коэффициенте самокорреляции.

Прием деления пополам – подборка однажды выполненных заданий делится пополам (например, в первый полутест входят задания с нечетным порядковым номером, а во второй полутест – с четным), затем устанавливаются результаты каждого испытуемого по обоим полутестам и вычисляется коэффициент корреляции между полученными результатами.

Прием параллельного теста – для измерения одних и тех же знаний конструируются два различных набора заданий, которые по своему содержанию напоминают близнецов; оба параллельных набора заданий предлагаются непосредственно друг за другом или при удобном случае.

Во всех случаях при коэффициенте корреляции методик r > 0,7 методика считается надежной (о коэффициенте корреляции см. в разд. 4.2).

В тестовой методике принято учитывать три коэффициента надежности:

1) коэффициент стабильности, или постоянства, – показатель корреляции между результатами первого и повторного испытаний одним тестом одной и той же выборки испытуемых;

2) коэффициент эквивалентности, или коэффициент корреляции, результатов тестирования одного и того же контингента испытуемых с помощью вариантов одного и того же теста либо разными, но эквивалентными по форме и цели, тестами;

3) коэффициент внутреннего постоянства, или внутренней однородности, который соответствует корреляции результатов частей теста, показанных одними и теми же испытуемыми.

3. Классификации методов педагогического исследования

Существует несколько классификаций методов педагогического исследования. В зависимости от основания классификации методы исследования в педагогике подразделяются на:

· эмпирические и теоретические;

· констатирующие и преобразующие;

· качественные и количественные;

· частные и общие;

· методы сбора эмпирических данных, проверки и опровержения гипотез и теории;

· методы описания, объяснения и прогноза;

· специальные методы, используемые в отдельных педагогических науках;

· методы обработки результатов исследования и др.

К общенаучным методам (используются разными науками) относятся:

· общетеоретические (абстракция и конкретизация, анализ и синтез, сравнение, противопоставление, индукция и дедукция, т. е. логические методы);

· социологические (анкетирование, интервьюирование, экспертные опросы, рейтинг);

· социально-психологические (социометрия, тестирование, тренинг);

· математические (ранжирование, шкалирование, индексирование, корреляция).

К конкретно-научным (конкретно-педагогическим) относятся методы, которые в свою очередь подразделяются на теоретические и эмпирические (практические).

Теоретические методы служат для интерпретации, анализа и обобщения теоретических положений и эмпирических данных. Это теоретический анализ литературы, архивных материалов и документов; анализ основных понятий и терминов исследования; метод аналогий, построение гипотез и мысленного эксперимента, прогнозирование, моделирование и др.

Эмпирические методы предназначены для создания, сбора и организации эмпирического материла - фактов педагогического содержания, продуктов воспитательной деятельности.

К эмпирическим методам относятся, например, наблюдение, беседа, интервьюирование, анкетирование, методы изучения продуктов деятельности учащихся, школьной документации, методы оценивания (рейтинг, педагогический консилиум, самооценка и т. д.), методы измерения и контроля (шкалирование, срезы, тестирование и т. п.), а также педагогический эксперимент и опытная проверка выводов исследования в условиях массовой школы. Как теоретические, так и эмпирические методы обычно используются в комплексе с математическими и статистическими методами, которые применяются для обработки данных, полученных в ходе исследования, а также для установления количественных зависимостей между изучаемыми явлениями.

Математические методы применяются для обработки полученных методами опроса и эксперимента данных, а также для установления количественных зависимостей между изучаемыми явлениями.

Наиболее распространенными математическими методами , применяемыми в педагогике, являются:

· регистрация – выявление наличия определенного качества у каждого члена группы и общий подсчет тех, у кого данное качество имеется или отсутствует (например, число учеников, активно работающих на занятии, и число пассивных);

· ранжирование (ранговая оценка) – расположение собранных данных в определенной последовательности (в порядке убывания или нарастания каких-то показателей) и соответственно определение места в этом ряду каждого исследуемого (например, составление перечня наиболее предпочитаемых одноклассников);

· шкалирование – введение цифровых показателей в оценку отдельных сторон педагогических явлений; для этой цели испытуемым задают вопросы, отвечая на которые они должны выбрать одну из указанных оценок (например, в вопросе о занятии какой-либо деятельностью в свободное время выбрать один из оценочных ответов: увлекаюсь, занимаюсь регулярно, занимаюсь нерегулярно, ничем не занимаюсь).

Статистические методы применяются при обработке массового материала – определения средних величин полученных показателей: среднего арифметического, медианы – показателя середины ряда, подсчет степени рассеивания около этих величин – дисперсии, коэффициента вариации и др.

-- [ Страница 4 ] --

Интерпретация – оценка данных и их анализ. Объяснение – фаза словесного оформления и презентации полученных выводов. Рассуждения Кирка и Миллера опираются на конретные иллюстрации из практики и оставляют впечатление несколько разрозненных размышлений о валидности качественного исследования. Так или иначе, их монография длительное время оставалась единственной по этой проблеме и стала важной вехой на пути ее осмысления.

Современный реалистический подход к валидности качественного исследования предлагает Дж. Максвелл .

Для него валидность рассматривается как неотъемлемое свойство исследования, но не в используемых процедурах его производства и валидизации, а в отношении к тем вещам, которые оно подразумевает. Для Максвелла категория понимания (understanding) более значима для качественного исследования, нежели его валидность. Он ориентируется на принципы критического реализма и считает, что валидность не зависит от некой абсолютной истины или реальности, с которой сравниваются наши суждения, ибо мы включены в мир и не можем выйти за пределы своего опыта, чтобы занять место идеального независимого наблюдателя. Вместе с тем существуют способы для оценки наших суждений не только с точки зрения их особенностей, но и с точки зрения их отношения к предметам реального мира. Методы и данные сами по себе не могут рассматриваться как «валидные» или «невалидные», критерий валидности относится только к нашим суждениям и выводам, как они соотносятся с чем-то, что конструируется как некая «объективная» реальность, конструкциями людей (actors) или другими интерпретациями. Типы валидности – это различные типы понимания данных в качественном исследовании.

Максвелл выделяет следующие типы валидности :

Описательная валидность предполагает оценивание фактической точности исследования, насколько точно изложены факты, все то, что было увидено, услышано – зафиксировано исследователем. Фиксируются те данные, события и ситуации, по которым легко может быть достигнуто интерсубъективное согласие, устойчивые идеи о пространстве, времени, физических объектах, поведении, которые являются сами-собой-разумеющимися, не зависят от теоретических предположений и позиций исследователя (напрашивается связь со стадией «нормальной науки» Т. Куна). Описать весь «поток» данных невозможно, да и не нужно, поэтому он заранее ограничивается целями и задачами исследования.

Интерпретативная валидность предполагает, что наши интерпретации основаны на том языке, на котором говорят сами респонденты, как можно более приближены к их словам и понятиям. Выводы должны подтверждаться реальными словами респондента. Хотя мы не можем непосредственно подступиться к значениям, которые респонденты придают своим суждениям и действиям, мы всегда можем сконструировать (реконструировать) их на основе полученных данных. Что касается бессознательных структур, верований, ценностей, то их реконструкция основывается не просто на парафразировании, переформулировании и вычленении основного смысла суждений респондента, а на объяснительных теоретических принципах и идеях.

Теоретическая валидность уже выходит за пределы конкретных описаний и интерпретаций и непосредственно связана с теоретическими построениями исследователя, которые он осуществляет на протяжении всей своей работы. Теоретическое понимание предполагает не только описание, но и объяснение изучаемого вопроса, выдвижение гипотез об изучаемом явлении. Теоретическая валидность распадается далее на две составляющих:

валидность используемых понятий, которые применяются к данной теме, и валидность постулируемых отношений между этими понятиями. Первый тип отчасти соотносится с теоретической валидностью , второй – с конструктной валидностью .

Кроме того, выделяются еще два дополнительных критерия.

Обобщаемость. Обобщение в качественных исследованиях предполагает создание теории (теоретической гипотезы), которая имеет смысл не только для конкретных личностей и ситуаций, но распространяется и на другие, более широкие контексты. В качественном исследовании специфика обобщения определяется «целевыми» и «теоретическими», а не рандомизированными выборками. Выделяются внутренняя обобщаемость (обобщение на сообщества, группы, институции, которые собственно изучались в данном случае) и внешняя обобщаемость (обобщение на другие сообщества, группы и институции).

Оценочная валидность предполагает рассмотрение оценок изучаемым явлениям или событиям (как то: «студент был неправ, когда бросил ластик в учителя»). Максвелл мало говорит об этом критерии, считая, впрочем, что он не отличается от правил оценки в других исследовательских подходах, не является основополагающим в качественном исследовании, как описательная, интерпретативная и теоретическая валидность. Вместе с тем Максвелл справедливо указывает на критические исследования (см. ниже), где проблема адекватности наших социальных и моральных оценок становится основным трендом анализа и активно вводится в современные качественные исследования.

Как пишет сам Максвелл, основной принцип валидности заключается в «исключении специфических правдоподобных альтернатив и угроз вашим интерпретациям и объяснениям.

Ссылки на авторитеты и обращение к стандартным критериям менее важны, чем проведение четкой аргументации, что описанные подходы адекватно справятся c отдельными угрозами в вопросе, в контексте которого предполагается провести исследование» . Критерий валидности концептуализуется в угрозах валидности, которые выступают как альтернативные объяснения или конкурирующие гипотезы полученным выводам, т.е. мы не верифицируем выводы, а тестируем валидность и существование потенциальных угроз этим выводам.

Нельзя обойти и еще один вариант реалистической критериальной системы, правда, с более очевидным конструкционистским заострением. Речь пойдет о критериях валидности, предложенных С. Квале [Квале, 2009, творческое осмысление его подхода см.: Бусыгина, 2009a]. Квале вводит критерий конструктной валидности, заимствованный им из психодиагностики и психометрики. «Для доказательства конструктной валидности мы должны показать, что текст не только имеет высокие корреляции с другими переменными, с которыми он должен коррелировать исходя из теоретических предположений, но и не имеет значимых корреляций с переменными, от которых он должен отличаться» [Анастази, Урбина, 2006, с. 151].

Однако Квале расширяет понимание конструктной валидности и переформулирует его с конструкционистской точки зрения (причем он характеризует свою позицию как «очень мягкий» вариант постмодернизма, который отвергает понятие объективной универсальной истины, но допускает существование конкретных локальных истин для данной личности или сообщества). Конструктная валидность – это скорее не стандарт, а процесс исследования как выработки обоснованных интерпретаций, обоснования логической связи между данными, которое призвано убедить экспертное сообщество. Конструктная валидность выносится за пределы задач психологического тестирования и становится общим принципом понимания того, что же есть «хорошее» исследование.

Квале принимает принцип фальсификации гипотез К. Поппера и, опираясь на него, определяет процесс валидизации как выбор «между соперничающими интерпретациями, которые могут быть опровергнуты, вопросом проверки и выдвижения аргументов в пользу сравнительной надежности тех или иных соперничающих знаний» [Квале, 2009, с. 238]. Нет ригидного, раз и навсегда установленного стандарта «хорошего исследования», валидность всегда социально конструируется и выносится на суд профессионального сообщества. Квале рассматривает три критерия валидности.

Исследовательская валидность предполагает общее рассмотрение валидности как свойства мастерства и репутации, это своего рода контроль качества анализа, оценивание того, насколько профессионально исследователь пользуется данным методом. Предлагается три стратегии валидизации, которые могут применяться для контроля своих умозаключений и их качества (валидизировать – значит проверять, задавать вопросы и теоретизировать, подробнее см.: [Бусыгина, 2009]).

Коммуникативная валидность означает привлечение участников исследования в аналитический процесс. После проведения интервью или фокус-группы и составления по их итогам стенограмм исследователь встречается с респондентами еще раз, респонденты соглашаются или не соглашаются с его суждениями, интерпретациями и выводами в ходе разворачивающейся дискуссии. К дискуссии приглашаются не только сами респонденты, но и общественность, сообщество ученых. Интерпретации валидизируются и конструируются в аргументированном диалоге.

Прагматическая валидность предполагает оценивание проведенного анализа с точки зрения того, могут ли его результаты быть приведены к конкретным практическим действиям, стимулировать изменения в поведении и жизни респондентов, т.е. качественное исследование рассматривается как форма исследования действием и позволяет прийти не только к теоретическим выводам, но и к их практическим импликациям.

Традиционные критерии валидности сохраняются и в методе обосновывающей теории, хотя его современная последовательница К. Чармаз обосновала его с точки зрения конструкционизма и соответствующим образом обновила стандарты оценивания , о чем мы скажем ниже. В том варианте метода, который представлен в классической книге А. Страусса и Дж. Корбин, переведенной на русский язык, предлагается оценивать, во первых, валидность, достоверность и надежность полученных данных, во-вторых, адекватность и аргументированность процесса исследования, «порождения теории», и, в третьих, степень эмпирической обоснованности выводов [Страусс, Корбин, 2001]. При этом сама сложная и многоступенчатая процедура построения теории (гипотезы) становится своеобразной формой контроля качественного анализа и его пошаговой стандартизации.

В завершение следует упомянуть и подход М. Майлса и А. М. Хабермана , иногда называемый методом матриц . Эти авторы говорят о пяти критериях, которые при ближайшем рассмотрении оказываются скорее эклектичным соединением различных решений проблемы валидности, сложившихся на момент издания их книги, нежели последовательной концепцией. Ко всем критериям приводятся «проверочные»

вопросы для исследователя. Мы пока не будем раскрывать все эти критерии, ибо многие из них заимствованы из конструкционистских систем, о которых речь пойдет ниже. Достаточно сказать, что в этих системах объективность и валидность заменяются новым критериями, и получают весьма своеобразные содержательные акценты. Перечень, предлагаемый Майлсом и Хаберманом, представляет собой опыт объединения различных позиций, опыт несколько эпистемологически непоследовательный, ибо многие приводимые ими критерии создавались исходя из сложно совместимых теоретических традиций и едва ли могут быть однозначно соотнесены друг с другом. Так или иначе, приводим все эти критерии – пока без пояснений:

объективность/подтверждаемость (objectivity/confirmability);

надежность/включенность в контекст/доступность (reliability/dependability/auditability);

внутренняя валидность/правдоподобность/аутентичность (internal validity/credibility/authenticity);

внешняя валидность/переносимость/слаженность (external validity/transferability/fittingness);

утилизация/приложимость/ориентация на действие (utilization/application/action orientation).

Резюмируем. Уже при обсуждении первой критериальной системы, названной нами реалистической, читатель сталкивается с необычайной терминологической путаницей и пересечением различных терминов, и их содержания далеко не всегда совпадают. Все же, мы можем выделить ряд черт, которые объединяют рассмотренные позиции как, условно говоря, реалистические. Те или иные авторы пытаются объединить идеи критического реализма и конструирования реальности, сохраняют классические критерии (и названия) объективности и валидности, но последние стараются адаптировать к нуждам качественного исследования – с опорой на квазиэкспериментальный принцип контроля post factum, сформулированный Д.

Кэмпбеллом. Принцип, позволяющий «реалистам» контролировать субъективные влияния в анализе, – это фальсификация гипотез, стратегия «предположений и опровержений», которая означает рациональное обоснование выбора между соперничающими интерпретациями.

За таким пониманием валидности стоит фаллибилистическая установка, характерная для Д. Кэмпбелла – К. Поппера, и признающая подверженность научного познания различным ошибкам. Хотя фаллибилизм признается в современной литературе началом любых обсуждений качества качественных исследований , все же сегодня мы сталкиваемся с радикальными сдвигами в понимании самой эпистемологии науки, которая далеко уводит нас от позиций критического реализма.

2.2.3. Проект конструкционистской критериальной системы Если сторонники предыдущего подхода сохраняли критерий валидности, общий как для количественных, так и для качественных исследований, то те авторы, о которых пойдет речь в этом параграфе, занимают более радикальные позиции. Они предлагают отказаться от традиционного критерия объективности и валидности и затем ввести совершенно новые, специфичные именно для качественного исследования стандарты. Проблема валидности тут переформулируется как проблема качества исследования, и такой шаг объясняется желанием дистанцироваться от классических научных схем и понятий, «порвать» все связи со старыми научными традициями и принципами, с которыми так или иначе ассоциируется само понятие валидности.

Как можно догадаться из заглавия, философскими предпосылками этого проекта для оценки валидности («качества») качественного исследования выступили основные идеи и положения социального конструкционизма. Критический реализм признает только принцип конструирования нашего знания о мире, в то время как обсуждаемые в настоящем параграфе авторы придерживаются более радикальной и ярко выраженной антифундаменталистской позиции, согласно которой не существует каких-то последних и неразложимых оснований достоверных знаний, неких вечных идей и истин. Как показал А.М. Улановский, такая позиция приводит конструкционизм к своеобразной оценке истины в научном исследовании:

тезисно говоря, (a) знание есть выстраивание, (b) истина множественна, а (c) главный критерий «хорошего знания» заключается в оценке его пригодности, или полезности [Улановский, 2010]. Отсюда следует особый акцент на темах правосудия, власти, социальной справедливости, отказа от насилия и общечеловеческих ценностей гуманизма .

Наиболее влиятельным проектом, впервые применившим эти идеи к практике, стала критериальная система, предложенная И. Линкольн и Э. Губой и иногда называемая «интерпретативной критериологией» . Критерии эти ранее анализировались в русскоязычной литературе [Бусыгина, 2009, Мельникова, 2007], и мы позволим себе только кратко обозначить основные моменты. Вводимые авторами критерии, по их словам, являются «параллельными» классическим. Основным критерием выступает достоверность (trustworthiness), которая включает в себя следующие компоненты:

подтверждаемость (confirmability) – соотносима с объективностью;

включенность в контекст (dependability) – надежность;

правдоподобность (credibility) – внутренняя валидность;

переносимость (transferability) – внешняя валидность.

Кроме того, Линкольн и Губа предлагают дополнительный критерий аутентичности (authenticity) исследования . Аутентичность – это оценка того, насколько используемые стратегии анализа подходят для достоверного изложения идей, высказанных респондентами. Этот критерий является, по сути, реализацией релятивистской установки, согласно которой задача исследовательского отчета заключается в представлении временных конвенций различных мнений, принимаемых как условная истина. Качественное исследование становится формой воздействия и изменения жизни людей через действие, формой политического освобождения тех людей и социальных групп, что подавляются более значительными, доминирующими в обществе идеологическими и экономическими силами . Такое сближение исследовательской практики, политики и этики становится более ясным при рассмотрении составляющих критерия аутентичности. К ним относятся:

честность (fairness) – представленность в исследовании различных реальностей;

онтологическая аутентичность (ontological authenticity) – достижение осознания участниками исследования себя как человека;

образовательная аутентичность (educative authenticity) – достижение осознания участниками исследования того, как они понимают других людей и принимают чужие точки зрения;

каталитическая аутентичность (catalytic authenticity) – оценка того, насколько исследовательские методы стимулируют к принятию решений и новым формам социального действия;

тактическая аутентичность (tactical authenticity) – активная помощь участникам исследования претворить эти новые решения и действия в их жизнь.

Таким образом, конструкционистские критерии, предложенные Губой и Линкольн, в значительной степени изменяют наши представления о критериях валидности исследования, точнее, речь идет даже не о критериях и не о валидности в строгом смысле этих понятий, а о мыслительных и мировоззренческих ориентирах научного познания, которые позволяют нам оценивать включенность нашего анализа в контекст социальных изменений, степень, в какой он помогает ответить участникам исследования на значимые для них философские и, скажем так, экзистенциальные вопросы.

При том, что такая позиция является важным современным трендом, мы хотели бы отметить актуальность поздних размышлений С.Л. Рубинштейна, которой предостерегал против сведения этики к политике, а человека – к только лишь одним общественным отношений. Превращение общественных отношений в сущность человека «разрушает природное в человеке и его природные связи с миром и тем самым то содержание его духовной, душевной жизни, которое выражает его субъективное отношение, отражающее эту его природную связь с миром и людьми. Пафос делания, переделки хорош как альтернатива все приемлющей пассивности», но при этом должно оставаться «чувство первозданности, нерукотворности, изначальности – «не сделанное», «не сфабрикованное», естественно сложившееся» [Рубинштейн, 2012, c.120].

Несмотря на то, что критерии Линкольн и Губы были предложены более двадцати лет назад, они остаются своего рода «золотым стандартом» и приводятся едва ли не во всех руководствах по качественным методам. Между тем, их критерии стали стимулом для новых дискуссий, и многие авторы предложили свои критерии оценки качества исследований. Даже при поверхностном ознакомлении с литературой читатель заметит, что в настоящее время имеется небывалое количество критериальных систем, и «имя им – легион». Поэтому мы не ставим перед собой цель привести здесь все возможные критерии, а постараемся выделить наиболее цитируемые и содержательные из них, и наравне с тем дать им соответствующий критический комментарий.

Вскоре после публикации работы Линкольн и Губы намечается тенденция расширить понимание валидности и включить в него постструктуралистские идеи и концепты. В этом смысле иногда говорят о трансгрессивных формах валидности. Трансгрессия – это отсылка к идеям французского философа Ж. Батая о преодолении запрета, который наложен на объект и придает ему статус отвратительного или желанного, переход за границы и пределы [Батай, 2007]. Если воспользоваться элегантными постмодернистскими метафорами, можно сказать, что трансгрессия «надевает маски» на критерий валидности и делает его «игрой различий»

Так, П. Латер вводит такие новые трансгрессивные типы валидности, как ироническая валидность (обыгрывание идей Ж. Бодрийяра), паралогическая валидность (Ж. Б. Лиотара), ризоматическая валидность (Ж. Деррида), а также чувственная валидность (voluptuos validity) . Как видно уже из названий, традиционный критерий валидности размывается, перестает быть «режимом истины» и становится формой многоликой, никогда не заканчивающийся, бесконечной игры.

Другой вариант решения проблемы связан с переосмыслением критерия валидности в терминах конвенции различных «аудиторий» и «интерпретативных сообществ» . Качество качественного исследования рассматривается, следовательно, как результат конвенции – соглашения между экспертами и согласования их интерпретаций. Для иллюстрации такого подхода можно обратиться к статье В. Стайлса . Ход его рассуждений следующий. Следует различать два типа валидности: (a) валидность как соответствие или согласование новых наблюдений и интерпретаций с моим собственным исследовательским пониманием проблемы;

(b) как изменение моего понимания данных, обусловленное работой с новыми наблюдениями и интерпретациями. Эти типы валидности оцениваются тремя возможными аудиториями: читателями, респондентами и самими исследователями.

Тогда критерий валидности как соответствия – согласования распадается на три составляющих:

связность (coherence) – оценка логичности исследования читателями;

свидетельствующая валидность (testimonial validity) – предполагает оценивание адекватности интерпретаций самими участниками исследования;

консенсус/стабильность/репликация – совместное (consensus/stability/replication) обсуждение своих интерпретаций с коллегами-исследователями.

Критерий валидности как изменения понимания данных рассматривается с точки зрения трех аудиторий следующим образом:

степень раскрытия и само-свидетельства (uncovering and self-evidence) – оценка плодотворности и «слаженности» («fit») данных читателями;

каталитическая валидность (catalytic validity) – оценка степени ориентированности, фокусировки исследования на участниках;

рефлексивная валидность (reflexive validity) – рефлексия того, как теоретические взгляды или способ мышления исследователя меняется по ходу работы с данными.

В современных руководствах по качественных методам подход Стайлса признается одним из самых исчерпывающих и логичных [Мсleod, 2001]. Этот подход со всей ясностью показывает значение интерсубъективности при обсуждении валидности исследования. Надо сказать, что Стайлс вводит еще и критерий проницаемости (permeability), подразумевающий открытость исследователя новым инсайтам. И здесь он опередил время – сегодня открытость инновациям и оригинальным идеям считается неотъемлемой чертой хорошего качественного анализа.

Попытка сформулировать критерии качества с опорой на принцип конвенционализма, предпринятая Стайлсом, получает отклик и в наши дни. Здесь следует остановится на работе Л. Ярдлей , которая снискала успех у многих современных исследователей, а предложенные ею критерии активно используются на практике. Итак, Л. Ярдлей начинает обсуждение валидности качественного исследования с вопроса о множестве пониманий изучаемой реальности, каждое из которых является по-своему истинным;

можно ли говорить об оценке валидности, если различные перспективы, личные взгляды на изучаемый предмет эквивалентны между собой? Такая позиция не является продуктивной, ибо она отрицательно влияет на научный статус качественных исследований (и делает их похожими на интервью или обычные журнальные репортажи) и лишает возможности начинающих исследователей учиться хорошей практике и избегать ошибок.

Альтернатива такова – сформулировать соглашение между самими исследователями, составить экспертный консенсус, основанный на практическом опыте, – что есть «хорошее»

исследование. Правда, признает Л. Ярдлей, в этом случае встает вопрос о совместимости различных форм качественного исследования, их предпосылок и процедурных особенностей (скажем, методы обосновывающей теории и дискурс-анализа реализуют весьма отличные друг от друга теоретические принципы и стратегии анализа данных).

Невзирая на указанные сложности, Л. Ярдлей все-таки предпринимает рискованный опыт формулирования такой общей, над-парадигмальной критериальной системы. Критерии валидности, утверждает она, не являются набором ригидных правил, также как они не могут гарантировать хорошего исследования. Предлагаемые критерии представляют собой скорее творческие ориентиры для исследовательской работы и направлены не на то, как оценить ее качество, а на то, что именно следует оценивать. Выделяется четыре критерия качества:

контекстуальная чувствительность (sensitivity to context) – изучение литературы по теме исследования, социо-культурного окружения, личных перспектив участников, этических сложностей, конкретных эмпирических данных;

ответственность и строгость (commitment and rigour) – тщательный сбор эмпирических данных, сочетание глубины и широты анализа, наличие соответствующих методологических компетенций и умений, глубокое ознакомление с темой и основными вопросами исследования;

связность и прозрачность (coherence and transparency) – ясность и сила приводимых аргументаций, соответствие теоретического подхода и метода работы с данными, прозрачное представление данных и работы с ними, наличие рефлексивной позиции исследователя;

степень воздействия и значимость (impact and importance) – оценка практической, прикладной, теоретической и социо-культурной значимости проведенного исследования.

Почти одновременно с Л. Ярдлей выступили и американские авторы . Логика их рассуждений перекликается с ее представлением о валидности как практическом соглашении между экспертами, что есть «плохое» и «хорошее» качественное исследование. Тем интереснее предлагаемые ими стандарты качества, во многом отличные от сформулированных выше. Если Л. Ярдлей обосновывала свои критерии, исходя из опыта практических исследований в области психологии здоровья и болезни, то эти три автора предприняли весьма амбициозный проект по обобщению опыта современной литературы по проблемам валидности и предложили на этом основании свои собственные интегративные критерии. Так, ими были изучены более сорока стандартов оценки качества, общие списки обсуждались в дискуссионных группах, а затем выносились на суд ведущих качественных исследователей-практиков. Авторы отмечают универсальность их критериальной системы.

Всего предлагается два блока критериев. Первый блок включает в себя критерии, общие как для качественного, так и для количественного исследования;

к ним относятся:

экспликация научного контекста и целей исследования (explicit scientific context and purpose);

выбор соответствующего целям методов (appropriate methods);

уважение к участникам (respect for participants);

специфичность метода, адекватность вопросам исследования (specification of methods);

открытость исследования для дискуссий (appropriate for discussion);

ясность презентации данных (clarity of presentation);

оценка итоговых достижений с точки зрения прироста и увеличения научного знания (contribution to knowledge).

Во второй блок входят критерии валидности, специфичные именно для проведения и публикации качественного исследования:

раскрытие определенной перспективы (owning one’s perspective) – раскрытие авторами своих теоретических, методических и даже эмоционально-личностных позиций, занимаемых в отношении исследуемой темы, описание своего прошлого опыта работы с данным вопросом, личные верования и мнения;

описание выборки (situating the sample) – описание возраста, социального класса, гендерной и этнической принадлежностей респондентов, сколько всего человек было удалено из выборки и по каким причинам;

основанность на примерах (grounding in examples) – анализ и выводы должны иллюстрироваться конкретными примерами, данными, следует приводить как минимум два примера по каждой теме, рассматривать каждый отдельный случай в его целостности;

проверки правдоподобности credibility checks) – использование сразу (providing нескольких способов работы с данными, представление отчета коллегам для возможных дополнений и замечаний, своего рода «супервизия» качественного исследования, возможно – привлечение количественных данных;

связность – структурированность, последовательность и (coherence) аргументированность анализа, анализ должен выстраиваться как некая целостная история, с использованием схем и таблиц;

достижение общих или частных задач (accomplishing general – specific research tasks) – оценка того, отвечает ли исследование поставленной задаче общего или конкретного, специфичного понимания изучаемого феномена;

резонанс с читателями (resonating with readers) – прозрачность, ясность, аккуратность отчета, чтобы читатель мог оценить адекватность представления и понимания темы.

Таким образом, представленные критерии акцентируют прежде всего циклический характер качественного анализа, предполагающий постоянное возращение от теоретических интерпретаций обратно к эмпирическим данным для достижения прозрачности рассуждений.

И. Cтaйнке, с присущей немецкоязычным научным текстам тщательностью, выделяет следующие критерии качества качественного исследования :

Интерсубъектная понятность означает (inter-subject comprehensibility) возможность для любого читателя проследить ход исследования шаг за шагом и оценить его выводы;

эта понятность достигается за счет тщательной документации аналитического процесса и является условием для работы со всей последующими критериями. В качественном исследовании следует документировать пред-понимания исследователя (его первичные гипотезы, ожидания, выбор того или иного метода и т.д.), методы сбора данных и сам контекст сбора данных, т.е. как были реально собраны материалы, правила транскрипции, методы анализа данных, источники информации (вербальные утверждения респондентов, запись значений их утверждений, общий контекст, наблюдения, гипотезы и интерпретации наблюдателя), проблемы и их решения, возникающие в ходе работы, критерии, по которым исследование будет оцениваться как удовлетворяющее поставленным задачам и целям.

Отчет об исследовательском процессе (indication of the research process) раскладывается на этапы: оценка качественной процедуры с точки зрения исследовательских вопросов (стоит ли их изучать именно качественными методами, или для них более адекватны другие способы?), обоснование выбора метода, обоснование правил транскрипции (системы транскрипции данных должны быть просты и удобны в письме, обучении и интерпретации), обоснование выборки (ее целевого характера и степени «информативной насыщенности»).

Cвязность (coherence) предполагает ответы на вопросы о том, является ли формулируемая теория (гипотеза) логически связанной, и нет ли каких-либо противоречий между данными и выдвигаемыми интерпретациями?

Релевантность (relevance) связана с оценкой прагматической полезности исследования: является ли исследовательский вопрос значимым? Предлагает ли исследование новые интерпретации и решения актуальных проблем? Имеется ли возможность обобщения данных?

Рефлексируемая субъективность (reflected subjectivity) предполагает анализ роли исследователя как познающего субъекта (с его интересами, личными предположениями, стилями общения и предыдущим автобиографическим опытом) и как части социального мира, за которым он наблюдает и с которым он взаимодействует. Рассматриваются такие темы, как включение само-наблюдения в исследование, выявление личных пред-пониманий, влияние доверительных отношений с респондентами на дальнейший анализ, рефлексия того, как происходило «вхождение в поле».

К. Чармаз, признанный лидер и идеолог метода обосновывающей теории, который она подвела под конструкционистские основания, выделяет четыре критерия оценки качества исследования : правдоподобность (credibility), оригинальность (originality), резонанс (resonance) и полезность (usefulness).

Правдоподобность:

Достигает ли исследование глубокого ознакомления с окружением и темой?

Достаточно ли данных представлено для обоснования утверждений?

Осуществлены ли систематические сравнения между наблюдениями и категориями?

Имеются ли сильные логические связи между полученными данными и аргументами и анализом?

Обнаруживает ли исследование достаточные основания выдвигаемым утверждениям, может ли читатель, полагаясь на эти основания, составить собственное независимое мнение и согласиться с заявленными утверждениями?

Оригинальность:

Обнаруживает ли анализ новое концептуальное понимание данных?

В чем заключается социальная и теоретическая значимость работы?

Как обоснованная теория бросает вызов, расширяет или улучшает современные идеи, концепции и практики?

Резонанс:

Раскрыты ли «пороговые», нестабильные сами-собой-разумеющиеся значения?

Раскрыты ли связи между большими коллективными общностями и институциями и индивидуальными жизнями, если на то указывают данные?

Имеет ли смысл обосновывающая теория для участников исследования? Предлагает ли им более глубокие инсайты об их жизнях и мире анализ?

Полезность:

Предлагаются ли в ходе анализа интерпретации, которые люди могут использовать в своих повседневных мирах?

Если да, то изучены ли эти общие процессы с точки зрения подразумеваемых импликаций (tacit implications)?

Может ли анализ вызвать, «разжечь» дальнейшие исследования в других областях?

Какой вклад вносит работа в знание? Какой вклад она вносит в улучшение мира?

Критерии К. Чармаз интересны введением измерения оригинальности, креативности, инновационности аналитических категорий. Обращает на себя внимание и прагматическая оценка полезности, включенности полученных данных в жизнедеятельность людей.

Для полноты картины приведем еще два современных варианта обсуждения валидности качественного исследования .

Шанк и Виллелла проанализировали 24 статьи по качественным исследованиям за период от 1992 до 2001 г. Для анализа статей ими были сформулированы следующие четыре критерия: исследовательская глубина (investigative depth), адекватность интерпретаций (interpretive adequacy), богатство разъяснений (illuminative fertility) и отчетность об участии (participatory accountability). К ним добавляются еще необходимые посылки: слаженность (consistency), строгость (rigor), полнота кодирования (coding completeness) и тематическое сокращение (thematic reduction). Как видно, обозначенные критерии являются компактным вариантом более громоздких систем, описанных выше.

Морроу считает именно достоверность (trustworthiness) основой для понимания качества исследования и предлагает четыре «трансцендентальных» критерия, названных так по той причине, что они «трансцендируют» над частными подходами и являются общими для всех качественных исследований (справедливости ради стоит отметить, что почти все авторы считают свои критерии универсальными).

Первый критерий достоверности предполагает изучение социальной валидности, или социальной ценности проекта. Второй критерий акцентирует способ представления субъективности или рефлексивной позиции исследователя, чтобы читатель мог определить степень влияния личных мнений исследователя на итоговые результаты. Третий критерий – адекватность данных, наличие «ярких» случаев, аккуратных полевых записей, использование более чем одного источника информации и т.д. Четвертый критерий – адекватность интерпретации, означающий, насколько исследователь глубоко «погружен» в данные, применяет ли он специфические аналитические точки отсчета и записи, балансирует между интерпретациями и прямыми словами участников исследования. Кроме того, Морроу считает возможным дополнять эти критерии в зависимости от теоретической позиции исследователя (конструкционистской, критической).

Таким образом, конструкционистские критериальные системы заменяют критерии валидности и надежности на качество, достоверность и аутентичность, акцентируют такие аспекты, как прозрачность, логичность представления данных и интерпретаций, экспликация пред-пониманий автора, оригинальность и социальная полезность анализа. Кроме введения совершенно новой терминологии, отличие от реалистических систем заключается в том, что последние, исходя из иной эпистемологии, опираются на принцип фальсификации гипотез и конкурирующих объяснений, в то время как конструкционистские критерии направлены на глубокое и максимально полное раскрытие различных субъективных позиций, «личностных перспектив», без оценки их «истинности» или «ложности». Говорить о качестве анализа можно в той степени, в какой читателю на протяжении всего исследовательского процесса представлены элементы «хорошей практики».

Кроме того, эти критерии не есть стандарты оценки анализа post factum, а являются мыслительными ориентирами, которые включаются в анализ per se, т.е. по сути. Критерии становятся идеальными средствами, призванными задать направление аналитической работы и ее рефлексии, причем они сами выступают предметом творческого осмысления и открыты для методологических инноваций. Но как бы нам не называть их, проблема включения субъективного измерения в качественное исследование и опосредование им анализа остается актуальной и для антифундаменталистской позиции, которая лежит в основе почти всех современных критериальных систем. В конструкционизме средством такого опосредования выступила экспликация и полная документация исследователем логики своих рассуждений и умозаключений, вкупе с обширным цитированием прямых слов респондентов для отделения их позиций от смысловых интонаций автора отчета.

2.2.4. Проект критической критериальной системы Итак, конструкционизм ввел измерение истины как политической полезности. Надо сказать, способность человека критически оценивать и изменять общество для достижения своей свободы, свободы своего мышления, т.е. принять на себя позицию агента социальных изменений, становится главным фокусом внимания в так называемой критической теории и критической социальной психологии. В рамках этих же направлений критерии валидности исследований были переформулированы и заострены на критический анализ тем гендера, культуры и социального класса, а проблема субъективности анализа стала раскрываться с точки зрения опосредования его отношениями власти и идеологии, осуществляемыми в данном обществе.

Критическая теория создавалась на пересечении теорий феминизма, психоанализа, марксизма и позднего М. Фуко. В целом, в ее историческом развитии можно выделять три этапа : (1) оформление основных идей критической теории во Франкфуртской школе, куда входили М. Хоркхаймер, Т. Адорно, Г. Маркузе, Э. Фромм;

(2) исследования Ю.

Хабермаса, которые развернули критические идеи Франкфуртской школы с точки зрения коммуникативной рациональности и коммуникативных действий, направленных на формирование согласия в обществе путем диалогического обсуждения социальных проблем;

(3) дальнейшее осмысление критики Хабермаса инструментального разума (instrumental reason) и акцентирование тем историчности, идеологии и этики в научном познании.

Наиболее яркой формой реализации критической теории в современных качественных исследованиях является метод критического дискурс-анализа. В отечественной психологии этот метод, насколько мы можем судить, еще не получил должного развития, публикаций о нем мало, так что следует кратко обозначить его основные принципы. Всего можно выделить четыре принципа критического дискурс-анализа : (a) социальные и политические проблемы конструируются и отражаются в дискурсе;

(b) отношения власти устанавливаются и представляются через дискурс;

(с) дискурс одновременно отражает и воспроизводит социальные отношения и, наконец, (d) идеологии производятся и отражаются в пользовании дискурсом. Предметом критического дискурс анализа является идеология как форма власти групп и институций, которая формируется на микро- и макроуровнях социальных коммуникаций . Познавательная функция идеологии заключается в организации и упорядочивании социальных представлений группы . Следует сказать, что такой подход предполагает более расширенное понимание власти, нежели сложилось в отечественной социальной психологии, ибо он выносит принцип доминирования одних социальных групп над другими во главу психологического анализа.

В рамках критического направления в качественных исследованиях можно выделить, по крайней мере, три подхода к пониманию валидности.

Во-первых, в рамках так называемого радикального подхода в критической теории, ярким представителем которого является Я. Паркер, проблема валидности кардинальным образом переосмысляется и фактически смыкается с проблемой критической рефлексии своих умозаключений . Радикальный подход, по словам Паркера, претендует на низложение и изменение того, как мы получаем наши психологические знания, позволяет «подняться» над психологией и с некоторой дистанции поразмышлять о положении ее дел – через осмысление политического контекста исследований, формируемых в них особых социальных отношений, а также альтернативных, даже скажем, «маргинальных» для мейнстримной психологии теорий и парадигм (наподобие психоанализа Ж. Лакана).

Что же происходит с критериями объективности и валидности при таком подходе?

Объективность и валидность – это научные конструкции. Конструкт объективности представляется неудовлетворительным из-за того, что в качественном исследовании мы всегда привносим в анализ свои субъективные позиции, не боремся с субъективным, а, наоборот, работаем «заодно» с ним. Конструкт валидности также ставится под сомнение вследствие претензии на то, что различные репрезентации изучаемого феномена обязательно дадут один и тот же результат, одинаковое видение (что противоречит конструкционистским принципам о множественности истины и альтернативных, взаимодополнительных путях описания нашего субъективного опыта).

Взамен понятий объективности и валидности Паркер вводит «наводящие вопросы», которые призваны помочь провести нам грамотное исследование. Эти вопросы отражают рефлексивное отношение исследователя к своим умозаключениям. Повышенное внимание к рефлексивности характерно для конструкционизма в целом, однако не будет преувеличением сказать, что критическая теория объявляет рефлексивность основным инструментом и даже гарантом качества всего анализа. Под рефлексией подразумевается «способ отслеживания институционального положения исторических и личностных сторон исследовательских отношений» . Паркер не просто переформулирует старые критерии, а перечеркивает их в тексте («объективность?»). Так, критерий объективности заменяется вопросом «описаны ли теоретические источники, благодаря которым субъективность превращается в полезный инструмент, и как эти источники влияют на исследование»?

критерий валидности – «ясны ли способы, благодаря которым предлагаемый отчет дифференцируется и парадигмально отличается от других вещей, которые могли бы быть категоризованы наряду с ним»?

критерий надежности – «раскрыт ли процесс изменения понимания темы со стороны автора и людей, и рассмотрено ли, как эти взгляды продолжают меняться»?

В том же духе переформулируются критерии нейтральности, подтверждаемости (confirmed), определенности (definitive), установленности (established), связности (coherent), открытости для оценки (accessible) и психологичности. Крайне любопытным выглядит понимание последнего критерия «психологичности» исследования – «раскрыта ли используемая теоретическая или методологическая система взглядов в рамках психологии, как эта тема обычно понимается в психологии, какие последствия может иметь проведенное исследование для психологии?».

Во-вторых, если Паркер вводит свои «руководящие принципы», исходя из практики качественных исследований, то в критической психологии и психотерапии формулируется весьма оригинальный критерий психополитической валидности . Отправной точкой для его обоснования становятся категории власти и благополучия (well-being). Как показано в современных исследованиях, власть предоставляет уникальные возможности для самоосуществления и тесно переплетена с психологической категорией счастья, понимаемой как переживание полноты бытия [Конфисагор, 2002].

«Власть, – утверждают авторы нового критерия валидности , – является основным конструктом благополучия. В литературе власть обсуждается через многообразие полномочий, включающее чувство контроля, локус контроля, доверенностей, само-детерминации, само-эффективности, чувства достоинства, авторитарную личность и другие... В большинстве же случаев... власть трактуется как индивидуальное свойство, феноменологическое восприятие и она может быть интерпретирована без оглядки на сопутствующие ей обстоятельства.... При обнаружении коллективной динамики власти, ее объективных источников, ее контекстуальных изменений мы получаем возможность понять механизмы подавления, освобождения и благополучия».

Таким образом, критерий психополитической валидности находится на пересечении категорий подавления, освобождения и благополучия. Выходит, что в исследование вносится своеобразная «вертикаль власти», т.е. оценка того, как отношения власти реализуются на индивидуальном, межличностном и групповом уровнях качественного анализа. В конечном счете психополитическая валидность определяется как степень оценки внимания к теме власти в понимании и изменении политического и психологического влияния на благополучие личности. Психополитическая валидность раскладывается на два критерия. Если перевести их на более традиционный для психологии язык, можно сказать, что первый оценивает диагностические исследования («эпистемологическая валидность»), а второй – исследования воздействия («трансформативная валидность»).

На наш взгляд, изложенная выше позиция интересна прежде всего тем, что ее авторы пытаются более или менее четко концептуализировать понятие власти, значимое для всех критических исследований, и ввести его в стандарты оценки качественного исследования.

Критерий психополитической валидности, как нам кажется, является на сегодняшний день наиболее последовательным и логичным в критической психологии.

В-третьих, раз мы сказали о критическом дискурс-анализе как наиболее характерной методической реализации критической теории в психологии, то уместно обозначить и его критерии к оценке качества своих исследований. Критические дискурс-аналитики, впрочем, вообще избегают говорить о критериях валидности, как избегают они и самого понятия, и сосредотачивают внимание на конкретных стратегиях устранения предвзятости и опасности превращения анализа в обычное «политизирование». Фактически подчеркивается сугубо практический аспект – как можно провести «хороший» анализ. Здесь дискурс-аналитики обращаются преимущественно к стратегии теоретической триангуляции, т.е. совмещения в рамках одного исследования нескольких теоретический позиций.

Теоретизирование означает здесь рассмотрение изучаемого вопроса в различных плоскостях, или контекстах, и включает в себя всего четыре уровня :

(a) прямой язык или ситуативный, внутренний текст ко-текста (text-internal co-text), (b) интертекстуальные и интердискурсивные отношения между высказываниями, текстами, жанрами и дискурсами, (c) экстралингвистический уровень, «контекст ситуации», объясняемый теориями среднего уровня и (d) широкие социополитические и исторические контексты. Тем не менее, даже невзирая на возможности триангуляции, как отмечают авторы, «строгая «объективность» не может быть достигнута средствами дискурс-анализа, для каждого такого анализа технология исследования должна быть сама изучена на предмет возможного включения верований и идеологий аналитика и, следовательно, вывести анализ за пределы предвзятых мнений» .

Таким образом, рассмотренные в этом параграфе критерии, отражающие социально критические тенденции в современных качественных исследованиях, довольно решительно отказываются от классических категорий объективности, валидности и надежности, и отказ этот обосновывается эпистемологическим своеобразием критической теории в психологии.

При том, что основными линиями переформулировки стандарта качества являются активное включение в него субъективно-рефлексивных позиций и измерений социальной власти, его сторонники испытывают общие для всех качественных исследований трудности, которые связаны с разведением ценностей, верований и мнений аналитика и реконструируемого им идеологического дискурса.

В целом, достоинство критического проекта заключается в его стремлении охватить социально-историческое обрамление субъективного опыта и включить его в принципы качества проводимого исследования. Но вместе с тем существует опасность потери психологического понимания валидности и подмены его чисто внешним критерием социальной и идеологической критичности. Дальнейшие попытки найти некие «внешние»

критерии валидности приводят к их отождествлению с мерой того, насколько получаемые данные выразительны, «говорят сами за себя», т.е. с их эстетикой, но об этом – ниже.

2.2.5. Проект эстетизации критериальной системы Ранее, в соответствующей главе, мы уже говорили об изменениях научной картины мира и возникновении нового, неклассического типа мышления в психологии. Как известно, эти изменения связаны с проникновением философских идей постмодернизма в современные исследовательские подходы и методы;

реализацией постмодернистского проекта в психологии стал социальный конструкционизм, который, в свою очередь, выступил в роли теоретической базы современной качественной методологии. Одна из ключевых идей, привнесенных этим движением мысли в качественные исследования, заключается в сближении и объединении научного и художественного знания.

Как красноречиво пишет Н.Б. Маньковская, «в контексте культуры постмодернизма искусство и наука подобны голове и хвосту змеи, с разных сторон взыскующих смысла жизни и природы, соединяющих воображаемый и реальный миры. Не заменяя друг друга, художник и ученый воспроизводят мир в его целостности» [Маньковская, 2009, с.200]. При анализе феномена эстетизации науки она обращается к философским концепциям М. Серра (о беспорядочном энциклопедизме как форме коммуникации между философией, научными дисциплинами и мифологией) и Ж.-Б. Лиотара (для которого воображение и театрализация становятся средствами от распада социальных связей в обществе и меркантилизации знания, превращения его в некий товар, продукт). Критерием оценки научного знания становится его эстетическая выразительность, т.е., в сущности, форма художественного выражения неких смысловых содержаний, красота – «обратное отражение и просвечивание в непосредственно данном, чувственном всего того важнейшего, что человек может выявить в мире и другом человеке» [Рубинштейн, 2012, с.124].

В настоящее время можно говорить и об яркой тенденции к эстетизации качественной практики, которая оформилась в самостоятельное направление «исследований, основанных на искусствах» (arts-based research). Включение искусства и эстетического измерения в качественные исследования фактически означает смещение фокуса от поиска субъективных значений, переживаний, смысловых образований к актам и формам их создания, акцент на чувственном познании окружающего мира. Такими формами создания и передачи своего субъективного опыта становятся нарратив, поэзия, коллажи, фотография и даже танец . Одной из наиболее радикальных и интересных стратегий качественного исследования Герген называет театрализованное представление, т.е. опыт инсценировки и разыгрывания значимых тем и социальных отношений . Такие представления помогают нам облегчить понимание и рефлексию каких-либо социальных конструкций через конкретные действия: «для того, чтобы понять нечто, нужно это сделать».

Осознавая неоднозначность и даже известного рода экстравагантность такого подхода к организации качественного исследования, мы хотели обратить внимание читателя на тот факт, что обращение к эстетике не является для психологии чем-то новым и необычным: тут достаточно указать на классические исследования У. Джеймса, З. Фрейда, Л.С. Выготского, материалом для которых так или иначе становилось художественное творчество. Очевидно, правомернее было бы говорить о возвращении и переосмыслении места эстетического опыта в структуре психологического знания вкупе с разработкой более или менее четких, если это возможно при изучении художественного символизма, его аналитических схем и концепций.

Ясно, что эстетизация качественного исследования требует кардинального пересмотра критерия для оценки его качества. Для решения этой задачи многие авторы обращаются к философским идеям М.М. Бахтина о полифонии художественного текста и человеческого сознания. Полифония представляет собой «проведение темы по многим и разным голосам», неотменное раскрытие ее многоголосья и разноголосости и обнаруживает себя «в борьбе мнений и идеологий (разных эпох)» [Бахтин, 1979, с. 185, с. 356]. Таким образом, полифония должна раскрывать читателю различные голоса, различные «смысловые позиции» – точки зрения, оценки, мнения и идеологии, которые присутствуют в тексте [Плеханова, 2011].

В качественной методологии категория голоса занимает сегодня довольно значимое место [см.: Fabian, 2008, Guba, Lincoln, 2005, Hesse-Biber, Leavy, 2011, McLeod, 2001]. Дать «право голоса» авторам и участникам исследования означает дать возможность читателям услышать их живые, конкретные слова и высказывания, уловить их речь в естественном контексте и смысловой целостности. Категория голоса имеет три измерения: самого автора исследования, представление автором голоса какого-либо участника и личный голос Я (self), т.е. самого субъекта изучения . Мы должны постоянно обращаться к словам и суждениям респондентов, позволить им говорить «за самих себя», а не замещать их смысловые позиции своими теоретическими объяснениями и интерпретациями. Сложность на этом пути передачи субъективного опыта, что называется, «из первых рук» заключается в невозможности однозначного разведения голосов респондента и автора научного отчета, которые неминуемо «пересекаются» и «сливаются» в своем диалоге. Эстетические формы выражения индивидуального опыта – в поэзии, фотографиях, театральных постановках – самодостаточны и выразительны, влияние исследователя здесь становится минимальным.

Тем не менее, оценка качества исследования с точки зрения красоты и элегантности данных, понимаемых как их полифоничность, несет за собой ряд сложностей, обсуждаемых в книге К. Сеале . Суть его рассуждений такова.

К. Сеале утверждает, ссылаясь при этом на воззрения Ж.-Б. Лиотара и М. Фуко, что постмодернизм рассматривает мир как «болтовню» или «шум» конфликтующих друг с другом голосов, ни один из которых не обладает статусом абсолютной истины. Далее встает вопрос о «смерти автора» и нивелировании авторского присутствия в тексте: в свое время публикация дневников Б. Малиновского стала скандальным событием в научном мире, ибо они обнаружили его разительное несоответствие собственным методическим рекомендациям и правилам, а попытки повторить ранние исследования М. Мид обернулись неудачей и тем самым заставили усомниться в возможности получения одних и тех же данных различными исследователями, что фактически стало аргументом против «реалистической» этнографии и признанием множественности субъективных реальностей и авторских позиций.

Впоследствии антропологи и этнографы переместили акцент на изучение риторики и стилистики языка, убеждающей читателя, заставляющего его поверить приводимым фактам, и старались свести на нет авторское влияние в научном тексте, представить данные в том виде, как они были получены, и вообще отказаться от какого-либо авторского комментария.

Отсюда и открывается путь к эстетизации качественных исследований, которые теперь приобретают самодостаточные, замкнутые художественные формы: из научного жанра non fiction они превращаются в некий литературный fiction. Возникает опасность превращения качественной практики в «журнализм», потери критического взгляда на научные проблемы;

исследование оборачивается погоней за скандалами, развлекательностью, агитацией.

Вывод, который формулирует в конце концов К. Сеале, заключается в следующем.

Стремление убрать, деконструировать автора для лучшего раскрытия различных «голосов» в тексте может оказаться полезным, но не должно стать отказом от позиции и мнения автора, который несет ответственность за исследование и свои аналитические выводы. Что касается эстетического измерения качества исследования, то Сеале сомневается в возможности его применения к правдоподобности (credibility) данных, но вместе с тем считает, что эстетическая привлекательность научного текста является крайне важной составляющей его качества;

в качестве удачного примера приводится использование сатиры и юмора в трудах И. Гоффмана.

За внимание к эстетической стороне научного текста высказываются и такие авторы, как М. Салнер и С. Квале : они опираются на разделение Кантом трех сфер опыта, независимых друг от друга (теоретического, практического, эстетического);

философская позиция Канта, для которого «всеобщность удовольствия в суждениях вкуса представляется только как субъективная», становится основанием для вопроса о роли таких субъективных эстетических «суждений» в научном мышлении.

К сожалению, в современной литературе мы находим мало содержательных решений проблемы эстетического критерия. Приведем вариант критериальной системы для оценки качественных исследований, «основанных на искусствах» . Всего предлагается три критерия.

Во-первых, «хорошее» исследование преобразовывает реальный мир в мир вымысла, мир художественный не буквально, а правдоподобно, вероятностно, «возможно, так было на самом деле» – так, чтобы войти в некий резонанс с читателем. Во-вторых, исследование должно заинтересовать, вовлечь читателя в свое внутреннее пространство, что достигается за счет обращения к различным художественным средствам. В-третьих, хорошее исследование должно позволить нам выйти за пределы конкретных, художественно описываемых событий и побудить читателя к рефлексии окружающего мира как реального только конвенционально и посмотреть на него с различных точек зрения. Не требуется никакого пояснения, что такие критерии отличаются излишне общими формулировками и содержательно не раскрывают задействованные в них эстетические понятия.

На наш взгляд, категория голоса в качественных исследованиях остается пока скорее элегантной метафорой, нежели реальным методологическим принципом анализа. При всей привлекательности эстетической перспективы обсуждения валидности нам приходится, увы, констатировать ряд сложностей методологического толка, и дело заключается не сколько в трудно формализуемом характере оценки «художественной выразительности» качественных исследований, столько в логической противоречивости такого подхода с точки зрения их же философских оснований. Коль скоро качественные методы реализуют конструкционистский тип мышления, то тогда весьма острым становится вопрос об универсальности эстетического опыта и его культурно-исторических форм.

Мало того, что эстетическая символизация опыта приобретает в истории искусства различные, отличные друг от друга типологические формы и характеристики [см.: Бычков, Маньковская, Иванов, 2012], так она может к тому же и серьезно исказить наше восприятие чужих культур. Такие эстетические средства, как фотография, фильм или видео не являются просто пассивными «записывающими» медиа-средствами;

они оформляют наше восприятие социальных событий и различных культур, отсюда «нам действительно следует быть очень осторожными в наложении как эстетического критерия, так и эстетической способности на наши представления об окружении, культуре и действующих лицах (actors), пренебрегая при этом локальными, местными формами представлений, посредством которых культура, ее структура и действия поддерживаются в повседневной жизни» . Эстетический критерий валидности парадоксальным образом сам превращается в предмет научного изучения как культурный феномен и тем самым ставит себя под сомнение.

2.2.6. Проект отказа от критериальной системы Дальнейшее размывание критерия валидности качественного исследования, которое мы наблюдали при попытках рассмотреть его либо с точки зрения социально-политических отношений в обществе, либо с точки зрения эстетической выразительности получаемых в ходе анализа данных, закономерно приводит к идее отказа от формулирования конкретных и четких правил оценивания его качества. Такая позиция является, в сущности, реализацией крайнего релятивизма, характерного для радикальных форм социального конструкционизма, отчасти методологического анархизма (П. Фейерабенд) и сводится, как минимум, к трем линиям аргументации.

Во-первых, постмодернистская точка зрения уже заведомо предполагает, что критерии невозможно привести к фиксированной системе .

Во-вторых, как считает Шоттер, разделяемое исследователями предположение о том, что мир социально конструирован, не совместимо со стандартами для оценки каких-либо эпистемологических утверждений и заявлений, ибо такой взгляд приводит к отказу от самих оснований социального конструкционизма – ибо стандарты «переформируют»

действительность и сведут к ее некой однозначной «монополизированной» конструкции.

В-третьих, как отмечает Н. Дензин, современная постмодернистская этнография характеризуется в том числе и тем, что исследователи пишут свои тексты от первого лица единственного числа, и таким образом преодолевает различие между наблюдателем и наблюдаемой реальностью, а значит нет более нужды озадачиваться вопросами валидности и надежности исследования .

Мы считаем такой радикальный отказ от поиска критерия вообще непродуктивным, ибо качественные исследования не могут существовать без критериев оценки .

качественных исследований в рамках научного и профессионального сообщества, проблемы довольно-таки острой и сегодня, а главное – не дает профессионалам-практикам и читателям разобраться, какие же наблюдения и результаты следует считать ценными и грамотными.

Философские идеи конструкционизма, пишет Стайнке, являются эпистемологической и методологической базой для формулирования и развития критериев качества качественных исследований, и хотя последние часто называют «искусством» или «стилем мышления», а не конкретной научной практикой, эта их творческая специфика должны быть осмыслена и «встроена» в современные научные подходы.

На этом мы завершаем наш обзор критериальных систем и попытаемся обозначить сейчас ключевые выводы проведенного анализа.

2.2.7. Выводы по критериальным системам и обоснование перехода к стратегиям валидизации качественного исследования Проведенный теоретико-методологический анализ показывает, что для всех критериальных систем остается первоочередным вопрос о проблеме включенности субъективных пред-мнений, суждений и ценностей исследователя в процесс качественного исследования. Общее решение этой проблемы, характерное для всех рассмотренных позиций, заключается в том, что мы совсем не устраняем субъективность из исследования, а включаем и пытается проконтролировать ее. Тогда проблема валидности качественного исследования должна быть определенным образом переформулирована, так, чтобы на первый план вышла личность его автора, который, как мы стремились показать на протяжении всей работы, выступает в роли основного инструмента качественного анализа.

В свете культурно-исторической теории Л.С. Выготского проблема субъективности качественного анализа может быть переформулирована как проблема знакового, а, следовательно, и языкового опосредования нашего анализа субъективными смысловыми содержаниями и представлениями исследователя. Те или иные критерии, в зависимости от их эпистемологических предпосылок, суть мысленные инструменты опосредования и экспликации субъективности анализа: реалистические – через принцип фальсификации конкурирующих интерпретаций, конструкционистские – полный и документальный отчет об исследовании с обширными ссылками и цитатами из речей респондента, критические – отношения власти и идеологии, реализуемые в обществе, эстетические – представленность в отчете многоголосья, полифонии различных смысловых позиций. Во всех этих проектах и критериях всегда встает вопрос об обнаружении, раскрытии и обосновании авторской рефлексивной позиции, хотя формы ее экспликации могут быть различны. Таким образом, намечается методологический путь «узаконивания» места субъективности в качественном исследовании через культурно-исторические принципы знакового-языкового опосредования научного познания.

Если рассмотренные критерии имеют статус мыслительных средств, ориентирующих и направляющих грамотный анализ, то для последовательного формирования и раскрытия критической рефлексивной позиции в современной практике качественных исследований имеется целый ряд особых стратегий и технологий, которые иногда традиционно называют стратегиями валидизации. В широком смысле – да, валидизации, но эти стратегии призваны не формально обеспечить или прямо оценить валидность наших умозаключений, а заставить более критично подойти к ним и стимулировать появление новых гипотез, ибо, как известно, гипотезы в качественном исследовании формулируются индуктивным путем и могут гибко изменяться в зависимости от специфики данных.

2.2.7. Критерии валидности качественного исследования, сформулированные по итогам проведенного теоретико-методологического анализа Критерии валидности планирования исследования и сбора данных:

предварительная экспликация теоретических позиций, опыта работы в данной исследовательской сфере и личностных представлений об изучаемой теме;

обоснованность выбора качественного подхода к изучению данной проблемы;

обоснованность формирования выборки, методов сбора и обработки данных;

систематическое описание контекста и условий исследования («поля»);

систематическое описание диалогических отношений с респондентами.

Критерии валидности анализа данных:

аргументированность, логичность и связность анализа;

обоснование четких взаимосвязей между аналитическими умозаключениями и конкретными данными;

разделение фактических описаний, смысловых обобщений и теоретических интерпретаций данных;

реконструкция всех смысловых позиций, представленных в «сырых» данных, и адекватное их представление для читателя;

стилистическая, риторическая, дискурсивная грамотность анализа.

Критерии валидности интерпретации данных:

опосредованность теоретических интерпретаций аналитическими категориями, сконструированных исходя из «сырых» данных;

социальная полезность и критический потенциал анализа;

оригинальность и инновативность предлагаемых интерпретаций;

возможность вывести практические импликации из исследования.

Критерии валидности презентации данных:

прозрачность и выразительность представления данных;

открытость данных для обсуждения профессиональным сообществом;

открытость данных для обсуждения читателями;

раскрытие изменений понимания и рефлексивной работы исследователя;

оценка возможности обобщений и решения социальных проблем.

Критерий этической валидности:

проведение через исследование идей «открытого общества» и гуманизма.

2.3. Триангуляция как основная стратегия валидизации качественного исследования 2.3.1. Стратегии валидизации качественного исследования На современном этапе развития качественных исследований дискуссии о критериях валидности отошли на второй план. У. Флик особо отмечает, что «проверочные перечни»

(checklists) качества отвергаются сегодня многими исследователями из-за сложности формулирования общей, универсальной критериальной системы . Кроме того, такие универсальные критерии валидности не всегда отвечают специфике практических сфер качественных исследований (в частности, считает Флик, здоровья и болезни, менеджмента и др.). Уместнее обратиться к конкретным стратегиям стимулирования качества (quality promotion). Иными словами, – перенести акцент с оценки итогового результата исследования на стратегии «внутренней» верификации и устранения угроз для валидности непосредственно в процессе исследовательской работы .

Вновь нас подстерегают терминологические затруднения. В современной литературе понятие валидизации употребляется осторожно и неохотно из-за стремления качественной методологии дистанцироваться от классических и якобы «позитивистских» представлений об объективности и валидности, о чем мы говорили не один раз. Так, при обсуждении одной из наиболее популярных стратегий повышения качества исследования – триангуляции (или практики совмещения различных теорий, методов и данных) – ее сторонники предпочитают говорить о ней как об альтернативе валидизации . Для них повышение качества означает стремление добиться более глубокого понимания изучаемого феномена, придать его исследованию свойства строгости (rigour), широкого охвата (breadth), комплексности (complexity) и богатства .

Мы вовсе не считаем нужным отказываться от понятия валидизации. Коль скоро мы в начале нашего теоретического анализа заявили, что валидность есть процесс признания и получения доверия со стороны потенциального читателя, который и оценивает проведенный анализ (его прозрачность и логичность, а также представленность в нем «многоголосья»

различных рефлексивных позиций), то валидизация – реализуемая в ряде практических стратегий – становится формой представления умозаключений как их последовательной аргументации, «доказательства» и устранения конкурирующих утверждений . Так мы прошли весьма длительный путь – от эпистемологического анализа валидности и критериальных систем, предложенных исходя из различных теоретических концепций – до самого нижнего уровня конкретной методологии. На этом последнем уровне рассматриваются специальные техники валидизации качественного исследования.

Следует заметить, что такое разделение в высшей степени условно, ибо в реальной исследовательской практике критерии валидности невозможно рассматривать без стратегий, призванных устранить побочные влияния и различные для валидности угрозы. Этот момент отражен в классических работах Д. Кэмпбелла, который раскрывает критерии внутренней и внешней валидности в контексте обсуждения угрожающих им влияний [Кэмпбелл, 1980].

Критерий правдоподобности (credibility), который в качественном исследовании отчасти соотносится с критерием внутренней валидности, раскрывается И. Линкольн и Э. Губой не иначе, как через конкретные стратегии повышения этой самой правдоподобности анализа и предлагаемых интерпретаций: длительное вхождение (prolonged engagement), триангуляцию, партнерский дебрифинг (peer debriefing), анализ негативных случаев (negative case analysis), ссылочная адекватность (referential adequacy) и проверка участниками (member cheking) . Таким образом, обсуждение критериальных систем валидности и стратегий валидизации составляет неразрывное методологическое единство.

Всего можно выделить 12 стратегий валидизации качественного исследования – и каждая из них заслуживает самостоятельного изучения и отдельной работы. Мы ограничены в объеме и поэтому кратко охарактеризуем все эти стратегии, а затем подробнее рассмотрим триангуляцию, которая, метафорически говоря, занимает место «королевы» в качественных исследованиях и поныне остается темой многочисленных дискуссий. Триангуляция стала, по сути, одной из первых последовательно осмысленных и концептуализированных стратегий валидизации в качественной методологии и сегодня вся проблематика качества – валидности рассматривается преимущественно вокруг нее (особенно в немецкоязычных странах).

Оставляя пока триангуляцию в стороне, перечислим основные стратегии валидизации качественного исследования :

(a) длительное погружение (prolonged engagement);

(b) стабильное наблюдение (persistent observation);

(c) партнерский дебрифинг (peer debriefing);

(d) анализ негативных случаев (negative case analysis) (e) ссылочная адекватность (referential adequacy);

(f) проверка участниками (member checking);

(g) насыщенные описания (thick descriptions);

(h) аудит исследования (audit trail);

(i) ведение рефлексивного журнала (reflexive journal writing).

(j) теоретическая выборка (theoretical sampling).

(k) структурные отношения (structural relationships) При представлении стратегий валидизации перед нами стоит ответственная задача перевода и передачи смысловых интонаций оригинальных английских названий, ибо для большинства из них трудно подобрать русскоязычный аналог. В тех случаях, где это необходимо, мы даем не только буквальный перевод, но и краткое поясняющее – может быть, несколько отличное от оригинального английского варианта – определение конкретной стратегии валидизации.

– «Длительное погружение» (prolonged engagement) Эта стратегия заимствована из социальной антропологии и этнографии и предполагает пребывание в исследуемой культуре или окружении на протяжении длительного времени, что делает возможным более глубокое «погружение» и ознакомление с традициями, нравами и обычаями. В современной практике эта стратегия часто связана с лонгитюдными качественными исследованиями и позволяет нам лучше понять контекст и представить убедительный отчет о личностных перспективах и взглядах, которые разделяют респонденты, отследить и отрефлексировать собственные предположения и их влияние на получаемые данные, а кроме того сами респонденты учатся доверять исследователю и с большей вероятностью поделятся с ним своими истинными переживаниями и суждениями .

– «Стабильное наблюдение» (persistent observation) Эта стратегия, как видно уже из названия, тесно связана с предыдущей и в какой-то степени дополняет ее. «Если длительное вхождение обеспечивает размах (scope), то стабильное наблюдение – глубину» проводимого анализа , хотя подобное разделение представляется условным. Стабильное наблюдение за окружением или постоянное взаимодействие с данными помогает сфокусироваться на тех деталях и нюансах изучаемой проблемы, которые обнаруживаются при длительном пребывании в поле.

Классический пример такого вхождения – исследования М. Мид. Для нее успешная работа антрополога означает готовность «отказаться от прелестей цивилизованной жизни и подвергнуться на месяцы всем неудобствам и неприятностям жизни среди людей, манеры, методы санитарии и образ мышления которых ему чужды», при этом и «изучать их язык, погрузиться в их нравы, проникнуть в их культуру так, чтобы сопереживать их антипатиям и радоваться их триумфам» [Мид, 1988, с. 228]. Сегодня речь идет скорее о форме «интенсивной, продолжительной вовлеченности» (intensive, long-term involvement) в исследование, предполагающей проведение повторных интервью и наблюдений для составления полной картины, нежели о полном включении в жизнь чужой культуры.

– «Партнерский дебрифинг» (peer debriefing) Партнерский дебрифинг сопровождается групповыми дискуссиями с коллегами или экспертами, и на обсуждение выносятся такие темы, как дизайн исследования, рабочие гипотезы исследования и его итоговые результаты . Для составления таких экспертных панелей предпочтительно обращаться к тем людям, кто не принимал участия в исследовании и не заинтересован в нем, занимает позицию нейтрального читателя. Эксперты могут предложить альтернативные интерпретации проблемы, а также указать на влияния личных предпочтений и мнений аналитика на его выводы (т.е. провести своего рода «сеанс супервизии»).

– «Анализ негативных случаев» (negative case analysis) Настоящая стратегия является одной из наиболее популярных технологий валидизации качественного исследования – она в каком-то смысле аналогична проверке гипотез и предполагает обращение к новым данным и исследовательским случаям, которые не соответствуют полученным результатам и могут потенциально опровергнуть их.

Обращение к «отклоняющимся» или «не соответствующим» исходной гипотезе случаям показывает потенциальным читателям, что, во-первых, аналитик принял во внимание различные типы данных, а не только те, что однозначно подтверждают его выводы, во вторых, негативные случаи накладывают ограничения на суждения о степени обобщаемости результатов на другие группы . Проблема обобщаемости в качественной методологии заслуживает самостоятельного обсуждения, и мы коснемся этой темы отдельно.

Важно отметить, что негативные случаи являются таковыми не сами по себе, а отбираются исходя из теоретических моделей, концепций и предположений, разделяемых исследователем .

– «Ссылочная адекватность» (referential adequacy) При использовании этой стратегии валидизации часть собранных данных откладывается в «архив», который какое-то время не анализируется и остается в стороне . Далее исследователь работает с оставшимися данными и приходит к неким предварительным выводам. Затем он возвращается к данным, оставленным «про запас», и использует их как дополнительный «тест» для проверки своих интерпретаций. Такая несколько оригинальная, на первый взгляд, стратегия продуктивна при работе с большими объемами данных. В последнем случае архивация становится не только приемом для самопроверки исследователя, но и формой планирования анализа.

– «Проверка участниками» (member checking) Синонимами этой стратегии являются коммуникативная валидизация [Квале, 2009] и валидизация респондентами или участниками , хотя последние версии задают своеобразные методические акценты.

Участникам предлагается ознакомится и проверить полученные данные и результаты исследования. В ходе обсуждения участники комментируют выводы – «узнают ли они себя» в аналитических реконструкциях, а также по возможности дополняют их. Результатом такого обсуждения является соглашение о том, можно ли считать результаты анализа адекватными тем суждениям и представлениям, что разделяют («имели ввиду») сами участники.