Редактор на лекции #25: проверка социальных исследований

Редактор на лекции #25: проверка социальных исследований

В 20-м и 21-м веках было проведено огромное количество социальных исследований, которые легли в основу популярных книг, фильмов, а также стали центровыми в учебниках по социологии, психологии и других науках.

Почему надо проверять научные исследования?

Несмотря на то, что в научном мире установлены жесткие критерии проведения научных исследований, отчего репрезентативность последних вызывает вопросы лишь в результате откровенно халтурного подхода, многие исследования следовало бы повторить и проверить их результаты. Почему?

Да потому что мы меняемся, жизнь меняется, общество развивается. В прошлом веке люди иначе реагировали на природу вещей, у них было другое восприятие. И пусть законы общества глобально не изменились, они постоянно в движении. Люди, как динамичная структура, каждый день меняются и меняют тех, кто их окружает. Именно поэтому необходимо проверять старые исследования.

А еще их нужно проверить на предмет правдивости и репрезентативности. Так, например, знаменитый «Стэнфордский эксперимент» недавно был подвергнут жесткой критике со стороны исследователей. Этот материал мы уже разбирали, если вы еще с ним не ознакомились, то обязательно почитайте здесь. Поэтому далеко не все известные социальные и психологические эксперименты являются показательными, и, что самое главное – достоверными.

Также актуальным остается вопрос воспроизводимости некоторых экспериментов. Далеко не каждый из них можно воспроизвести в современности в силу изменения общественного восприятия и не только.

Современная система проверки научных исследований

Брайан Нозек (Brian Nosek), управляющий Центром открытой науки (Center of Open Science) как раз занимается вопросами воспроизводимости социальных и психологических экспериментов. Тут нужно понимать, что существует, как проверка результатов исследований, так и воспроизведение самих исследований. Не нужно путать. А теперь простая статистика, в 2015 году ученым удалось проверить 97 работ по психологии, при этом воспроизведено было только 35. Уже в 2016 году были предприняты попытки воспроизвести 18 известных экспериментальных исследований в области экономики, однако увенчались успехом 11 из них.

Основным источником воспроизведения и проверки исследований являются журналы Science и Nature. Группа американских и европейских ученых к лету 2018 года смогла проверить ряд экспериментов в области социологии, которые публиковались за 2010 – 2015 год. Повторить удалось лишь 13 исследований из 21, а результаты всех исследований в целом оказались преувеличены примерно вдвое.

Соотношение принимаемых материалов следующее: 4 исследования были взяты из Nature, 17 статей были взяты из Science. В итоге 3 материала из Nature удалось воспроизвести, 10 материалов из Science удалось проверить на достоверность.

Данная история получила развитие и уже через некоторое время появилась идея предсказывать воспроизводимость с помощью специальных опросников, рынка предсказаний и экспертной оценки. Результаты оказались весьма интересными. Сотрудничество в данном вопросе было предложено 397 ученым, чьи ответы и экспертные оценки неплохо коррелировали с итоговым результатом воспроизводимости того или иного исследования. Таким образом, можно сделать вывод, что ученые могут довольно точно предсказывать результаты воспроизведения, а именно: получится воспроизвести эксперимент или нет.

Возможны ли погрешности?

Отдельного внимания заслуживают самые мелкие детали при воспроизведении любого эксперимента. Так, например, Гидеон Нэйв из Уортонской бизнес школы отмечает: «возможно, ошибки в воспроизведении или различия между двумя исследованиями привели к некоторым неудачам».

Ставят эксперименты люди и воспроизводят их тоже люди, поэтому погрешностей не избежать, надо только знать их процент, чтобы не порождать противоречия.

Наряду с этим крайне важна трактовка информации. Учитывая, что во всех исследованиях особую роль играет человеческий фактор, трактовка может существенно отличаться от эксперимента, к эксперименту. В случае со «Стэнфордской тюрьмой» исследователи трактовали психически неуравновешенное поведение одного из участников, как естественную реакцию человека на ограничение свободы. Вместе с тем всплыла информация о том, что данный участник просто испытывал удовольствие от вседозволенности, поэтому шумел так, как не шумел никогда до этого, понимая, что не подвергнется физическому наказанию в соответствии с правилами эксперимента.

И, пожалуй, важнейшим аспектом во всей этой истории является то, что ни один эксперимент, ни одно исследование в рамках всей научной отрасли нельзя считать законченным. Всегда остается пространство для маневра, всегда будет возможность расширить исследовательскую базу, дополнить ее и начать развивать в новом направлении. Поэтому вопрос воспроизводимости, актуальности, репрезентативности и достоверности будут оставаться открытыми еще долгое время после проверки.

Редакция портала UnaPersona

Автор статьи: Антон Щегулин


Материалы по теме:
Популярное

Новое в разделе

Новости партнеров

Выбор редакции
Новое на сайте