Ромек В.Г., Сатин Д.К.. Сохранение надежности многофакторных тестов при их использовании в сети Интернет // Психологический журнал. - Том 21. - №2. - 2000. - С.74-75.
Резюме: Выявлено сохранение показателей надежности многошкальных тестов, разработанных с применением факторного анализа при их использовании в сети Интернет. Рефакторизация данных, полученных по тестам уверенности в себе и Айзенка (EPI) на больших выборках (661 и 1637 человек), доказала, что надежность тестов при их использовании в сети Интернет не уменьшается при сохранении факторной структуры тестов. В то же время, усредненные значения по шкалам при тестировании в сети отличаются от данных, полученных на "бланковых" выборках. Авторы делают вывод о возможности использования тестов в сети, но оговаривают необходимость дальнейшего анализа специфики выборок пользователей сети Интернет.
Ключевые слова: факторная структура теста, психометрические характеристики теста, надежность, компьютерное тестирование.
ЦЕЛИ, ЗАДАЧИ, ГИПОТЕЗЫ
Глобальная компьютерная сеть Интернет все в большей степени осваивается специалистами-психодиагностами в качестве новой среды для организации и проведения исследований (4-6). Компьютерная сеть предоставляет несколько возможностей, которые отсутствуют при бланковом тестировании, а именно:
- низкую стоимость тиражирования материалов;
- широкий географический охват;
- не требуется непосредственного присутствия психодиагноста рядом с испытуемым. Инструкцию и стимульный материал предоставляет программный комплекс, осуществляющий также обработку полученных данных. Ее результаты автоматически соотносятся с психометрическими нормами, на основании чего испытуемому выводится текст интерпретации;
- пользователи компьютерной сети подготовлены к встрече с тестами, так как для получения обратной связи многие администраторы сети создают и размещают на своих серверах непсихологические опросники-анкеты. Каждый пользователь имеет опыт участия в опросах, предъявляемых в виде одностраничной анкеты или последовательности диалогов. У пользователей глобальной сети достаточно высока готовность к участию в тестировании еще и потому, что многие администраторы сайтов размещают на них популярные, а зачастую и профессиональные тесты в качестве развлекательного материала.
Особенности профессионального тестирования в глобальной сети ставят перед диагностами ряд проблем этического, практического и научного плана. Тестирование в сети происходит в отсутствие психолога, который мог бы проконтролировать ход диагностической процедуры, и от которого испытуемый получает интерпретацию результатов. Это ставит перед диагностом дополнительные задачи контроля переменных, связанных с ситуацией тестирования, а также задачу составления таких интерпретаций, которые бы не оставляли испытуемому возможностей для неверного истолкования.
Процесс заполнения формы на экране компьютера, или прохождение последовательности диалогов, существенно отличается от традиционной работы с карандашом и бумагой. Испытуемый может отвлекаться, одновременно выполнять какую-либо другую работу в открытой программе, он может, наконец, просто случайным образом заполнить тест, чтобы посмотреть, что в итоге получится.
В связи с этим возникает ряд важных для психодиагностики задач:
- в технических средствах реализовать те функции, которые обычно выполняет психолог, проводя тестирование испытуемого (в психологии накоплен значительный опыт проведения тестов на персональных компьютерах, но тестирование в сети Интернет требует новых решений, позволяющих стандартизировать эту ситуацию);
- проверить надежность психологических тестов при их использовании в сети Интернет с автоматической обработкой данных и выдачей рекомендаций.
Настоящее исследование направлено на решение второй из перечисленных выше задач. В ходе исследования обсуждаются основные подходы к решению первой задачи.
МЕТОДИКА
Мы сопоставили надежность двух тестов - уверенности в себе и личностного опросника Айзенка при их использовании в бланковой форме и при выполнении теста анонимными пользователями в сети Интернет.
Это сопоставление должно было дать ответ на вопрос, требуется ли дополнительная адаптация тестов при их использовании в сети, т.е. происходит ли изменение надежности и других психометрических характеристик при тестировании в сети Интернет, и существует ли разница между нормами при выполнении бланковых тестов и их версий в сети Интернет?
Тест Айзенка (Eysenck Personality Inventory, EPI) особого представления специалистам не требует. Он содержит три шкалы: Экстраверсии, Нейротизма, Лжи (1). Для сравнения использовалась его русская адаптация (форма А), выполненная А.Г. Шмелевым (7), и данные о нормах и составе шкал (2).
Тест уверенности в себе представляет собой опросник из 30 пунктов, разработанный с использованием факторного анализа и дающий оценки по шкалам общей уверенности в себе, социальной смелости и инициативы в контактах (3).
Для проверки зависимости психометрических характеристик названных тестов от ситуации тестирования (бланковое или тестирование в сети Интернет) мы сравнили на двух выборках по каждому тесту факторные структуры, показатели надежности отдельных шкал (а-Кронбаха) и нормы, полученные при бланковом тестировании и тестировании в сети Интернет.
ХАРАКТЕРИСТИКИ ВЫБОРОК
Тест уверенности в себе. Выборка 1 (бланковое тестирование) составила 535 человек (60.6% женщин, 39.4% мужчин). Она включала испытуемых с разным образовательным уровнем (в ней не было студентов-психологов). Тестирование проводилось частично в групповой форме, основная масса бланков была заполнена испытуемыми в ходе консультационной работы. Все испытуемые получали интерпретацию результатов тестирования.
Выборка 2 (тестирование в сети Интернет) составила 661 человек (53.6% женщин, 46.4% мужчин). Контролировать иные демографические показатели выборки не представлялось возможным. Тестирование проходило на сайте "Психология уверенности в себе" (http://www.openweb.ru/romek/) путем заполнения формы, по внешнему виду приближенной к бумажному бланку. Интерпретация либо рассылалась по электронной почте, либо выводилась на экран компьютера.
Тест Айзенка. Выборка 3 (бланковое тестирование) составила 153 человека (студенты МГУ обоего пола непсихологических специальностей).
Выборка 4 (тестирование в сети Интернет) составила 1637 человек (46% женщин, 54% мужчин). Тестирование проходило на сайте "Книжная полка научно-психологической литературы" (http://come.to/satin) путем прохождения испытуемым последовательных диалогов, в каждом из которых нужно выбрать один из двух вариантов ответа. После осуществления выбора программа автоматически предъявляла испытуемому новый пункт опросника. После ответа на последний пункт опросника программа автоматически выводила испытуемому интерпретацию его результатов.
Для всех выборок, полученных при тестировании в сети Интернет, собирались также данные о возрасте испытуемых. Разброс значений составил от 12 до 54 лет, при значении медианы - 25 лет.
РЕЗУЛЬТАТЫ И ИХ ОБСУЖДЕНИЕ
Полученные данные обрабатывались по одной и той же схеме с использованием статистического пакета SPSS-7.5. На первом этапе мы сравнили факторные веса отдельных пунктов теста уверенности в себе по трем его шкалам на двух описанных ранее выборках. Результаты сравнения мы приводим в табл. 1.
Как можно увидеть из этой таблицы, в целом в факторной структуре теста не произошло существенных изменений, за исключением вопроса N 19 (1), что гипотетически можно объяснить преимущественно ночным образом жизни тех, кто тесно связан с работой в Интернете (ночью - дешевле и связь лучше). Именно во второй выборке (Интернет) мы получили значимо меньше ответов "неверно" на этот вопрос (2).
(1) "Если мне срочно нужен мой друг, то я звоню ему даже поздно ночью".
(2) Вопрос в суточном распределении частоты тестирования в сети Интернет был дополнительно изучен. Оказалось, что с 00:00 до 09:00 проходят тестирование не более 20% испытуемых, а с 03:00 до 07:00 - меньше 8%. Учитывая то, что в сетевом тестировании принимают участие испытуемые, живущие в разных часовых поясах, фактором возможностей искаженности результатов ночного тестирования можно пренебречь.
Таблица 1. Факторные веса вопросов теста уверенности при тестировании в бланковой форме и в сети Интернет
Примечание. Факторный анализ проводился с экстракцией факторов методом главных компонент и последующей Varimax-poтацией. В таблице приводятся факторные веса после ротации.
Первая цифра соответствует факторному весу, полученному на "бланковой" выборке, вторая - при тестировании в сети Интернет. В таблице приводятся факторные веса, большие, чем 0.25.
Соответственно, можно было ожидать сохранения хорошего уровня надежности при тестировании в сети. Мы проверили это предположение, рассчитав индексы надежности на двух выборках. Как видно из табл. 2, надежность всех трех шкал теста уверенности при тестировании в сети либо уменьшилась крайне незначительно, либо даже увеличилась (шкала уверенности).
Таблица 2. Сравнение индексов надежности теста уверенности при тестировании в бланковой форме и в сети Интернет
Полученные различия могут быть объяснены разным характером мотивации тестирования у испытуемых при проведении бланкового варианта и при проведении в сети Интернет. В случае бланкового тестирования мотивация участия в тестировании варьирует от ориентации на получение интерпретации до желания помочь исследователю в осуществлении стандартизации теста. При проведении тестирования в сети Интернет мотивация тестирования ограничена мотивацией самопознания, так как исследователь не имеет никакого влияния на поведение испытуемого. Приходится также признать, что сам выбор методики испытуемым может быть не случаен. Вполне может оказаться, что люди, испытывающие недостаточность, например, уверенности в себе, чаще проходят тест уверенности в себе, чем самоуверенные. Подобному искажению состава
Таблица 3. Факторные веса вопросов теста Айзенка при тестировании сети Интернет
Примечание. Результаты факторного анализа после Varimax-ротации. Факторные веса отсортированы в нисходящем порядке. Показаны факторные веса, большие чем 0.1. В первом столбце после номера вопроса следует номер шкалы, в которую вошел данный вопрос в результате адаптации 1984 г. В скобках отмечена полярность вопроса. Жирным начертанием отмечены вхождения в фактор с наибольшим весом и совпадения полученного значения с ключом 1984 г. выборки подвержены те тесты, в названии которых указана измеряемая ими психологическая черта.
Соответствующие расчеты для теста Айзенка при его использовании в сети Интернет дали схожие результаты. В факторном анализе мы установили практически полное соответствие факторной структуры теста ключам к тесту, которые разработаны А.Г. Шмелевым в процессе его адаптации. Как это можно увидеть из табл. 3, несмотря на то, что русская адаптация проводилась в бланковом варианте в 1984-85 гг., при тестировании в Интернете с последовательным предъявлением вопросов испытуемым группировка отдельных вопросов теста практически не изменилась. Лишь единичные вопросы имели большие факторные веса в "неправильном" факторе, что, однако, не сказалось на надежности шкал теста в целом. Расчеты надежности по отдельным шкалам теста также дали достаточно хорошие результаты (табл.4).
Таблица 4. Оценка надежности шкал теста Айзенка при тестировании в сети Интернет
Таблица 5. Показатели ретестовой надежности, полученные при тестировании в сети Интернет
Примечание. Уровень значимости для всех полученных значений произведения моментов Пирсона составил р < 0.01. Повторное тестирование, проходившее через две недели после проведения первого, по тесту Айзенка прошли 64 испытуемых, а по тесту уверенности в себе - 74.
ВЫВОДЫ
Таким образом, на примере теста уверенности в себе и теста Айзенка обнаружено сохранение основных психометрических характеристик многошкальных тестов, построенных с применением факторного анализа при их использовании в сети Интернет. Следовательно, правомерно сделать вывод о том, что надежность психологических тестов этого типа не снижается. Вопрос о необходимости дополнительного нормирования остается открытым, но глобальная компьютерная сеть предоставляет огромные возможности для научного исследования этой проблемы. При тестировании в сети психолог может получить уникальный материал, так как есть возможность составления больших выборок, равномерно распределенных на определенной территории. Размещение тестов на разных сайтах и в разных вариантах позволит изучить зависимость норм и надежности тестов от содержания сайтов, на которых они размещены, от вариантов программирования и предъявления испытуемым заданий теста.
По окончании данного исследования была осуществлена разработка универсальной системы проведения психодиагностических исследований в сети Интернет (http://testology.psychology.ru). Система предоставляет зарегистрированным пользователям возможность прохождения в стандартизованных условиях ряда исследовательских методик и получения интерпретации результатов.
Уже сейчас система позволила собрать данные о ретестовой надежности тестов, которым посвящена данная работа (табл. 5). Следует отметить, что, конечно, самым большим достоинством проведения тестирования в сети Интернет является возможность получения больших выборок, без которых проблематично разработать достаточно точную психодиагностическую методику. На малых выборках (от 100 до 200 человек), которые обычно набираются при бланковой стандартизации, невозможно выявить важные характеристики, необходимые для оценки точности и эффективности методики. Примером такого уточнения данных, полученных при бланковой стандартизации больших выборок в сети Интернет, является установление фактов чувствительности шкалы нейротизма теста Айзека к полу испытуемых и неоднородности шкалы экстраверсии-интроверсии (6).
Учитывая бурное развитие сети Интернет в России, работа по проведению психодиагностических исследований в сети представляется очень важной и перспективной. Она может стать важным стимулом дальнейшего развития отечественной психодиагностики.
СПИСОК ЛИТЕРАТУРЫ
1. Бурлачук Л.Ф., Морозов С.М. Словарь-справочник по психодиагностике. Киев: "Наукова Думка", 1989. С. 8-11.
2. Практикум по психодиагностике. Психодиагностические материалы / Под ред. А.А. Бодалева, И.М. Карлинской, С.Р. Пантелеева, В.В. Столина. М.: Изд- во МГУ, 1988. С. 11-16.
3. Ромек В.Г. Тесты уверенности в себе // Практическая психодиагностика и психологическое консультирование. Ростов-на-Дону: Изд-во ЮРГИ, 1998. С. 87-108.
4. Ромек В.Г., Сатин Д.К. Психологическое тестирование в сети Интернет: проблемы надежности тестов // Научный сервис в сети Интернет. Тезисы докладов всероссийской научной конференции. М.: Изд-во МГУ, 1999. С. 226- 229. ISBN 5-211-04181-X.
5. Ромек В.Г., Сатин Д.К. Надежность тестов при тестировании в Интернете // Междисциплинарный семинар "Виртуальная коммуникация в сети Интернет". М., 1999. С. 27-36.
6. Сатин Д.К. Психометрические нормы личностного опросника Айзенка (EPI) при проведении в сети Интернет // Индивидуальный и групповой субъекты в изменяющемся обществе. Тезисы докладов к международной научно- практической конференции. М.: ИП РАН, 1999. С. 136-138. ISDN 5-201-02314-2.
7. Шмелев А.Г., Похилъко В.И. Анализ пунктов при конструировании и применении тест-опросников: ручные и компьютерные алгоритмы // Вопросы психологии. 1985. N 4. С. 126-134.
стр. 74
RELIABILITY INDICES OF MULTISCALE TESTS WHEN APPLIED IN THE INTERNET
V. G. Romek*, D. K. Satin**
*Cand. Sci (psychology), URGI, Rostov-on-Don
Associated scientific employee of Institute ofPhyshology RAS, post-graduate student of the department of psychology MSU, coordinator of project PSYCHOLOGY.RU, Moscow.
The paper displays invariability of reliability indices of multiscale tests elaborated by means of factor analysis when applied in Internet.
Refactorization of Assertiveness and Eysenck (EPI) tests data obtained on great samples (661 and 1637 respondents accordingly) proved that reliability of these tests when applied in Internet does not decrease; their factor structure retains. At the same time mean scores of scales testing obtained in Internet differ from the data of "blank" samples. The authors state the possibility of applying psychological tests in Internet while focussing on the necessity of further exploration of the peculiarities of Internet samples.
Key words', factor structure of tests, psychometric characteristics, internal consistency, computer based tetsting, Internet based testing.
