Метод виньеток в онлайн-исследовании: апробация инструментария для исследования восприятия справедливости

ISSN online: 2221-1616

Bulletin of the Institute of Sociology (Vestnik instituta sotziologii)

Метод виньеток в онлайн-исследовании: апробация инструментария для исследования восприятия справедливости

Научная статья

Калинин Р. Г.
Национальный исследовательский университет «Высшая школа экономики», Москва, Россия
rkalinin@hse.ru
ORCID ID=0000-0001-5367-5886


DOI: 10.19181/vis.2022.13.3.836
EDN: LEXLHV

Метод виньеток в онлайн-исследовании: апробация инструментария для исследования восприятия справедливости
// Вестник Института социологии. 2022. Том 13. № 3. С. 162-178

Исследование подготовлено при финансовой поддержке РФФИ, проект № 19-311-90081.

Дата поступления статьи: 17.09.2021
Рубрика: Трибуна молодого учёного

Ссылка для цитирования:
Калинин Р. Г. Метод виньеток в онлайн-исследовании: апробация инструментария для исследования восприятия справедливости // Вестник Института социологии. 2022. Том 13. № 3. C. 162-178.
DOI: https://doi.org/10.19181/vis.2022.13.3.836. EDN: LEXLHV
For citation:
Kalinin R. G. Vignette Method in Online Research: Measuring Perceptions of Fairness. Vestnik instituta sotziologii. 2022. Vol. 13. No. 3. P. 162-178
DOI: https://doi.org/10.19181/vis.2022.13.3.836. EDN: LEXLHV


Текст статьи


Аннотация

Статья посвящена использованию метода виньеток в онлайн-исследовании. Демонстрируются возможности метода на основе измерения восприятия справедливости и проводится оценка разработанного для этих целей инструментария. Анализ качества предложенных шкал проводится с помощью количественных оценок по основным психометрическим показателям: конструктной и критериальной валидности. Подробно описываются обоснование и расчёт данных показателей, а также приводится интерпретация полученных значений. Умеренный показатель конструктной валидности и удовлетворительный показатель критериальной валидности свидетельствуют о необходимости дальнейшей оптимизации шкал.

Отдельное внимание уделено особенностям применения данного метода онлайн при помощи участников, рекрутируемых из коммерческой панели испытуемых. Анализируются параданные и прослеживается зависимость содержательных результатов исследования от несемантических аспектов инструментария. В частности, демонстрируется влияние взаимодействия порядка предъявления стимулов и типа устройств на суждения о справедливости. Показывается, что участники, выполнявшие задания с помощью мобильных устройств, склонны считать более справедливыми условия, которые им показаны первыми. В отличие от участников, выполнявших задания на настольных устройствах, у которых этот эффект практически не наблюдается.

Рекрутирование участников из онлайн-панели для исследования, в котором используется метод виньеток, продемонстрировало ряд ограничений, которые стоит учитывать при планировании исследования. С учетом продемонстрированной невнимательности участников при выполнении заданий с мобильных устройств рекомендуется ограничивать заполнение анкет использованием настольных устройств — компьютеров и ноутбуков. Также, в отличие от предыдущих исследований в данной области, при использовании метода виньеток рекомендуется ограничение количества уровней факторов в экспериментальном плане для уменьшения когнитивной сложности заданий в условиях невозможности контролировать внимательность их выполнения.

Полученные результаты анализируются в контексте методологических исследований. Предлагаются методические решения по использованию метода виньеток онлайн, указываются актуальные и возможные источники искажения данных, а также даются рекомендации по дальнейшему использованию разработанного инструментария.

Ключевые слова

метод виньеток, факторный опрос, эксперимент, конструктная валидность, критериальная валидность, дистрибутивная справедливость, вера в справедливый мир

Список литературы
  1. Быков А. В. Метод факторных виньеток и шкала самооценки альтруизма: Сравнение онлайн- и офлайн-опросов // Социология: методология, методы, математическое моделирование. 2014. № 39. С. 62–98.
  2. Власов М. С., Протасова И. Н. Виньетки как метод диагностики моральных оснований // Вестник Алтайского государственного педагогического университета. 2018. № 37. С. 71–75.
  3. Гудвин Д. Исследование в психологии: Методы и планирование. СПб.: Питер, 2004. 558 с.
  4. Калинин Р. Г. Изучение дистрибутивной справедливости в социальных науках: Обзор концептуализаций и методологических подходов // Социология: методология, методы, математическое моделирование. 2019. № 49. С. 7–56.
  5. Пузанова Ж. В., Тертышникова А. Г. Метод виньеток в социологических исследованиях: Методологические принципы и методические решения // Вестник Российского университета дружбы народов. Сер.: Социология. 2015. № 4. С. 44–56.
  6. Терентьев Е. А., Нефедова А. И., Груздев И. А. Влияние визуализации опросного инструментария в онлайн-исследованиях на качество данных // Мониторинг общественного мнения: Экономические и социальные перемены. 2016. № 5. С. 1–15.
  7. Alves W. M., Rossi P. H. Who Should Get What? Fairness Judgments of the Distribution of Earnings // American Journal of Sociology. 1978. Vol. 84. No. 3. P. 541–564.
  8. Antoun C., Couper M. P., Conrad F. G. Effects of Mobile versus PC Web on Survey Response Quality: A Crossover Experiment in a Probability Web Panel // Public Opinion Quarterly. 2017. Vol. 81. No. S1. P. 280–306. DOI: 10.1093/poq/nfw088
  9. Atzmüller C., Steiner P. M. Experimental Vignette Studies in Survey Research // Methodology: European Journal of Research Methods for the Behavioral and Social Sciences. 2010. Vol. 6. No. 3. P. 128–138.
  10. Auspurg K., Hinz T. Factorial Survey Experiments. Vol. 175. Los Angeles: SAGE, 2015. 168 p.
  11. Auspurg K., Hinz T., Liebig S., Sauer C. The Factorial Survey as a Method for Measuring Sensitive Issues // Improving Survey Methods. Routledge, 2014. P. 137–149.
  12. Auspurg K., Jäckle A. First Equals Most Important? Order Effects in Vignette–Based Measurement // Sociological Methods and Research. 2017. Vol. 46. No. 3. P. 490–539. DOI: 10.1177/0049124115591016
  13. Bakdash J. Z., Marusich L. R. Repeated Measures Correlation // Frontiers in Psychology. 2017. Vol. 8. No. 456. DOI: 10.3389/fpsyg.2017.00456
  14. Carmines E. G., Woods J. Validity. The SAGE Encyclopedia of Social Science Research Methods. Thousand Oaks, CA: Sage Publications, Inc., 2004. P. 1171–1172.
  15. Couper M. P., Conrad F. G., Tourangeau R. Visual Context Effects in Web Surveys // Public Opinion Quarterly. 2007. Vol. 71. No. 4. P. 623–634. DOI: 10.1093/poq/nfm044
  16. Cullen S. Survey-Driven Romanticism // Review of Philosophy and Psychology. 2010. Vol. 1. No. 2. P. 275–296. DOI: 10.1007/s13164-009-0016-1
  17. Dalbert C., Montada L., Schmitt M. Glaube an eine gerechte Welt als Motiv: Validierungskorrelate zweier Skalen // Psychologische Beitrage. 1987. Vol. 29. No. 4. P. 596–615.
  18. Eifler S., Petzold K. Validity Aspects of Vignette Experiments: Expected “What-If” Differences Between Reports of Behavioral Intentions and Actual Behavior // Experimental Methods in Survey Research: Techniques That Combine Random Sampling with Random Assignment. Wiley Online Books, 2019. P. 393–416.
  19. Hafer C. L., Sutton R. Belief in a Just World // Handbook of Social Justice Theory and Research. New York: Springer, 2016. P. 145–160. DOI: 10.1007/978-1-4939-3216-0_8
  20. Hainmueller J., Hangartner D., Yamamoto T. Validating vignette and conjoint survey experiments against real-world behavior // Proceedings of the National Academy of Sciences of the United States of America. 2015. Vol. 112. No. 8. P. 2395–2400. DOI: 10.1073/pnas.1416587112
  21. Hermkens P. L. J., Boerman F. A. Consensus with respect to the fairness of incomes: Differences between social groups // Social Justice Research. 1989. Vol. 3. No. 3. P. 201–215.
  22. Jasso G. Factorial Survey Method (Rossi’s Method) // The SAGE Encyclopedia of Social Science Research Methods. Thousand Oaks, CA: Sage Publications, Inc., 2004. P. 374–376.
  23. Jasso G. Factorial Survey Methods for Studying Beliefs and Judgments // Sociological Methods & Research. 2006. Vol. 34. No. 3. P. 334–423. DOI: 10.1177/0049124105283121
  24. Jasso G. Safeguarding Justice Research // Sociological Methods & Research. 2012. Vol. 41. No. 1. P. 217–239. DOI: 10.2458/v7i2.20321
  25. Jasso G., Rossi P. H. Distributive Justice and Earned Income // American Sociological Review. 1977. Vol. 42. No. 4. P. 639–651.
  26. Krosnick J. A. Response strategies for coping with the cognitive demands of attitude measures in surveys // Applied Cognitive Psychology. 1991. Vol. 5. No. 3. P. 213–236.
  27. Lang V. Scaling Sensitive Factorial Survey Analysis // Sociological Methods & Research. 2018. P. 649–682. DOI: 10.1177/0049124118799382
  28. Liebig S., Sauer C. Sociology of Justice // Handbook of Social Justice Theory and Research. New York: Springer, 2016. P. 37–59.
  29. Liebig S., Sauer C., Friedhoff S. Using Factorial Surveys to Study Justice Perceptions: Five Methodological Problems of Attitudinal Justice Research // Social Justice Research. 2015. Vol. 28. No. 4. P. 415–434.
  30. Lucas J. W. Theory-Testing, Generalization, and the Problem of External Validity // Sociological Theory. 2003. Vol. 21. No. 3. P. 236–253.
  31. Markovsky B. Anchoring Justice // Social Psychology Quarterly. 1988. Vol. 51. No. 3. P. 213–224.
  32. Markovsky B., Eriksson K. Comparing Direct and Indirect Measures of Just Rewards // Sociological Methods & Research. 2012. Vol. 41. No. 1. P. 199–216.
  33. Mavletova A. Data Quality in PC and Mobile Web Surveys // Social Science Computer Review. 2013. Vol. 31. No. 6. P. 725–743. DOI: 10.1177/0894439313485201
  34. Messick D. M., Schell T. Evidence for an equality heuristic in social decision making // Acta Psychologica. 1992. Vol. 80. No. 1–3. P. 311–323.
  35. Nartova-Bochaver S., Donat M., Astanina N., Rüprich C. Russian Adaptations of General and Personal Belief in a Just World Scales: Validation and Psychometric Properties // Social Justice Research. 2018. Vol. 31. No. 1. P. 61–84. DOI: 10.1007/s11211-017-0302-5
  36. Peng C. Y. J., Mueller D. J. Construct Validity // The SAGE Encyclopedia of Social Science Research Methods. Thousand Oaks, CA: Sage Publications, Inc., 2004. P. 182–183.
  37. Rossi P. H. Vignette Analysis: Uncovering the Normative Structure of Complex Judgments // Qualitative and Quantitative Social Research: Papers in Honor of Paul F. Lazarsfeld. New York: Free Press, 1979. P. 176–186.
  38.  Rossi P. H., Anderson A. The Factorial Survey Approach: An Introduction // Measuring Social Judgments: The Factorial Survey Approach. Beverly Hills: Sage Publications, 1982. The Factorial Survey Approach. P. 15–67.
  39. Rossi P. H., Sampson W. A., Bose C. E., Jasso G. Measuring household social standing // Social Science Research. 1974. Vol. 3. No. 3. P. 169–190.
  40. Sauer C., Auspurg K., Hinz T. Designing Multi-Factorial Survey Experiments: Effects of Presentation Style (Text or Table), Answering Scales, and Vignette Order // Methods, data, analyses. 2020. Vol. 14. No. 2. P. 195–214. DOI: 10.12758/mda.2020.06
  41. Sommer J., Diedenhofen B., Musch J. Not to Be Considered Harmful: Mobile–Device Users Do Not Spoil Data Quality in Web Surveys // Social Science Computer Review. 2017. Vol. 35. No. 3. P. 378–387. DOI: 10.1177/0894439316633452
  42. Spalding N. J., Phillips T. Exploring the Use of Vignettes: From Validity to Trustworthiness // Qualitative Health Research. 2007. Vol. 17. No. 7. P. 954–962. DOI: 10.1177/1049732307306187
  43. Wu H., Leung S. O. Can Likert Scales be Treated as Interval Scales? – A Simulation Study // Journal of Social Service Research. 2017. Vol. 43. No. 4. P. 527–532. DOI: 10.1080/01488376.2017.1329775
Содержание выпуска Vestnik instituta sotziologii. 2022. Vol. 13. No. 3