روش‌های جمع‌آوری داده‌های ارزیابی

 علیرضا نفیسی، محسن اشعاری، سعید طهماسبی

[۱]در هر برنامه ارزیابی باید به این توجه شود که داده‌های ارزیابی بناست چگونه جمع‌آوری شوند. برای فهم روش‌های مناسب جمع‌آوری و تحلیل داده، می‌‎توان به متن‌های روش تحقیق (مخصوصاً روش تحقیق در علوم اجتماعی) رجوع کرد. به‌طور کلی می‌توان گفت که دو روش بسیار متداول برای تولید داده‌های مربوط به ارزیابی، پیمایش[۲] و مشاهده (یا پایش)[۳] است.

استفاده از مشاهده برای تمامی انواع ارزیابی می‌تواند کاربردی باشد و علاوه بر ارزیابی تأثیر، برای شاخص‌های کمّی ارزیابی فرایند هم می‌تواند به کار برود؛ مثلاً تعداد کسانی که در آزمایشگاه‌ها، مورد تست سلامت قرار گرفته‌اند، از بانک‌های اطلاعاتی به راحتی قابل مشاهده است. داده‌های مربوط به برخی شاخص‌های ورودی و خروجی هم می‌تواند از طریق مشاهده جمع‌آوری شود؛ مثلاً چه کسانی از خدمات بهره گرفتند؟ مشخصات دموگرافیکی جامعه چیست؟ تعداد دستگیرشدگان توسط پلیس؟ همچنین شاخص‌های اقتصادی هم معمولاً از طریق مشاهده بانک‌های اطلاعاتی بدست می‌آید.

جمع‌آوری داده‌های ارزیابی از طریق پیمایش (پرسشنامه)، بیشتر برای شاخص‌هایی به کار می‌رود که درونی و ادراکی هستند یا به‌صورت مشاهده قابل جمع‌آوری نیستند. پیمایش‌ها را می‌توان با شماری از روش‌ها ازجمله چهره‌به‌چهره، تلفنی، اینترنتی و پستی اجرا کرد که هر یک از این‌ها، با توجه به مسائلی همچون نرخ پاسخ و هزینه، استلزامات منفی و مثبت خود را دارد. پرسش‌نامه‌ها اغلب برای جمع‌آوری داده‌های کمّی استفاده می‌شوند، اما می‌توانند شامل پرسش‌های تشریحی آزاد برای جمع‌آوری داده‌های کیفی نیز باشند. هنگام طراحی یک نظرسنجی، مهم است که در نظر گرفته شود چه نمونه‌ای از مشارکت‌کنندگان و چه نوع تحلیلی موردنیاز خواهد بود تا به پرسش‌های تحقیق پاسخ دهد و این کار باید در طراحی ارزیابی پی‌ریزی شود.

در جدول زیر، برخی از این شاخص‌های قابل اندازه‌گیری از طریق پیمایش را مشاهده می‌کنید:

نحوه ارزیابی در نمونه Think!ه[۱۷]

همانطور که در نمونه موردی Think! در یادداشت‌های قبلی دیدیم،‌ وزارت حمل و نقل انگلستان در سال ۲۰۰۰، به‎منظور کاهش تصادفات منجر به فوت و جراحات شدید، برنامه‎ای ده‎ساله را مبتنی بر به‎کارگیری همزمان سه رویکرد «اجبار»[۵]، «مهندسی و زیرساخت»[۶] و «آموزش و اثرگذاری بر رفتارهای رانندگان»[۷] تدوین کرد. از جمله اقداماتی که دولت در راستای رویکرد سوم (آموزش) در دستور کار خود قرار داد،‌ شکل‎دهی و توسعه کمپین‌ Think! بود. در برنامه ده ساله وزارت حمل ونقل، کمپین Think! از جایگاه ویژه‎ای برخوردار بود، به‎طوری‌که حدود ۱۵ درصد از بودجه سالانه برنامه به این کمپین اختصاص داشت. این کمپین نقش شایان توجهی در اصلاح و ارتقای آگاهی‌های عمومی در خصوص خطرات رانندگی پرخطر و نیز ترغیب و تقویت گرایش‌های کاربران جاده‌ای (رانندگان خودرو، موتورسواران و پیاده‌ها) به رفتارهای ایمن‎تر و محتاطانه‌تر در رانندگی ایفا نمود.از جمله عوامل کلیدی موفقیت کمپین، شکل‎دهی «سیستم ارزیابی فرایند و پیامدها» از بدو تدوین سیاست‎ها،‌ پایش شاخص‎های ارزیابی در حین اقدام و نهایتاً بازبینی و اصلاح راهبردهای وزارت حمل‌ونقل و کمپین براساس نتایج ارزیابی بود. این ارزیابی‎ها به سه طریق صورت می‎گرفت:

  • در همان ابتدای تدوین راهبردهای کمپین، شاخص‎های کلیدی عملکرد (KPIs)[8] براساس آن دسته از نگرش‎ها، دانش‌ها و رفتارهای جامعه مخاطب که با پیام‎های محوری کمپین ارتباط تنگاتنگی داشتند تعریف شده و پیش و پس از شکل‎گیری کمپین، پایش شدند.
  • سالانه پیمایشی برای رصد روندهای بلندمدت تغییر نگرش‌ها، هنجارهای اجتماعی و رفتارها انجام می‎شد.
  • برخی داده‎های مرتبط از سایر حوزه‎ها همچون نتایج تست تنفس الکل، آمار محکومیت‎های سرعت جاده‎ای[۹]، آمار سالانه مصدومین، نتایج تحقیقات اجتماعی، تعداد پذیرش‎های بیمارستانی، حجم ترافیک، اطلاعات پزشکی قانونی، اطلاعات تولیدکنندگان و بیمه‌کنندگان خودرو و… گردآوری شده و به‎طور همزمان مورد بررسی و تحلیل قرار می‎گرفت.

لازم به ذکر است، همانطور که در مقدمه مثال مذکور (در یادداشت سیاست خوب) مطرح شد، براساس تحقیقات اولیه مقرر شد تا برای کاهش تلفات و جراحات ناشی از تصادفات، مسائلی از قبیل سرعت، مصرف مشروبات الکلی در رانندگی، کمربند ایمنی، خستگی، استفاده از تلفن همراه، موتور سیکلت‌ها، مصرف دارو در رانندگی و موارد ایمنی کودکان و نوجوانان مورد توجه جدی کمپین قرار گیرد. لذا کمپین با محوریت هر یک از این مسائل نیز گزارش‎های ارزیابی جداگانه‎ای را سالانه تهیه و منتشر می‎کند.

در ادامه به برخی یافته‎های ارزیابی کمپین در فاصله سال‎های ۲۰۱۱-۲۰۰۵ (که از طریق پیمایش گردآوری شده است) اشاره می‎شود.

در شکل زیر، مهمترین مسائل ایمنی جاده‎ای را که جامعه با آن مواجه بوده است، به ترتیب اهمیت و در سال‎های مختلف مشاهده می‌کنیم.

همانطور که مشهود است سه مسئله اصلی ایمنی جاده‎ای که مردم فکر می‌کنند باید در سیاست‌گذاری‌ها بر آنها تمرکز بیشتری صورت بگیرد، در سال‎های مذکور به ترتیب عبارتند از: مصرف مشروبات الکلی در رانندگی، سرعت غیرمجاز و استفاده از تلفن همراه در هنگام رانندگی.

در شکل زیر، میزان تأثیرگذاری ابزارهای سیاستی بر رفتارها از نگاه رانندگان مورد توجه قرار گرفته است:

در ادامه برخی از شاخص‎های مبتنی بر نگرش و هنجارها مورد اشاره قرار می‎گیرد. به‎عنوان نمونه، در شکل زیر، نگرش پاسخ دهندگان در خصوص میزان نابهنجاری رفتارهای نادرست در هنگام رانندگی بررسی شده است:

در نمودارهای زیر، برای ارزیابی برند کمپین، گزاره‎های مثبت و منفی افراد در خصوص لوگوی کمپین مورد بررسی قرار گرفته است.

علاوه بر پیمایش و مشاهده، روش‌های دیگری نیز برای جمع‌آوری داده‌ها استفاده می‌شوند که در ادامه برخی از آنها را معرفی می‌کنیم. این روش‌ها بیشتر در ارزیابی‌های فرایندی که در آنها عمیق و غنای داده اهمیت بیشتری دارد مورد استفاده قرار می‌گیرد:

  • مصاحبه‌های فردی: داده‌های مصاحبه می‌توانند اطلاعات ارزشمندی را درباره نگرش‌ها، عقاید و تجربیات مردمِ درگیر با یک سیاست فراهم آورند تا اطلاعاتی عمیق درباره اینکه آن سیاست در عمل چگونه جواب می‌دهد، به‌دست آید. این مصاحبه‌ها به مشارکت‌کنندگان اجازه می‌دهد تا با توضیح صریح دیدگاه‌ها، تصمیمات یا اعمالشان آنچه این امور را شکل بخشیده است، تشریح کنند. مصاحبه با مشارکت‌کنندگان مهم، می‌تواند ساختارمند (فهرستی منظم از پرسش‌ها برای همه مصاحبه‌شوندگان)، نیمه‌ساختارمند (فهرستی از پرسش‌ها، با انعطاف برای تحقیق بیشتر) یا بدون ساختار (فاقد فهرستی از پرسش‌ها) باشد. مصاحبه‌ها باید عموماً چهره‌به‌چهره میان مصاحبه‌گر و مصاحبه‌شونده انجام شوند، اما ممکن است از پشت تلفن نیز صورت پذیرند. جمعیت کلیدی برای مصاحبه، از سیاستی به سیاست دیگر متفاوت خواهد بود، اما می‌تواند دربردارنده کسانی باشد که سیاستی را اجرا می‌کنند (شامل گستره‌ای از سطوح ارشد و وظایف شغلی)، کسانی که سیاستی را دریافت می‌کنند و نیز افراد ذینفعی که سهمی در سیاست دارند. معمولاً تحلیل مصاحبه‌ها مبتنی بر بررسی محتواست، اما به میزانی کمتر، می‌توان از تکنیک‌های تحلیل محاوره[۱۰]، برای تحلیل نحوه‌ای که مطالب بیان می‌شوند، از طریق نگاه به الگوهای سخن گفتن و/یا زبان بدن استفاده کرد.
  • مصاحبه‌های گروهی: مصاحبه‌های گروهی فرصتی را برای جمع‌آوری اطلاعات از گروهی از مردم درباره نگرش‌ها، عقاید، برداشت‌ها و تجربیات آن‌ها فراهم می‌آورد؛ بدین شکل که نظرات خود را مطرح می‌سازند، به ایده‌های یکدیگر واکنش نشان می‌دهند و دیدگاه‌ها و پیشنهادهای خود را در میان می‌گذارند. در مصاحبه‌های گروهی، داده‌ها را می‌توان از طریق تعامل گروهی، شکل بخشید. مصاحبه‌های گروهی را می‌توان با گستره افراد اجراکننده یا دریافت‌کننده یک سیاست اعمال کرد. آن‌ها می‌توانند در پرداختن به موضوعات انتزاعی یا مفهومی به‌خوبی عمل کنند؛ درحالی‌که در یک مصاحبه نفربه‌نفر، ممکن است مشارکت‌کننده «سکوت کند». در مصاحبه‌های گروهی، پژوهشگر معمولاً به‌منزله تسهیل‌کننده عمل می‌کند و بر روی متنی محوری که پرسش‌ها یا مباحث اصلی را برای بحث توسط گروه تنظیم کرده است، تمرکز می‌کند. مصاحبه‌های گروهی در ترکیب با مصاحبه‌های فردبه‌فرد یا دیگر تکنیک‌های تحقیق به‌خوبی جواب می‌دهند. برای مثال، در آغاز یک بررسی، می‌توان از مصاحبه‌های گروهی برای فهم باورها، رفتار و عمل جاری مردم استفاده کرد و استنباط‌ها از مسائلی را آزمود که بعداً در مصاحبه‌های فردبه‌فرد می‌توانند موردبررسی قرار گیرند. مصاحبه‌های گروهی می‌توانند به‌طور ویژه برای مشارکت‌کنندگانی که مصاحبه‌های نفربه‌نفر را «ترسناک» می‌پندارند، سودمند باشد.
  • روش‌های مشورتی و شورایی[۱۱]: این نوع از روش‌ها مستعد آن هستند که وقتی تحلیلگران و سیاست‌گذاران می‌خواهند از کاوش نظرات و رفتارهای مردم فراتر بروند، در ارائه یا اطلاع دادن راه‌حل‌ها و استراتژی‌ها به آنان کمک کنند. می‌توان گستره وسیعی از روش‌های مشارکت عمومی، اعم از نشست‌ها، وب‌سایت‌های تعاملی، میزگردها یا هیئات شهروندی، رأی‌گیری شورایی و ارزیابی‌های مشارکتی را به کار گرفت. تحقیق مشاوره‌ای، عموماً شامل فعالیت متمرکز با گروه‌های نسبتاً کوچک است و بنابراین پرسش‌هایی را درباره ارزش پول هزینه‌شده و نمایندگی[۱۲] مطرح می‌سازد. بااین‌حال، تحقیق مشاوره‌ای که به‌خوبی انجام شده باشد، به برجسته‌سازی و معلوم کردن نقاط اختلاف و نیز توافق میان مشارکت‌کنندگان کمک خواهد کرد.
  • تحلیل مستندات[۱۳]: دستیابی به مستندات مربوط به سیاست مورد ارزیابی و تحلیل آن‌ها، می‌تواند داده‌های ارزشمندی را درباره همه جنبه‌های سیاست فراهم آورد که شامل گزارش مستقیم درباره آن سیاست، توسط کسانی است که در اجرایش درگیر بوده‌اند. این مستندات می‌توانند عبارت باشند از رکوردهای رایانه‌ای، پرونده‌ها، نامه‌های ارجاعی، دفترچه‌های خاطرات، تصاویر و… . این داده‌ها را می‌توان جمع‌آوری و با استفاده از تکنیک‌های تحلیل محتوا، تحلیل کرد.
  • قوم‌نگاری[۱۴]: قوم‌نگاری روشی است که انسان‌شناسان از آن استفاده می‌کنند و پژوهشگران اجتماعی به‌طور گسترده‌تری آن را پذیرفته‌اند. این روش، توصیفی جزئی از یک فرهنگ، گروه، یا جامعه و از قواعد، آداب‌ورسوم و الگوهایی است که فرهنگ، گروه یا جامعه بر آن مبتنی هستند. قوم‌نگاری قادر است شناختی فرهنگی را از یک گروه یا جامعه استخراج کند و نیز شامل بررسی تفصیلی الگوهای تعامل در درون آن است تا ارزش‌ها، فرایندها و ساختارهای آن گروه را بفهمد. قوم‌نگاری می‌کوشد تا گروه‌ها و فعالیت‌های اجتماعی را به «طبیعی»ترین روش ممکن بررسی کند. مشاهده، شنیدن، به خاطر سپردن و یادداشت‌برداری تفصیلی، تکنیک‌های اصلی برای پژوهشگرانی است که از روش‌های تحقیق قوم‌نگارانه یا مشاهده مشارکتی استفاده می‌کنند. ازجمله دیگر مزایای قوم‌نگاری این است که این نوع داده‌ها می‌توانند شواهدی قاطع درباره نحوه کار دست‌اندرکاران خط مقدم و تعیین تغییرات در محیط اجتماعی و فرهنگی که انتظار می‌رود سیاست‌ها، طرح‌ها و برنامه‌ها در آن‌ها جواب دهند و کارکنان اصلی که به‌منزله «پرچم‌داران نتیجه» برای سیاست‌ها، برنامه‌ها و طرح‌ها عمل می‌کنند، فراهم آورند.
  • مرور جمعی[۱۵]: یکی از روش‌های بسیار مرسوم در ارزیابی سیاست‌ها، مرور جمعی است که در آن، افراد پس از اجرای مداخله، به همفکری و بازبینی سیاست می‌پردازند و آموزه‌های آن را مرور می‌کنند. در تحقیق اقدام[۱۶] نیز، محقق و افرادی که در تدوین و اجرای سیاست مشارکت دارند، برای تشخیص مشکلات و تدوین راه‌حل‌های مبتنی بر آن، گردهم می‌آیند. این روش مخصوصاً در شرایطی که سیاست مبتنی بر روش‌های نو و نظریه‌های اثبات‌نشده است یا در محیطی چالشی در حال اجراست، کاربرد دارد. همچنین در زمانی که نیاز به رویکرد حل مسئله سریع وجود دارد، می‌توان از آن بهره برد.

 

آیا شما در مورد مطالب این یادداشت، تجربه سیاستی دیگری (در داخل یا خارج از کشور) را سراغ دارید؟ درصورت تمایل، این تجربه‎ها را در قسمت دیدگاه‎ با ما در میان بگذارید تا با نام خودتان منتشر شود.


[۱] مطالب این یادداشت، عمدتاً از منبع زیر اقتباس شده است که مرجع ارزیابی سیاست‌ها در دستگاه‌های دولتی انگلستان است: HM Threasury. (2011). The Magenta Book Guidance for evaluation. London: HM Threasury.

[۲] Survey

[۳] Monitoring

[۴] Factual

[۵] رویکرد اجبار (Enforcement) نظیر: وضع قوانین و مقررات بیشتر، حضور بیشتر پلیس در جاده‌ها، افزایش تعداد دوربین‌های ایمنی

[۶] رویکرد مهندسی و زیرساخت (Engineering) شامل ایمنی‌های پایه‌ای و اولیه (نظیر مهندسی و طراحی اتومبیل و…) و ایمنی‌های ثانویه (نظیر مهندسی ماشین برای کاهش شدت تصادفات و…) و مهندسی و تعمیرات جاده‌ای می‎‎شود. لازم به ذکر است بیشترین بودجه دولت بدین رویکرد اختصاص یافت.

[۷] رویکرد (Education) نظیر: آموزش رانندگی، آزمون‌های سختگیرانه رانندگی، فعالیت‌های ترویجی و رسانه‌ای و…

[۸] (Key performance indicators (KPIs

[۹] Speeding convictions

[۱۰] Conversational analysis

[۱۱]– Consultative and deliberative methods

[۱۲]– representativeness

[۱۳]– document analysis

[۱۴]– Ethnography

[۱۵] Peer review و یا after action review

[۱۶] action research

[۱۷] منبع:

NSMC. (2016, March 1). thensmc showcase. Retrieved from THINK! The NSMC – The National Social Marketing Centre: http://www.thensmc.com/resources/showcase/think

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *