近年来,毒品低龄化趋势越来越明显。根据彩虹社工历年的服务经验,很多吸毒人员是从青少年时期开始接触毒品,而青少年对毒品认知存在偏差,很多青少年认为吸食一次或者是不经常吸食新型毒品不会上瘾,导致青少年染上毒瘾。青少年因对毒品知识缺乏了解,导致其在社会上易受朋辈影响或为追求刺激而模仿他人的吸毒行为。此外,《全国青少年毒品预防教育规划(2016—2018)》(627工程)对青少年毒品预防教育工作也提出了明确的工作部署和要求。
“反毒大篷车”项目使用移动充气式帐篷构成项目实体空间,在大篷车内部设置毒品基础知识、涉毒感受体验、防毒拒毒技巧及拒毒大考验四个区域,青少年在参与体验的过程中,需领取项目“问题卡”才能开启项目,以“找出毒品的真相”为主题,全程通过观察仿真毒品毒具、心理学眩晕图片、恐怖道具、漫画场景等,使青少年通过灯光、视效、声音等多样化的感官效应,从听、说、看、体验四个维度“零”距离知毒、识害、防毒、拒毒,从而达到远离毒品,健康生活的目的。
项目主要为一次性的禁毒预防教育活动,以校园为主阵地,每名受益对象(主要为青少年)接受服务的标准时长在40分钟左右,如果当场学生体量较多,或者学校有时间限制,则每名学生的参与时间要酌情压缩,一般不低于20分钟。单场项目活动的服务时长从3小时到6小时不等,为确保服务的质量,单场服务最佳受益人数为不超过500人。但实际中,由于各合作单位的需求不同,单场直接受益对象的人数范围为300-1000人次。
项目因果链如下
1. 评估目标
(1)参加者能够认识2-3种毒品及该种毒品的危害;
(2)参加者至少能够辨认出一种吸毒工具;
(3)掌握2-3种拒绝毒品的技巧。
2、 实验设计
实验设计为简单的“前后测”,因为一个服务对象(青少年)接受服务干预的时间仅为40分钟,时间非常短,且在设置的固定区域内,该时间段内除了项目本身影响外,几乎不受其他干预因素影响,即基本不存在混淆因子。
3、 抽样方案
本项目采取“全样本测试”的方法,但在做评估数据分析时,采用“抽样法”进行数据的调取分析。
在本评估方法实施之前,会采取两场次的满员测试,先进行评估分析,评估工具稳定后,进行抽样分析。
因评估工具中有记录参加者的年龄,因此做数据分析时,着重选取符合项目标准对象的人群(年龄10岁-35岁人群)数据卡进行分析。这样就不受活动场地的限制,不管是在学校还是在社区,都能够挑选标准的人群数据进行成效分析。
在本机构运营项目时,采取当场抽样10%的数据进行分析;在合作伙伴运营项目时,则根据每半年的服务总量来进行抽样分析,如服务总量低于5000,则按照10%抽取样本,如服务总量高于5000,则直接抽取1000份样本量。
4、 测量方案
本项目成效评估测量工具为“问题三色卡”,其中红色卡为前测问卷,蓝色卡为后测问卷。在卷面的设计上面,为避免占用过多时间,三色卡的使用除填写个人基本信息外,其他几乎不涉及填写,只需要划线、打分、画圈圈,以纸面游戏的形式进行测试。前后测内容一致,但是前后测卷内容次序做了微调。问题三色卡共设置了AB两个版本,在使用时,类似闭卷考试,前后临近的学生分发AB卷。AB卷卷面题型一致,内容稍有不同。
评估目标一包括:准确地认识2-3种毒品,通过毒品的外部形态特征可以识别毒品的名称;认识该种毒品的危害,能够准确的说出该种毒品至少1项危害特征。
评估目标二包括:辨认可疑物品及吸毒工具。
评估目标三包括:能够识别毒品不法份子的谎言或者陷阱,能够提升对毒品的警惕意识等,通过对情景话语的可信度测量,评估效果。
关于项目服务的满意度测评,则根据活动现场的人数情况,每场活动另外抽取30-50名参加者填写满意度反馈问卷。
5、 评估工具
问题卡为主要的评估工具。按卡片底色,问题卡分为三色卡:橙色卡、蓝色卡、红色卡。
橙色卡:为项目简介及答题指引,仅供阅读,无需答题;
红色卡:为前测卡,参加者在进入反毒大篷车之前填写,在入口处撕下交给工作人员;
蓝色卡:为后测卡,参加者在走出反毒大篷车之后填写,领取纪念品时交给工作人员。
1、 确定评估目标
反毒大篷车设计相对清晰,执行也处于一个相对稳定的阶段,比较适合做项目成效评估。反毒大篷车的项目目标是“从听、说、看、体验四个维度‘零’距离知毒、识害、防毒、拒毒,从而达到远离毒品,健康生活的目的”。以因果链的角度看,“远离毒品,健康生活”是最终的结果;“知毒、识害、防毒、拒毒”是最终结果的因,是项目的直接产出,也是前一环节的结果;而“从听、说、看、体验四个维度‘零’距离”则是“知毒、识害、防毒、拒毒”的因,也是项目执行的环节
“远离毒品,健康生活”,是很难将其可操作化的;尤其是“健康生活”,何谓“健康生活”见仁见智;项目团队也并不处在可以将其定义的位置。在最终目标难以评估的情况下,上一级的目标——“知毒、识害、防毒、拒毒”就成为了次优的选择。虽然这个目标依然非常抽象,但因其是项目的直接产出,理论上和项目设计直接挂钩,因此,项目团队有“权威”来定义这个概念。
通过公开课和工作坊的学习,项目团队使用因果链的工具,将“从听、说、看、体验四个维度‘零’距离知毒、识害、防毒、拒毒”做了细致的拆解;在此基础上通过进一步讨论,厘清了项目的直接产出——知毒、识害、防毒、拒毒,并非是并行的四个维度,而是之间有因果关系的两个层级,即通过“知毒、识害、防毒”,从而实现“拒毒”;即之前的图应该修改为:
按照同样的逻辑,“目标群体在参与项目后,是否会‘拒毒’”,应该是优先的评估目标。然而,“参与项目后”意味着项目团队需要追踪目标群体,“是否会‘拒毒’”也很难被客观观察到,没有做到“拒毒”的目标群体因为“面子”和法律的关系,也很难向项目团队告知真实情况,因此,这一目标几乎无法测量。在最终的自评估方案中,读者可以看到项目团队最终确定的三个评估目标——参加者能够认识2-3种毒品及该种毒品的危害、至少能够辨认出一种吸毒工具、掌握2-3种拒绝毒品的技巧,就是在这样的过程后,做出的最现实的选择;其中前两个对应的是“知毒、识害”,最后一个对应的是“防毒”。
2、 测量和抽样方式
确定评估目标之后,就可以定义和测量其中的主要概念,即什么是“知毒、识害、防毒”;但是实际上在“反毒大篷车”这个案例中,这一过程是和评估目标的讨论同时发生的,因为项目因果链的梳理过程中,也让项目团队明白了自身项目设计背后暗含对上述概念的定义。
以以下环节为例,因果链的呈现说明了项目团队对于知毒、识害的定义中包含了“知晓毒品与药品的区别”、“认识到毒品的多元性及其伪装”等红框中的内容。接下来,项目团队就可以制定相应地测量的方法,也就是自评估方案中第五部分问题卡的依据之一。
在抽样方案上,项目团队采用了“本项目采取全样本测试的方法,但是在做评估数据分析时,采用抽样法进行数据的调取分析”的方式,也是经过反复讨论后,兼具实用性和严谨性的做法。
首先,根据项目设计,所有参与者都会在进入大篷车之前拿到一张答题卡,即项目默认会向所有参与者收集数据,也就是说测试的时候没有抽样。其次,因为项目团队告知单次大篷车的参与人数一般至少会有数百人,年度的总参与人数至少上万,所以录入所有问题卡的答案对于项目团队或者在地合作团队都有非常大的压力,较难操作。考虑到统计分析一般需要的最低样本量,项目团队决定“在本机构运营项目时,采取当场抽样10%的数据进行分析;在合作伙伴运营项目时,则根据每半年的服务总量来进行抽样分析,如服务总量低于5000的,按照10%抽取样本,如服务总量高于5000的,则直接抽取1000份样本量”。
不过,在这里项目团队没有明确抽样的方式。如果要提高样本的代表性,考虑到问题卡收集的参与者个人信息有限,这里建议使用概率抽样中的简单随机抽样(Simple Random Sampling)或者整群抽样(Cluster Sampling)来回收或者录入问题卡。
3、 因果关系验证和数据收集
这个案例中的评估目标是有因果关系的,即反毒大篷车可否让参与者“知毒、识害、防毒”,理想状态下需要用随机控制实验(Random Control Trial)来验证,理论上的次优选择则是准实验设计(Quasi-experimental design)。然而,项目团队或者在地团队很难有足够的经费和时间来完成相应的设计。
因果关系成立的三要素:时间顺序、相关性、无混淆因子(具体内容请参看指南)。随机控制实验和准实验设计的优势都在于可以较为严谨地排除干扰因素。在反毒大篷车的项目场景中,干预发生的时间非常短,仅为40分钟左右,混淆因子很难出现;由此,只需要进行和比较前后测,就可以相对严谨地验证因果关系。
不过,前后测也是需要质量控制的。可能的问题会出现在:
1)一些问题卡因为前测或者后测的问题卡丢失或者未回收,而无法匹配;
2)问题卡因为前测或者后测的姓名填写错误或者字迹潦草无法辨认,而无法匹配;
3)问题卡的一些问题因为漏填或者字迹潦草、字迹模糊,而导致答案无效。
第一个问题可以通过严格设计回收、运输和保存流程来避免,项目团队把后测卡和领取纪念品结合到一起,是较好的策略。后两个问题一方面需要向参与者提醒;另一方面可以进一步完善问题卡的设计,例如留足填写空间、将题干加粗/突出等方式,来避免漏填或者字迹模糊。
石圆圆:中级社工师,深圳市初级督导,现任深圳市龙岗区彩虹社会工作服务中心副总干事,兼任禁毒领域项目总监、产品经理,广东省社区戒毒康复社会工作实务专家。
郝柱:社会学硕士,现为深圳市龙岗区彩虹社会工作服务中心策划研究部部长。