困境儿童服务类公益项目如何做自评估?| 案例复盘
精选文章
2021-01-19

01 项目介绍

“逆风飞翔·事实孤儿同行计划”是长沙市岳麓区大爱无疆公益文化促进会发起,专门服务事实孤儿的公益项目。2011年,项目从服务岳麓区32名事实孤儿做起,现已服务湖南省1568名事实孤儿。项目通过助学、陪伴行动,保障事实孤儿接受公平教育的权利,提升他们的独立生存能力、安全自护能力、社会交往能力,并通过情感陪伴与家庭环境支持,促进其心理健康发展与正确价值观的形成。

项目包括助学行动、环境支持、陪伴成长、成长营地和政策倡导五个子项目。

助学行动:以小学、初中1200元/年;高中、大学2000元/年资助其完成学业;


环境支持:融入社工手法和心理学手法,邀请社会工作、心理学、法律等方面专家进行环境支持,改善事实孤儿与监护人之间的沟通效率,提升监护人陪伴孩子的能力;


陪伴成长:通过招募爱心家庭、大学生志愿者陪伴事实孤儿成长,包含线上沟通、季度会面、素质拓展等多种陪伴模式;


成长营地:搭建成长平台,引入心理、社会、教育等领域的专业力量,有针对性地设计专业的成长课程,包括防性侵等儿童安全课程;


政策影响:通过项目调研,形成数据资料,邀请区、市、省级的人大代表或政协委员撰写关于建设事实孤儿纳入救助保障体系的提案建议。


本评估方案将对事实孤儿成长营中的防性侵安全自护课程和助学行动进行评估。


02 评估目标


一、9-14岁的事实孤儿掌握防性侵知识


1、因果链

1611041725606682.png

2、实验设计

通过简单前后测的方式进行评估。一是事实孤儿来自于湖南省多个地州市,长期评估跟踪不方便执行;二是性教育知识涉及个人隐私,不方便以其他实验方式实施。辅助前后测的还有孩子在游戏中的表现、课堂问答与绘图、成长记和助教寄语等。(防性侵知识前后测问卷、防性侵人体示例图前后测、成长记和助教寄语表格详见5、评估工具)


3、抽样方案

单次成长营活动100%为事实孤儿时评估无须抽样。一是评估目标数量一共30人,全部纳入评估范畴;二是所有孩子都是事实孤儿,男女生数量各半,分别来自农村与城镇,评估标本本身就具有代表性。


本次抽样方案也考虑到规模化场景下的方法。


4、测量方案

测量通过《青少年预防性侵案例知识前测问卷调查》《青少年预防性侵案例知识后测问卷调查》完成。测量在麓山少年成长营开展期间进行,测量时间分别是防性侵安全教育活动前后即时进行。优势是所有参与评估的孩子本身对评估机构及工作人员有信任基础,便于评估实施。安全教育以视频、游戏、有奖问答等方式进行,轻松愉快的教学方式免于孩子受情绪影响而造成评估结果的不客观。整场活动都在成长营进行,时长约3小时,前测10分钟,分享10分钟(随机、自主举手),后测10分钟。劣势是性侵害涉及个人隐私,不排除有孩子在回答问题时害怕泄漏隐私而隐瞒评估结果的真实性。鉴于此,前后测将采用匿名的方式,用编号或者化名代替。


5、评估工具

由于前后测问卷问题相同,为便于阅读,此处进行了合并呈现。

亲爱的朋友:
你好!在学习预防性侵安全知识之前/之后,请你利用10分钟的时间,根据你的实际情况如实填写此问卷。问卷涉及到你隐私的部分,我们会严格的保密。谢谢!

姓名: 性别: 出生年月: 居住地: 农村/城镇

1、你是否知道自己身体隐私部位不能随便让异性接触?

A、知道 B、不知道

2、你认为容易受到性侵伤害的人有?       

A、女生    B、男生

3、以下哪些行为是性伤害?

A、大人带你去隐藏的地方,让脱衣服裤子  

B、大人抚摸你的胸部、下身,或让你抚摸他的敏感部位

C、和你谈论敏感部位,或一起看有裸露镜头的电影、视频

D、大人用身体的某部位(生殖器、嘴)接触你的任何部位

E、说下流的话、开性玩笑、打性骚扰电话等非身体接触类行为

4、你身体的哪些部位是陌生人坚决不可以碰的?

A、头部  B、肩部     C、背心和裤衩覆盖的部位  D、膝盖

5、在所有的性侵案件中熟人作案较多,下列哪些人有可能是性侵犯者?

A、父母的朋友    B、隔壁邻居    C、学校老师    D、陌生人

6、夏季的晚上是性侵案件高发期,请问性侵案件一般发生在哪些地方?

A、荒郊野外    B、封闭的室内    C、人员密集的地方

7、请问,实施性侵的犯罪分子,他的年龄大概会是多少?

A、30—40岁    B、40—50岁    C、50岁以上    D、没有年龄限制

8、当你和朋友出去玩时,下列哪些做法是可以保护你的?

A、告诉父母和谁一起出去玩,去哪里玩,回来的时间     

B、 未经过允许,不在别人家过夜   

C、不随便喝别人给的食品,谨防麻醉药物    

D、拒绝男士提供的色情影视录像和书刊图片,预防其图谋不轨

9、请问,和自己不是非常熟悉的人相处时应该注意什么?

A、不喝他人事前准备好的饮料    

B、饮料保持在自己视线范围之内   

C、外出回来时另开一瓶新的饮料

10、在公交车上,如果遭遇他人故意抚摸或擦蹭,我们应该怎么做?

A、大声斥责,引起他人注意   

B、言语警告

C、踢打他的敏感部位   

D、隐忍不说

11、请问在上网时那些行为是正确的?

A 、随意和陌生网友聊天           

B、不浏览不健康的黄色网页  

C、不随便将自己的个人信息和照片透露给其他人     

D、观看黄色视频

12、请问在换衣服、上厕所、洗澡时,要把门关好,拉上布帘;如果窗户在别人的视线内,也应关上。这样的做法?

A、正确      B、错误

13、如果有熟人触摸我们的隐私部位,我们应该怎么做?

A、认为是熟人不会有事就保持沉默   

B、立即大声的说不    

C 立即跑开到离自己最安全的地方

14、请问以下哪些行为属于性侵害活动?

A、被人强迫亲吻      

B、被长辈和亲人轻捏脸颊   

C、告诉爸爸一件高兴的事,他拥抱我  

D、让你感觉很不舒服的动作

15、在正面遇到犯罪分子是,下列哪些方式可以非常有效的应对?

A、两手指用力戳犯罪分子的眼睛   

B、使用发卡、夹子戳犯罪分子的眼睛

C、用膝盖或脚踢犯罪分子裆部     

D、使用面粉、辣椒粉、细土扔向犯罪分子

16、如果你不幸被犯罪分子加害,请问下列哪些做法可以帮你脱离困境或方便警察抓人?

A、随手抓个物品(一根草等)放在犯罪分子的口袋中

B、记住他的外貌、身份特征   

C、把(书)包扔向人群,引起他人注意

17、小红在受到性侵之后,下列哪些是她在3个小时之内就要做的事情?

A、告诉家人  B、保留证据,比如说不洗澡    C、报警   D、找医生

18、小红在受到性侵之后,下列哪些是可以作为证据来证明犯罪分子的罪行?      

A、毛发    B、体液    C、抓痕    D、性侵现场和现场遗留


《防性侵人体示例图》 

 1611042316505198.jpg


《成长记和助教寄语表格》

1611042355878174.jpg


二、降低事实孤儿的九年义务教育辍学率

1、因果链

1611042108933992.png

2、实验设计

项目通过长期实验来进行成效评估。据研究数据显示,2018年,全国初中以下辍学率为5.47%,普高与职高辍学率为54%。辍学与撤村并校、留守儿童增多、教育成本增加、家长教育意识淡泊有关。2018年底,机构对参与助学行动的564名受益人进行实地访谈评估,评估结果为:初中及以下辍学率为0%,其中30名孩子考上大学,50名孩子完成职业技术学习参与就业。达成项目成果的原因有多方面:


一、国家九年义务教育政策改善,以及精准扶贫政策的推进降低了辍学率;二、项目资助缓解了事实孤儿家庭压力;三、机构介入的情感支持与正面影响促进了监护人的教育意识提升。


3、抽样方案

评估对象为九年义务教育期间的事实孤儿,共400名左右,可以全部测量,不需要抽样。项目资助一直在实施中,机构随时掌握学生上学情况,发生辍学即将中止资助。机构每年都对适龄的事实孤儿数据进行汇总,所以辍学与升学数据详细。

 1611042398853582.jpg

▲ “麓山少年成长营”在一处乡村小学的旧址,被“大爱无疆”租用来作为活动场所。© 微博@湖南康雄


4、测量方法

测量通过多种方式进行。一、查看初中毕业证。二、制订《项目影响力评估表》,了解助学对于孩子在求学中的激励作用。三、进行入户访谈,面对面了解孩子学习情况。四、伙伴机构孩子通过电话收集信息。五、通过志愿者助学款发放时进行信息收集。优势:入户访谈更能促进与受益人的情感链接,通过查看毕业证件了解辍学情况;志愿者助学款发放与访谈可同时进行,节约时间及财务成本。


5、评估工具

《项目影响力评估问卷》

亲爱的朋友:

你好!我们是大爱无疆公益文化促进会。此问卷是为了了解我们项目对你产生的实际影响。填写此卷可能会花费你5分钟左右的时间。问卷涉及到你隐私的部分,我们会严格的保密,不会向外界透露你的姓名、学校和家庭住址等隐私。谢谢你的配合!

姓名: 性别: 出生年月: 居住地: 农村/城镇

【助学款发放】

1、你的最高学历是

A、小学    

B、初中     

C、高中     

D、大专     

E、本科及以上

2、你是否已经参加工作

A、是     

B、否   

3、工资是不是能维持基本生活

A、不能    

B、刚刚维持       

C、略有剩余    

D、剩余较多    

4、你是从(      )年(     )月至(      )年(     )月被资助的,接收资助款的次数共计(      )次,接收资助款的金额共计(      )元  

5、助学款发放对你的影响(可多选)

A、缓解经济压力  

B、增加读书信念   

C、鼓励积极生活  

D、感受到社会关心

E、其他                                                

6、志愿者探访的次数

A、1-5次     

B、6-10次      

C、11-15次      

D、16-20次

7、志愿者探访对你的帮助(可多选)

A、辅导功课  

B、关心生活  

C、解决生活问题  

D、树立学业目标

E、其他

【集体活动】  

8、参加过几次集体活动?

A、1-3次     

B、3-6次      

C、7-10次        

9、参加过哪些集体活动?(可多选)

A、暖冬行动     

B、新年新书包     

C、安全自护教育课程     

D、麓山少年成长营

E、其他活动                                       

10、参加活动时你的感受是?

A、活动对我很有帮助,很开心   

B、一般般,没什么意思  

C、不太开心

D、其他

11、你最喜欢大爱无疆的哪些活动?

12、参加哪次活动你感受最深?为什么?

13、你对大爱无疆的集体活动有什么建议?

14、以后你需要大爱无疆继续对你开展帮助吗?哪些方面需要?为什么?


03 案例分析和讨论

1、确定评估目标

逆风飞翔是一个多模块的项目,包括了助学、成长营、陪伴、环境支持和政策倡导,通常以“助学”作为干预开端,然后给事实孤儿以其他模块的支持。项目的目标是“通过助学、陪伴行动,保障事实孤儿接受公平教育的权利,促进他们的独立生存能力、安全自护能力、社会交往能力的提升,并通过情感陪伴与家庭环境支持,促进其心理健康发展与正确价值观的形成。”这里面涉及成效的关键词是“公平教育的权利”、“独立生存能力”、“安全自护能力”、“社会交往能力”、“心理健康发展”和“正确价值观”。这些词的可操作化都有很大的困难,而且这些方面改变的时间点难以估计,往往也不在短时间内发生,所以关注整个项目的最终成效,对于自评估是不现实的。


最终,机构选择了其中两个相对重要而且成熟的模块来进行自评估。评估目标1针对的是成长营模块,考量的是成长营中性教育板块的成效。评估目标2则衡量的是助学模块的成效。


 1611042446770680.jpg

▲ 在2020年8月的一届“麓山少年成长营”中,孩子们自己设立的小组契约。(遮挡部分为孩子们的签名)


2、测量和抽样

对于评估目标1——9-14岁的事实孤儿习得防性侵知识,机构设计了相应的问卷来测量受访者的防性侵知识,对于所有参加成长营的孩子都有测试。问卷的内容很好地覆盖了性教育的内容,而且设计的形式也基本符合该年龄段儿童的特点。潜在的问题有两个。第一是,问卷要求受访者填写姓名,这可能有伦理风险,或者会导致孩子隐瞒一些敏感的真实情况。要避免这个问题,机构可以将个人信息从问卷中除去,但是相应的“成本”是问卷的前后测如何匹配,需要另想办法。另一种选择是,机构需要足够的伦理风险防范,包括和参与成长营的小朋友建立足够的信任、保护好填完的问卷以免数据泄露等。


对于评估目标2——降低事实孤儿的九年义务教育辍学率,测量的方式则是通过查看初中毕业证书(对于已经完成九年义务教育的事实孤儿)和通过询问被资助者本人或者其家人确定事实孤儿还在上学。鉴于上学情况一般难以造假,以上应该已经足够测量评估目标了。机构还设计了一个问卷,但是从问卷的内容看,并不直接针对辍学,而更像是询问事实孤儿对于项目的参与情况和其他需求。


以上两个目标,项目方都会收集全部参与者的数据,即不抽样,或者说抽了全体。在条件允许的情况下,是理想的选择。项目方还考虑到了规模化场景下的抽样。


3、因果关系验证

两个评估目标都需要验证因果关系,但是项目方都采用了单组的设计。对于评估目标1,单组前后测的设计问题较小。因为孩子处在一个较为封闭的成长营的环境里面,前后测相隔时间也比较短,所以除成长营提供的教育外,其他影响防性侵知识的因素较难发生。当前后测的指标发生变化时,还是可以比较严谨地归因于成长营的教育本身。


对于评估目标2,单组前后测的问题要相对大得多。因为和成长营正相反,孩子所处的环境是开放的,九年制义务教育阶段是否辍学也要等到毕业才能最终下结论,所以影响辍学的因素很可能会在干预期间发生。不过,项目方在方案中提供了全国初中平均辍学率、职高和高中的辍学率,这其实是一个弥补单组前后测问题的方法。例如,将被干预事实孤儿的辍学率和全国初中辍学率做对比,其实相当于将全国初中生选为了对照组。不过,这样的方法需要注意的是统计数据是不是同期,“对照组”是不是有足够的相似度。

04 小结

“逆风飞翔·事实孤儿同行计划”自2011年启动,经历了很长一段时间的摸索阶段。项目团队从入门“小白”,不断挑战自己,审视和反思项目,看执行方式是否行之有效,是否回应了事实孤儿最迫切的需求。到2015年终于形成了较为固定和初见成效的执行模式,之后的4年时间,项目开始复制,从长沙市岳麓区起步,逐渐覆盖全长沙市及长沙市外两个县市区。有了良好的基础,2019年中国扶贫基金会和好公益平台联合支持项目进行规模化推广,而新的问题由此产生——服务对象人数急剧增加、合作伙伴能力不一和各具特色的情况下,如何有效评估项目执行情况?


关于规模化场景下的项目自评估,好公益平台邀请益研益行团队,为长沙市岳麓区大爱无疆公益文化促进会在内的8家机构量身定制了《规模化视角下的评估思维》课程。半年的时间内,项目团队参与了该主题课程的两次线下工作坊以及两轮1对1指导。益研益行团队基于对项目的充分了解和尊重,帮助项目方梳理项目逻辑链条和自评估目标。


“逆风飞翔·事实孤儿同行计划”项目团队经历了一段很难熬、很纠结的过程。难熬在于,一个“门外汉”团队要逐渐构建起自己的评估思维知识体系,如何追根究底地探测到项目每一个环节、每一个执行阶段想要达成的目标,每一个人都在努力成长;纠结在于,如何取舍评估目标,哪些目标是项目方以及项目伙伴机构很容易就可以开展评估的,哪些是比较艰难且短时间内、至少一个项目年度内没有办法做到有效的自评估的,评估哪一个环节、哪一个阶段……


最终,自评估方案初步成型。“逆风飞翔·事实孤儿同行计划”项目团队充分考虑了伙伴机构的整体能力以及项目“成长陪伴”环节的特殊性,从项目因果链中选取了两个有代表性的环节设计评估方案。这份方案仅代表“逆风飞翔·事实孤儿同行计划”的部分目标,但又是一次探索,通过一步一步地尝试,终将形成能够代表整个项目的有效的自评估方案。


平台动画 产品招募