市政府妇儿工委办 邓美珍 (2006年3月24日)
一、 两纲中期评估概述 (一)概念 《纲要》的监测评估是指:在《纲要》执行过程中,依据《纲要》提出的总目标和各项具体目标,通过对数据和其它相关信息资料的收集、整理和分析研究,对《纲要》实施的进展情况进行动态跟踪,对干预政策和措施的效果、效益和效应进行考察,进而对《纲要》实施背景下妇女儿童发展现状,特别是达标情况作出分析评价的工作过程。
(二)两纲监测评估的目的意义 目的: 1、两个《纲要》提出了妇女儿童发展的目标、任务和有关政策措施,是指导、规范和推动工作的行动纲领和政策性文件。 2、一个完整的政策过程除了要合理规划和有效执行外,还要对政策执行的效果进行判断,保证政策得到持续有效的实施。 3、对《纲要》执行过程进行监测评估,既是推动实施的重要手段,也是实施过程的重要环节 意义:在确立正确标准的前提下,对《纲要》实施作出实事求是的评价,对于: Ø 科学的总结和分析《纲要》执行中的经验教训 Ø 使《纲要》的目标与行动策略不断完善和科学化, Ø 合理配置妇女儿童发展的政策资源, Ø 有效的发挥《纲要》的功能和作用,具有十分重要的意义。
(三) 监测、评估及督导:概念及相互关系 1、概念: 监测是对纲要执行的进展情况的动态了解,是一个跟踪/衡量的过程。它重点关注衡量目标实现状况的各项指标的变化,政策执行者可据此判断进展情况是否按预期目标进行。 监测是一种非常重要的管理工具 评估是一个尽可能系统地、客观地衡量纲要实施的结果及干预措施价值的工作过程。评估的目的主要是:确定目标实现及干预措施结果的可信性;对干预措施进行改进; 总结经验和教训以便更好地实现或制定目标。 “客观”一词表明要使用不同来源的信息和不同方法来达到分析评价、识别偏差的目的。 督导主要是指通过对实施过程的现场考察(包括对报表、总结的审核),了解政策、项目、计划的执行情况,对实施中的偏差予以纠正,对执行中遇到的问题给予技术指导和帮助,对自我评估的结果进行检验、核查。 督导是快速的外部评估特别是上一级对下一级进行评估的重要方法。 督导通常由专家和专业人士进行。 2、监测与评估:两者相互关系 (1)联系 Ø 监测与评估是一个完整的过程: – 评估必须建立在客观全面的定量定性信息收集的基础上。程序上:先监测 后评估 Ø 监测与评估可独立进行但相辅相成: – 统计监测的重点及指标确定离不开对妇女儿童发展总目标和具体目标的分解和研究 – 好的评估报告也离不开对定量数据的分析和判断 (2)区别: Ø 监测着重于对纲要目标实施状况的量的描述、判断 Ø 评估工作决不止于对定量指标与数据的评价,还要对发展的目标和指标本身,对发展的社会政策环境、对发展中存在的关键问题和优先领域进行综合的判断和评价,是量和质的结合 Ø 监测报告以监测数据报表为基础,是对目标实施状况量和量之间的关系的描述报告 Ø 评估报告还会对监测资料的可靠性、达标判断的依据、结论的有效性作出评价,是更为综合的分析报告 Ø 监测统计的责任主体统计局及相关政府机构(教育、卫生、劳动、民政等统计部门) Ø 评估工作的责任主体妇儿工委及其办公室(系统、部门,市、县各级、各层面)。统计局要承担统计数据收集、审核、分析重要工作,其他成员单位也要进行所分解任务的评估并为整体评估提供支持。 总之,监测是评估工作的基础,督导是评估工作的手段之一,二者都是中期评估的重要内容与重要环节,但都不是评估工作的全部,不能用监测或督导代替评估工作。
二、 评估工作程序、内容和方法 (一)程序: 《纲要》的评估工作包括:设计方案、收集资料、综合分析、提出结论与建议和撰写评估报告五个阶段内容的完整工作程序。 1、设计评估方案,重点是: 第一,明确目标和范围 • 明确目标,确定评估什么 • 明确范围,包括评估的领域和对象。是综合评估还是重点项目评估;是自我评估还是外部评估等等。
第二, 确定评估方法,决定评估的信息来源 • 不同的评估内容和目标领域,方法应有所侧重:目标实现状况 V 工作机制和组织领导;教育、卫生 V 法律、环境 • 确定信息来源主要取决于工作要求、已有信息的可靠程度、收集新信息的时间经费上的可行性
第三, 选择评价的价值标准,不同的标准导致不同的评价结论、甚至产生价值冲突或错误的结论。应坚持: i. “男女平等”、“儿童优先”的两纲基本原则 ii. 妇女儿童发展和社会发展协调同步的原则 iii. 现实性与前瞻性相统一的原则
第四, 量化目标达标值的选择 i. 有明确目标值的使用该值 ii. 没有的参照国际和国内研究公认的目标值 设计评估方案应包括以下内容: - 评估题目; - 评估的背景; - 评估的主要内容,指标; - 评估方法与信息来源; - 评估人员与工作分工; - 评估报告(报告的类型、数量); - 时间要求 (评估的费用预算?)
2、收集资料 在时间上,应包括《纲要》实施前后和不同发展阶段,2000年——2005年 在对象上,除了反映女性发展状况与男性比较的数据外,还应包括与妇女发展密切相关的国民经济和社会发展的宏观数据 资料性质,除了定量资料外,还应收集统计数据无法反映或不能确切反映的相关的定性资料,如消除不平等、促进妇女发展的工作和活动的信息,深入分析问题所需要的有关态度、做法等 • 资料来源: – 通过常规统计汇总的监测资料 – 其他部门、项目所作的专项调查 – 为本次评估进行的调查或访谈资料 • 收集并使用资料的基本准则:实事求是、严禁弄虚作假 是原始资料、不是为应付评估编造或调整的的 – 有原始记录可查、估算、推算要有科学性
3、 综合分析 综合分析是对《纲要》执行结果做出的评价。包括效果、效益、效应等几个方面。 效果评价是对纲要目标实现程度、纲要实施的影响的评价。要求:对结果的可靠性、某一结论的适用范围进行判定和限定。如,数据质量在多大程度上是可靠的,那些结论仅适用于某一范围。如城镇单位分性别收入数据并不能真实反映两性收入的差异状况。重点考察实施两纲妇女纲要的效果。妇纲应主要考察社会性别主流化、推进性别平等的专门措施的影响。同时对各领域发展政策对男女两性发展及发展差距的影响进行分析。 效益评价是对结果的可靠性、某一结论的适用范围进行判定和限定。如,数据质量在多大程度上是可靠的,那些结论仅适用于某一范围。如城镇单位分性别收入数据并不能真实反映两性收入的差异状况。重点考察实施两纲妇女纲要的效果。妇纲应主要考察社会性别主流化、推进性别平等的专门措施的影响。同时对各领域发展政策对男女两性发展及发展差距的影响进行分析。是对政策结果与政策投入之间关系所作的判断。任何政策实施都要有一定的人力物力投入,两个纲要国家和各级政府都有相应的政策投入。投入的效益如何,是否获取了充分的利益,是否解决了最突出的问题,是否经济有效,是效益分析的关注的内容。 效应评价是把政策放到整个社会系统中,从妇女发展政策和社会整体与其他系统,国家社会经济宏观政策和部门政策对妇女发展的相互影响中对《纲要》进行的综合分析评估 :本期两个《纲要》是在加入WTO和深化体制改革的背景下制定并实施的,政策制定和政策调整是这一时期社会经济运行的显著特点,必须密切关注社会经济宏观政策和其他部门政策的走向,分析这些政策是否对男女两性存在不同影响,是否会一定程度上削弱政府履行促进妇女儿童发展责任的能力。
4、作出结论提出建议 首先是对成绩和问题的提炼和归纳,形成对发展状况、策略措施优劣的基本判断。 • 其次是对导致政策优劣的原因进行分析。包括 – 对纲要总目标与社会发展目标关系的分析 – 对纲要具体目标的分析,是否正确、先进、可行,目标之间是否协同一致、是否存在遗漏和遗忘 – 对策略措施科学规范性的分析,考察行动策略与问题是否适应;策略措施是否完备、相互配套,政策措施的力度是否适度等 – 对价值取向的分析,是否正确,不同层次、不同领域行动和活动的价值取向是否吻合 • 改进建议的提出既要有针对性也要有充分的可行性论证,这样才能解决未来应突出解决的问题,及时纠正上一阶段失误和偏差,避免以往出现的问题再度出现。 • 在提出建议时要特别注意和关注宏观社会经济政策变动的影响和要求。如加入WTO、解决三农问题。
5、评估报告的撰写 评估报告的撰写应包括以下主要部分: a、报告摘要; b、评估背景、目的、方法和局限性; c、妇女儿童发展目标实现状况; d、工作进展情况、经验和不足; e、两纲的重点、难点问题及原因和影响因素。可从两纲目标和社会发展目标的关系、政策环境、经济和财力可行性、机构的能力、社会文化背景、适当的技术和干预方法等方面入手; f、结论和建议,包括改进的方法和经验教训。
(二)评估内容:评估什么: 1、目标进展情况。依据“两纲”的目标特别是重点目标进行;是否达到预期目标,是超出预期目标还是落后与预期目标,能否如期完成;阶段性目标实现状况,每一年的变化怎样,是不是有较大的波动;不同领域目标实现的一致性、均衡性;存在的重点难点问题及原因。 注意几点:1、选择合适的评估指标。以核心指标为主,重点指标为主。核心指标的选择主要看是结果指标还是支持性指标;重点指标:基本问题、本地突出问题。侧重于性别敏感统计指标,强调指标对社会性别差异/性别平等程度测度的灵敏性:干部中的女性比例 V 公务员的女性比例;对作出评价结论有意义的指标:最低生活保障人数(经济)?破获拐卖妇女案件数、解救拐卖妇女人数(法律)?2、如何处理难以评价、无法测量的目标和指标?纲要目标是评估的依据,一定要遵循:尽可能利用已有的数据,没有大范围可用小规模,没有定量资料,可进行定性分析;指标可在原有指标框架内根据上述标准选择;可根据较为成熟的理论认识选择更合适的指标并提出修订监测评估指标的建议
2、工作机制。 (1)领导重视,妇女儿童纲要目标是否: -纳入社会经济发展总体规划和部门目标 -纳入政府工作范围和主要负责人的目标考核范围 -纳入同级政府财政预算
(2)规划制定,是否: -制定了地区的两纲实施规划和年度计划; 能结合本地情况,突出重点问题; -落实目标责任制
(3)工作机构和工作制度: -是否建立促进发展的工作机构,机构的有效性如何; -是否建立了相应的工作制度:会议、检查、督促; -是否形成解决妇女儿童发展问题的跨部门合作
(4) 宣传培训: -报刊、广播宣传两纲目标及实施进展情况 -开展国策和两纲培训的情况
(5)监测评估:是否: 建立两纲监测统计网络和工作制度; 两纲监测统计数据库,特别是分性别统计数据; 开展年度监测,形成监测报告,运用监测评估结果
(6) 经费纳入, 教育、卫生(妇幼卫生投入)投入 妇女儿童工作经费投入 落实重点指标的经费投入 3、干预措施(活动、项目)相关性:分析在现有的条件下,所采取的措施对实现纲要目标是否有意义。 Ø 影响:实施干预措施的结果是什么?对实现纲要目标和妇女儿童状况的改善产生了哪些影响? Ø 有效性:所采取的干预措施对达标做出了多大的贡献? Ø 效率:纲要干预措施的实施成果相对于投入的成本效益如何? Ø 可持续性:干预措施是否具有可持续性?是否纳入日常工作的要求和程序中?资金、人员、机制上是否有可持续发展的保障? (四)评估的方法 1、 性别分析方法 什么是社会性别分析? • 是从社会性别视角进行的分析。 • 是一个包含识别和理解性别不平等的原因的分析过程,目的是找出导致妇女/女童不利地位的社会、政治、文化等结构性原因,发现政策/措施对男性和女性的不同影响,以利于发展有针对性的政策和措施,从根本上改变性别不平等的状况。 • 社会性别分析包括: • 性别敏感指标的建立和数据/资料的收集 • 发现男女在劳动分工、获取和控制资源以及决策方面的不同状况和地位 • 了解男孩和女孩、男人和女人在生存、发展、社会保护、家庭责任等的需求、限制和机会; • 分析政策/措施对不同性别的影响 • 分析更大环境(法律和社会文化)对男女的机会与限制的影响 • 检查现有制度和机制实现和促进性别平等的能力 • 应把性别分析作为评估的基本工具。 • 妇女的发展进步是在与男性的比较中实现的,不论是对横向比较,还是对纵向变化的考察,都离不开性别分析。 • 儿童发展的性别差异同样需要关注。《行动纲领》指出:很多国家提供的数据显示,女童从生命最早阶段起及在整个童年直到成年都受到歧视。中国女童与男童的生存发展差异也存在一定差异。 童年阶段男女两性的发展差异已十分明显 • 出生性别比持续偏高。 • 婴幼儿死亡率,女高于男。 • 女童的健康资源获得率低于男童,女童从有病到就医,平均为48小时,而男童为24小时。 • 与男孩相比女童入学机会更少、读书年龄更晚,离开学校更早。 • 女性的早婚率高于男性。 忽略社会性别分析导致的问题 • 看不到发展中的性别差距——流动 • 不能正确判断社会政策、改革措施的优劣——托幼服务体制改革、医疗改革 • 不能正确判断性别平等促进工作的实际效果——女童教育项目 • 不能有针对性地开展工作,解决女性面临的突出问题——留守儿童 • 不能发现好的变化——北京的劳动合同续定率 社会性别分析方法具有广泛的用途: • 各级妇儿工委的协调、督促工作可通过社会性别评估进行: • 计划评估:计划是否纳入性别平等、如何纳入,对计划预算的评估,叫“社会性别预算” • 过程评估:考察执行中是否促进性别平等及程度,如:农民工培训计划 • 结果/影响评估:结束时进行,看男女是否平等从政策、项目、工作中受益;对性别平等的深远影响如何 • 综合评估:对项目、工作的各个阶段、各个方面的综合评估,一些国家称为“社会性别审计” 2、比较评价方法 • 通过: – 对《纲要》执行前后妇女及社会环境的比较; – 对《纲要》目标与结果的比较, – 对各种投入与结果的比较, – 对《纲要》实施的积极效应和消极效应的比较,来实现对《纲要》的评价。 • 比较评价方法包括:直接比较与间接比较,单项比较和综合比较;静态水平比较与动态变化比较。 3、定量分析与定性分析 • 定量分析:利用数量资料,对数据的变化、数据之间的关系进行分析,得出是否达标、发展快慢、性别差距大小及差距的变化等结论 • 定性分析:利用文献信息(工作、活动计划、总结,会议记录等等)、深入访谈资料对工作、活动的过程、影响结果的各种因素进行分析 分析原因: “为什么?” 问题(后果)/权利没有被充分满足 直接原因:“技术/行为/方法” 间接原因:“服务提供/接受服务/行为” 基础(结构)原因:“社会/政策/资源” 原因分析 – 举例 问题:儿童营养不良的比例高,特别是女童 直接原因:食物缺乏、六个月前过早添加附食 间接原因:鼓励奶粉喂养、早期刺激不足、母乳的价值未被认识到 基础原因:性别歧视、缺乏信息、服务资源不足 总结: 中期评估报告的撰写既是整个妇女儿童生存发展状况监测评估工作的一个有机组成部分,也是整个监测评估工作成果的集中体现。 报告的撰写应在对监测评估定量定性数据资料充分的分析基础上完成,报告的形成过程也是对相关数据综合分析得出结论的过程。
三、两纲中期评估工作的实施 第一步:组建机构 妇儿工委办公室下设两个工作组,一个是统计监测组,一个是专家评估组。统计监测组由统计局牵头,政府各有关部门的业务人员组成;专家评估组由有关方面的专家组成。也可以在县(市、区)妇儿工委办公室下设立一个的监测评估联合小组。
第二步:制定评估工作方案 • 确定评估的内容、范围 • 确定评估指标,包括定量和定性指标 • 确定评估方式,自我评估或外部评估 • 确定评估方法,决定评估的信息来源 • 选择评价标准。不论是妇女儿童发展状况还是对工作进展的评估,标准的确定都应坚持“男女平等”、“儿童优先”,坚持妇女儿童发展和社会发展相协调,现实性与前瞻性相统一的原则。
第三步:收集信息资料 Ø 定量信息的收集 ü 政府常规统计中两纲评估指标数据 ü 抽样调查数据 ü 项目评估数据 Ø 定性资料的收集 ü 工作信息(计划、检查、总结) ü 活动信息 ü 典型调查、个案访谈资料 ü 工作对象对政策措施的评价信息
第四步:有关部门的自我总结 Ø 本部门负责的妇女儿童发展目标进展情况,数据可靠性。 Ø 分解的目标是否纳入部门工作计划和日常工作。 Ø 为实施纲要采取的政策措施、做法和效果。经验和不足。 Ø 目前存在重点难点问题,问题的原因。 Ø 对策建议。
第五步:实地考察、督导 • 听取汇报 • 召开座谈会 • 查阅资料(历年的监测统计资料,原始台帐) • 现场考察:学校、医院、卫生院,社区、企业 • 入户访谈:农村妇女参与发展、儿童入学、儿童保健
第六步:综合分析评估 Ø 对妇女儿童发展目标与社会经济发展目标的比较分析 Ø 对不同目标及其相互关系的综合分析 Ø 对不同来源的数据进行综合分析 Ø 对妇女儿童发展干预措施的影响分析 Ø 对干预措施与达标数据的综合分析 Ø 对部门评估报告的评估分析
第七步:形成评估报告 Ø 妇女儿童发展纲要执行情况综合评估报告 Ø 分领域妇女儿童发展纲要目标指标达标情况报告 Ø 妇女儿童发展措施评估报告 Ø 妇女儿童工作机制评估报告 Ø 妇女儿童发展重点难点问题分析报告 Ø 建立健全妇女儿童发展监测评估制度的政策建议报告 Ø 改进妇女儿童工作的建议报告
第八步:评估结果的利用 • 提交决策者和有关部门 • 作为两纲后五年目标措施的调整的依据 • 广泛宣传评估的结果
|