管理评估形式和手段.docx
- 文档编号:26212702
- 上传时间:2023-06-17
- 格式:DOCX
- 页数:17
- 大小:25.78KB
管理评估形式和手段.docx
《管理评估形式和手段.docx》由会员分享,可在线阅读,更多相关《管理评估形式和手段.docx(17页珍藏版)》请在冰豆网上搜索。
管理评估形式和手段
管理评估形式和手段
作者:
赵小津王卫东
来源:
《科技创新导报》2014年第24期
赵小津王卫东等
1管理评估的基本形式
组织级、项目级、产品级科研生产管理评估模型都分为过程和结果两个部分,航天科研生产管理评估在实践中一般根据要素的不同类型和特点采用现场评估和非现场评估两种形式。
1.1现场评估
现场评估形式主要针对大多数的过程部分要素,一般又分为被评方自评和专家现场评估两个环节。
其中,自评是被评方对照《评估手册》中的评估标准对本组织年度科研生产管理情况进行的自我评定,同时也是评估过程必不可少的一环。
自评的结果一般以自评报告的形式体现。
自评报告是被评方介绍自评工作和自评结果的书面材料,同时也是评估专家进行现场评估时的主要参考,因此其内容应全面准确地反映被评方的年度科研生产管理情况。
专家现场评估是年度评估工作的主要形式。
为了开展现场评估活动,评估方一般先抽调评估专家和评估方职能部门相关人员成立评估组。
在现场评估时,评估组通常以被评方的自评情况为基础,按照《评估手册》中各要素的评估标准考察被评方科研生产管理过程的成熟度,特别是规范性、科学性和创新性。
由于评估要素涉及的线多面广,而且各被评方承担的任务类型也不尽相同,仅审查被评方提供的材料可能难以准确把握真实情况,而采用现场评估的形式可以使评估专家与一线管理人员面对面的交流沟通,也可以实地考察管理现场,最直接、最准确地了解被评方的科研生产管理工作,此外面对面的沟通也有利于评估专家把评估标准的准确含义以及其他组织好的做法和经验传递给被评方。
现场评估的记录应以规范、清晰、准确、具体、翔实为标准,确保评估意见理由充分、具有说服力,结论观点明确、客观且没有争议。
需要说明的是,现场评估末次会上向被评方反馈的仅是初步评估结果,评估方还要在综合对比各被评方的情况后才能形成最终的量化评估结论。
1.2非现场评估
非现场评估形式主要针对少数过程部分要素和全部结果部分要素,一般又分为评估方日常跟踪检查和集中审定两个环节。
对于某些过程部分的要素而言,短时间的现场评估可能难以准确反映被评方的真实情况。
因此,要想对这些要素进行评估就必须依靠对被评方科研生产管理的长期跟踪。
例如,在2013年集团总部对研究院的组织级管理评估中就不再对信息化部分要素以及市场开拓与在轨支持管理等要素进行现场评估。
这些要素的评估结果则直接由集团总部相关职能部门根据对被评方日常信息的掌握,集中研讨确定。
结果部分要素主要考察科研生产管理工作的效果,通过证据资料就可以考察,因此一般不进行现场评估,而是根据评估方日常掌握的数据采用集中审定的非现场形式进行评估。
与过程部分要素相同,对结果部分要素的评估也需要被评方首先进行自评。
在结构部分要素自评报告的撰写方面应该注意,由于结果部分要素考察的是科研生产管理的效率和效果,因此结果部分的自评报告应更多的以具体数据和结论性材料来体现,一般不进行工作过程的描述。
现场评估和非现场评估都是航天科研生产管理评估实施的重要形式。
年度评估时一般需要以现场评估为基础,将现场评估和非现场相结合,才能准确、高效地评价被评方科研生产管理的各方面情况。
2管理评估的基本制度和指导文件
为完善中国航天科技集团公司科研生产管理体系,科学、规范地开展航天科研生产管理评估工作,形成“以评促建”的长效机制,中国航天科技集团公司逐步建立了一整套系统的评估基本制度和指导文件,确保了评估工作的有据可依、有章可循。
2.1基本制度
评估基本制度是指用于规范评估工作的规章制度、管理文件,主要包括《评估管理办法》《最佳实践管理要求》《薄弱环节改进管理要求》《共性问题治理管理要求》《评估专家管理要求》等。
评估基本制度的编制流程是:
首先,评估方主管部门围绕评估方管理目标及有关要求,起草评估基本制度;其次,评估方主管部门结合有关专家和领导的审查意见,形成征求意见稿;再次,评估方主管部门将征求意见稿发至评估方相关职能部门和各被评方进一步征求意见,并根据反馈意见对基本制度进行修改完善;最后,评估方主管部门将完善后的制度报评估方主管领导,审批通过后发布。
各级被评方应以评估方下发的相关制度文件为依据,结合自身实际细化制定本组织的实施细则或配套的二、三级制度,形成覆盖各级管理评估工作的制度体系。
2.1.1《评估管理办法》
《航天型号科研生产管理评估管理办法》(简称《评估管理办法》)是评估制度体系中的纲领性文件,为评估工作的顺利开展提供最权威、最根本的依据。
《评估管理办法》从总体上规范评估工作,主要包括评估工作的目的、依据、适用范围和基本方法,评估组织机构与职责,《评估手册》的编制依据、主要内容和修订要求,评估工作的实施程序,持续改进要求以及考核与激励机制等内容。
被评方应参照评估方制定的《评估管理办法》制定被评方的评估管理办法或实施细则。
2.1.2《最佳实践管理要求》
为规范最佳实践的识别、提炼等活动,有必要在《评估管理办法》的基础上制定《科研生产管理最佳实践项目管理要求》(简称《最佳实践管理要求》)。
《最佳实践管理要求》主要包括最佳实践项目的定义、识别标准、评选范围、评选组织、评选程序、推广应用方式、考核激励机制等内容。
被评方应参照评估方下发的《最佳实践管理要求》,结合本组织管理特点,制定本组织最佳实践管理要求或实施细则,规范和指导本单位和下属单位更加规范、系统地总结提炼管理经验,同时促进最佳实践的交流推广,形成提升管理的长效机制。
2.1.3《薄弱环节改进管理要求》
为进一步规范评估工作,完善科研生产管理持续改进机制,中国航天科技集团公司总部依据《评估管理办法》和有关规定,细化对薄弱环节改进工作的管理要求,制定《科研生产管理薄弱环节改进管理要求》(简称《薄弱环节改进管理要求》)。
《薄弱环节改进管理要求》中包括薄弱环节的定义,识别薄弱环节的方法和途径,被评方针对薄弱环节进行治理的程序,以及评估方对被评方治理情况的监督方式等内容。
各研究院应依据集团总部的《薄弱环节改进管理要求》制定相应管理办法或实施细则。
2.1.4《共性问题治理管理要求》
中国航天科技集团公司总部为了有效治理共性问题并规范共性问题治理的相关要求,同时丰富科研生产管理评估改进机制,依据《评估管理办法》和有关规定,细化制定了《科研生产管理共性问题治理管理要求》(简称《共性问题治理管理要求》)。
《共性问题治理管理要求》与《薄弱环节改进管理要求》类似,同样包括共性问题的定义、识别方法和途径,共性问题的治理程序,以及评估方、被评方在共性问题治理中应尽职责和相应的权限等内容。
各研究院应依据集团总部《共性问题治理管理要求》制定相应的管理办法或实施细则。
2.1.5《评估专家管理要求》
《评估专家管理要求》也是在《评估管理办法》的基础上,对评估专家队伍建设和管理标准和要求的进一步细化。
《评估专家管理要求》主要包括评估专家队伍选拔、组建、培训以及现场评估工作的程序和各项工作的主要内容。
2.2指导文件
评估指导文件是指用于指导年度评估工作的技术和管理文件,主要包括《评估手册》和《评估年度策划》等。
2.2.1《评估手册》
《评估手册》是评估工作的指导性文件。
对于历年的管理评估工作来说,《评估手册》是最重要的依据性文件。
它明确了年度评估的适用范围、评估模型、各被评方评估要素的设置及其权重、评估标准与计分方法等内容,既是各被评方开展相关管理工作的有效指导依据,也是评估组和被评方开展年度评估工作的实用操作指南。
中国航天科技集团公司总部自2009年首次向被评研究院下发《评估手册(2009版)》后,每年都对该手册进行动态更新,相继出版了2010、2011、2012和2013版的《评估手册》,保证了评估标准的与时俱进和评估机制的有效运行。
《评估手册》的修订和下发使各单位能够按照统一的指导原则筹备和开展当年的评估工作。
此外,由于评估机制运行时间不长,各单位对此项工作的认识程度也有所不同,为了顺利完成年度评估,集团总部每年组织相关部门和专家开展集中的宣贯和培训活动,强化对评估工作的重视和评估标准的理解。
《评估手册》按照评估对象、评估层次和评估模型的不同可划分为:
集团总部对所属研究院的《组织级管理评估手册》、研究院对厂所的《组织级管理评估手册》、研究院对项目团队的《项目级管理评估手册》和研究院对产品团队的《产品级管理评估手册》4种类型。
2.2.2《年度评估策划》
《年度评估策划》是每年评估工作的行动纲领。
年度评估工作策划的重点内容是分析航天科研生产管理体系的发展需求和现阶段管理体系存在的问题,明确科研生产管理体系建设的目标(包括发展目标、阶段性目标和年度目标),以及围绕目标开展的年度工作内容和工作计划,分析评估工作的难点和重点,提出工作措施。
被评方应在统筹考虑上年度评估反馈意见(重点是上年度评估识别的薄弱环节和共性问题)、本年度上级评估要求、本单位年度工作重点和对下评估要求的基础上,制定本单位年度评估工作策划,作为本单位年度评估工作的指导依据。
3管理评估的表格化、信息化
为提升科研生产管理评估工作的效率,中国航天科技集团公司始终积极探索在管理评估机制中使用新的方法、工具和手段,管理评估的表格化和信息化手段就是其中的典型代表。
3.1表格化手段
使用统一、规范的记录表格模板是评估机制自身发展和完善的内在要求。
构建一套包括各种类型记录表格和固定格式写作模板的文件表格体系,使评估数据形成格式化的存储形式,不仅能提升评估工作效率,还极大地方便了后续对评估数据的调取和分析。
从长期来看,各年度记录文件整理归档后,可形成评估机制的文件资料库,使得评估机制对科研生产管理能力的带动作用实现“做事有依据,做事按依据,凡事有记录,经得起历史考验”的目标。
评估过程的表格格式主要包括:
自评报告模板、过程部分要素自评表模板、结果部分要素自评表模板、现场评估记录表模板、评估反馈报告模板、改进方案表模板、最佳实践项目推荐书模板、最佳实践报告(论文)模板等。
3.1.1自评报告模板
自评报告是被评方对标《评估手册》,以文字描述、数据、表格等形式,对全年科研生产管理工作进行总结和自我评价的报告,呈送评估方专家审阅并存档。
3.1.2过程部分要素自评表模板
过程部分要素自评表是被评方对照《评估手册》过程部分各子要素的评估标准进行成熟度等级评价的规范化表格,主要用于对标总结和发现管理过程中的亮点和不足,是现场评估审查的重点内容。
3.1.3结果部分要素自评表模板
结果部分要素自评表是被评方对照评估手册结果部分各子要素的评估标准进行成熟度等级评价的规范化表格。
结果部分要素为定量评估要素,通过计算相关统计项目,得出反映管理结果的数据,根据数据范围判断等级,一般不需要进行现场评估。
因此,自评表中各统计项目的准确计算是结果部分要素评估工作的重点。
3.1.4现场评估记录表模板
针对现场评估组的不同成员(评估组组长/小组组长/小组成员),根据需要设置不同形式与内容的记录模板。
其中,《现场评估子要素记录表》由现场评估各小组成员填写,《现场评估要素小结表》由现场评估各小组组长填写,《现场评估结果汇总表》和《现场评估结论反馈表》由现场评估组组长组织填写。
3.1.5评估报告模板
评估报告是评估方向被评方反馈评估意见的正式文件,是帮助被评方识别薄弱环节和最佳实践的有效途径,也是被评方滚动开展下一年评估工作策划的重要依据。
评估报告的内容一般包括:
对各被评方评估结果的总体情况,对各要素评估结果的综合分析,各被评方的亮点、薄弱环节、共性问题和改进建议,以及后续工作要求与措施等。
3.1.6改进方案表模板
改进工作记录表是用于记录改进工作的措施、计划和落实情况的规范化表格,一般包括《科研生产管理评估不足之处改进方案表》和《科研生产管理持续改进检查表》。
3.1.7最佳实践项目推荐书模板
《科研生产管理最佳实践项目推荐书》是记录各单位最佳实践项目基本信息的规范化表格,包括项目名称及起止时间、主要完成人、项目简介、推荐单位及评审意见等内容。
最佳实践项目推荐书不仅是最佳实践项目申报的重要记录,还可用于从主题内容的角度对最佳实践项目进行初步审查和筛选,从项目简介中分析项目内容是否符合最佳实践要求,淘汰不合格项目。
项目申报人及推荐单位只需就初步审查入选的项目编写总结报告或论文参与评选,可大幅缩减编写最佳实践报告的范围,减轻单位工作量,节省专家评审的时间,提高最佳实践活动的组织效率。
3.1.8最佳实践报告(论文)模板
最佳实践报告(论文)是对被评方最佳实践成果的总结与巩固,是开展最佳实践交流与推广的基础。
其主要内容一般包括:
最佳实践项目的背景、项目策划与实施的过程、实践效果,以及后续思路、推广应用建议等。
3.2信息化手段
随着中国航天科技集团公司科研生产管理信息化水平的提高,采用信息化手段开展科研生产管理评估已成为评估工作发展的新趋势。
以科研生产管理评估的既有模式为基础,在评估方和被评方已有科研生产管理信息化系统中搭建评估信息化模块,既可以简化审批流程、提高工作效率,严格过程监控,增强评估结果透明度,促进评估流程化、规范化、精细化管理,又能充分利用现有科研生产管理信息化应用成果,增强系统的集成能力,提高知识资源利用水平。
3.2.1评估信息化需求
航天科研生产管理评估工作具有涉及部门、厂所、项目多,评估要素内涵丰富,评估文件多为统一格式要求的模板文件,评估过程以查阅资料、文件为主等特点,给被评方的评估准备工作带来了较大的工作量,主要表现在:
资料规范性要求高、资料版本更迭快、文字汇总量大、协同工作量多、协调量大、管理复杂等方面。
以某研究院为例,年度评估工作涉及院属11个部门、11个厂所、21个项目队伍和若干个产品队伍,评估子要素近百项,涉及研究院科研生产管理的各个方面,要在一个半月的时间内组织所有参与评估准备的部门、厂所、项目队伍和产品队伍协同完成每项要素的资料准备工作并形成十几万字的评估报告,协调和管理工作量,确保评估资料规范化以及版本一致性方面工作量可想而知,这些问题都需要通过采用建设评估数据库,将评估日常工作和现场评估纳入信息化管理的手段进行缓解或解决。
此外,每年现场评估结束后,评估资料、评估结果和评估意见都需要进行有效沉淀形成评估知识库,而针对评估结果和评估意见制定的改进计划也需要进行及时有效的跟踪和闭环管理,并在下一年评估工作中得到检验,信息化手段在这些方面也会有所帮助。
3.2.2评估信息化功能
科研生产管理评估两级评估体系在被评对象、评估内容、业务流程和评估方式上既有联系又有区别。
前者主要以各研究院为评估对象,评估内容分为管理过程和管理结果两部分,并根据各研究院科研生产的不同特点,设置不同的评估要素及权重。
后者以院属有关厂所、项目团队和产品团队为被评对象,评估内容一般也分为过程和结果两部分,但具体要素任务内容及权重却根据各研究院下属有关单位和项目团队、重点产品团队的具体情况存在较大差异。
两者的业务流程大体相似,均以分配要素任务、收集评估资料、汇总生成评估报告、组织专家对评估资料和报告进行评估、打分为主要组成部分,但后者在业务流程细节设置上对各研究院已有的组织管理模式和管理办法依赖较多。
另外,在评估方式上,前者采用统一的评分标准、评分过程及评估结果管理机制,由集团总部组织专家到各研究院进行评估;而后者的评估形式则根据各研究院的厂所/项目团队/产品团队的组成情况及管理方式而多有不同。
针对以上情况,评估信息化应结合两级评估体系进行统筹建设,一方面尽可能地完整覆盖两种评估工作的业务流程,另一方面最大程度地保留平台的可扩展性,既提高系统功能利用率,又能够满足各研究院在开展对厂所/项目团队/产品团队评估时的灵活性,保证各研究院科研生产管理评估业务流程的完整性和评估要素任务信息、评估方式和评估结果的独立性。
此外,评估信息化应根据科研生产管理评估工作的特点,提供便捷、丰富的信息化手段(如完整的业务审批管理、要素任务完成情况公示、在线评估及评估过程文件归档等),协助各被评方降低科研生产管理评估工作协调管理难度、提高评估工作效率,减少资源浪费,充分利用已有的知识成果。
(1)集团总部对研究院的评估信息化建设
以集团总部对某研究院的组织级管理评估为例,研究院评估主管部门、参与部门(含研究院各要素任务抓总部门和研究院各要素任务配合部门)和集团总部评估专家组在信息化系统中的职责与分工主要体现在任务分解与接收、填写自评表和上传证据资料、在线评估等方面。
业务流程(以某研究院为例)描述如下。
1)研究院评估主管部门策划集团总部对研究院评估相关事宜,主管人员在系统中将各要素任务分解下发给主要抓总部门。
2)各要素抓总部门在接收要素任务后,可以直接填写自评表,上传证据材料,也可以根据收集证据材料的需要进一步细化要素任务,分解给各要素配合部门共同填写自评表信息与提供证据材料,以完成相应的要素任务。
3)配合部门接收要素任务后,填完自评信息与上传所有的证据材料,完成后通过系统将要素任务提交本部门领导确认完成。
4)抓总部门通过系统自动将配合部门的自评信息与证据材料进行汇总,在此基础上进一步完善,补充相应的证据材料,根据评价标准填写成熟度系数后提交本部门领导确认。
5)任务完成后可通过系统自动生成研究院自评报告。
6)相关领导可通过统计报表实时查看要素的完成情况。
7)集团总部评估组在线查看各要素自评表与证据材料,开展现场评估工作。
结合上述业务流程,集团总部对某研究院评估的信息化功能建设,具体说明如下。
1)要素任务分配,评估工作计划制定:
平台提供评估要素任务编制功能,要素任务信息包含时间节点、责任主体、评估标准、自评表信息收集表单、证据资料收集及汇总等。
编制过程中,通过要素任务层层分解的方式,统筹安排各要素任务抓总部门、配合部门评估工作,所有要素任务编制完毕后,即形成完整的评估工作计划,最后通过下发实现要素任务按责任主体分配。
2)信息规范填报,关键点预先控制:
要素任务中的自评表信息收集表单将自评表填报内容进行划分,规范各部分填报信息格式及字数要求,同时进行关键点控制,包括:
必填项限制、标准信息以下拉选择方式代替手动填写(分值、等级信息等)、要素分值中分值范围与等级对应、分值与填报内容的对应(如低于某一分值必须填报不足之处等)、要素评估标准预先下发、部分信息填报最低字数要求及最高字数限制等。
3)证据资料管理:
在要素任务中制定参考资料区,用于管理要素任务证据资料。
通过本地上传证据资料,统一对证据资料进行自动编号和自动排序;区分电子资料和纸质资料,禁止资料下载、拷贝和打印等操作,确保涉密资料安全。
4)自评表协同填报及评估报告自动生成:
利用平台对要素任务层层分解后,抓总部门可以通过汇总配合部门要素任务自评信息和证据资料(需要在编制要素任务时将配合部门要素任务定为抓总部门要素任务的下级任务)的方式,实现自评表信息的协同填报。
抓总部门要素任务完成后,系统通过汇总抓总部门自评表和证据资料信息,可自动按照标准格式生成评估报告主体部分内容。
5)过程监督、进度督促:
提供实时生成完成情况统计报表,公示任务完成信息用于评估过程监督和任务进度督促。
6)信息提醒:
提供完整的信息提醒机制,包括新任务提醒、任务即将到期提醒、任务过期提醒、审批版本更新提醒等。
7)评估业务流程管理:
提供完整的评估过程业务流程管理,规范评估审批,提高评估质量。
8)版本更新管理:
记录要素任务更新版本,自动向要素任务抓总部门提示配合部门要素任务版本更新信息,提供一键版本更新功能,并保存原有版本信息,允许参照旧版本内容手动编辑新版本要素任务信息。
9)在线评估:
提供在线评估功能,集团总部专家可在线查看要素任务自评表、证据资料及评估报告,对要素任务进行网上评分等。
其中证据资料查看采用XX文库查看方式,支持现场评估直接查看Word、Excel、PPT、PDF、Visio等5种格式的文件。
10)与已有信息化建设平台的对接:
实现评估信息化模块与研究院已有科研生产信息化管理平台的对接,专家评估时可直接从评估信息化模块链接到其他信息化平台,查看研究院最新科研生产管理模式和管理成果,更直观地展现被评方最新科研生产管理管理过程和管理结果。
11)评估权限划分:
提供包括业务权限、职能权限、组织单位权限在内的功能页面、操作权限划分和功能限制,保障评估工作的有效管理。
12)评估知识库管理:
提供归档功能,实现历史数据的积累和分析等。
(2)研究院对厂所/项目团队/产品团队的评估信息化建设
在研究院对厂所/项目团队/产品团队评估建设中,以某研究院为例,评估方和被评方在系统中的职责与分工主要体现在要素任务下达、厂所/项目团队/产品团队自评、证据资料上传、现场评估、改进方案、持续改进跟踪等方面。
下面以研究院对厂所评估为例说明信息化条件下的业务流程和系统功能建设。
某研究院对厂所评估业务流程如下。
1)研究院评估主管部门为评估主体单位,负责统筹策划研究院对厂所评估相关事宜。
2)研究院所属厂所的评估主管部门(处室)负责策划本厂所/项目团队/产品团队评估相关事宜,并接收、执行评估主体单位下发的要素任务。
3)厂所评估主管部门接收任务后,可以直接填写自评表,上传证据材料,也可以根据实际需要进一步细化要素任务,分解给各参与部门(处室),由评估参与部门分别填写自评表与上传证据材料。
4)评估参与部门接收要素任务后,填写自评信息,上传相关的证据材料,完成后将要素任务提交本部门领导确认完成。
5)厂所评估主管部门通过系统汇总评估参与部门的自评信息与证据材料,在此基础上进一步完善自评表,补充证据材料,完成后提交本部门领导确认。
6)各要素任务责任部门根据评价标准进行自评,得出要素自评成熟度系数。
7)相关领导可通过统计报表实时查看要素的完成情况。
8)任务完成后系统生成厂所评估要素的自评报告。
9)与已有信息化建设平台的对接:
实现评估信息化模块与研究院已有信息化管理平台的对接,专家评估时可直接从评估信息化模块链接到其他信息化建设平台,查看研究院最新科研生产管理模式和管理成果。
10)专家评估时可直接在线打分,评出要素成熟度系数,填写现场评估记录表。
11)现场评估各小组对本小组负责的评估要素的判定结果进行沟通协调,达成一致意见,并填写评估小组意见汇总表。
12)研究院对所属单位、项目队伍的评估,由研究院评估主体单位负责人在自评与专家初评得出的各要素成熟度系数基础上进行最后复评,得出要素最后得分,汇总后生成被评方、项目团队评估要素的最终得分。
重点产品队伍由评估主体单位组织复评并将最后评估结果报送研究院评估主管部门。
13)评估结束后,院属各单位根据上年度评估结果及反馈报告,填报科研生产管理薄弱环节改进方案表,报送主管部门并根据改进方案实施整改,对各项改进措施和计划的落实情况进行跟踪检查,填报科研生产管理持续改进中期检查表。
结合该研究院对厂所评估业务流程,该研究院评估平台用于对厂所科研生产管理评估的功能建设,具体内容如下。
1)评估工作按厂所划分:
以厂所为被评方,研究院分别对各被评方下发评估要素任务列表。
2)要素任务分配,评估工作计划制定:
参见集团总部对研究院评估相应功能。
3)信息规范填报,关键点预先控制:
参见集团总部对研究院评估相应功能。
4)证据资料管理:
参见集团总部对研究院评估相应功能。
5)自评表协同填报及评估报告自动生成:
参见集团总部对研究院评估相应功能。
6)过程监督、进度督促:
参见集团总部对研究院评估相应功能。
7)信息提醒:
参见集团总部对研究院评估相应功能。
8)评估业务流程管理:
参见集团总部对
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 管理 评估 形式 手段