大学将大量的时间，人才和资源用于评估工作。大多数机构都认为评估是一种重要的自我监控做法，以确保评估能够兑现对学生的使命和承诺。认证机构还要求他们对学生的学习进行评估。但是，正如富曼大学(Furman University)机构效力副总裁兼高等教育学习评估协会(AALHE)董事会前成员戴维·尤班克斯(David Eubanks)指出的那样，“使用评估结果改善学术课程的困难是这也是高等教育出版社的常见主题。
学习如何
Eubanks认为评估结果很难转化为有意义的改进，因为当前“收集和分析数据的方法非常差。”在这里，我们将考虑收集和分析数据以进行评估的挑战，并设想一条通往评估实践的道路。数据共享和技术文化加强了这种文化，打破了数据孤岛，从而拓宽了学习成果的视野。
为什么“闭环”这么难?
在过去的20年中，涌现了许多组织和大量文献，以建立和共享评估最佳实践。但是，在印第安纳大学普渡大学印第安纳波利斯分校高等教育教授，大臣高级规划顾问Trudy W. Banta和印第安纳州调查中心主任Charles Blaich的开创性文章《关闭评估循环》中沃巴什学院的文科学院的作者提出了一个重要的问题：“有了这么多好的建议，为什么评估所带来的学生学习改善是例外而不是规则?”
几个因素使成功结束评估循环变得困难：
捕获和分析数据的工作
在缺乏情境化数据的情况下难以赋予学习成果以意义的困难，这些数据可能揭示出课程或教学实践之外的根本原因和/或解决方案
连接数据以生成见解的挑战，以及技术如何支持将见解转化为行动的文化和流程
捕获和分析评估数据
Longwood大学评估主任兼弗吉尼亚评估小组董事会成员Linda Townsend介绍了Longwood教职员工多年的评估挑战。收集数据的方法因计划而异，取决于领导计划评估过程的人员的技能。从与其他教职员工进行交流以获取学生数据到手动编辑电子表格或文字处理文档中的表格中的数据以供教职员工进行分析和讨论，工作量使评估工作繁重。“通过与计划协调员进行一对一讨论，我很清楚，我们需要某种方式来收集评估数据并将其掌握在他们手中，这样他们就不必花费数小时的时间自己将它们整合在一起，汤森德说。另外，
路易斯安那州立大学评估主任兼AALHE董事会成员塔拉·罗斯(Tara Rose)表示，在使用技术管理为评估而捕获的数据时，用户友好的软件至关重要。罗斯说：“由于教师每天都不使用该软件，因此他们每年必须重新学习同一系统，这令人沮丧。”这会破坏系统和评估过程的感知。罗斯说：“我想改变这种思维方式。”“用户在使用Google产品时就应该拥有自己的经验，而您只知道该怎么做。应该很容易。该系统还应该是可定制的且灵活的，以支持其指定的评估过程。”
直观的软件对于支持教师进行评估计划和闭合环路以及最大程度地减少教师收集和分析各种类型的数据以进行评估所需的位置至关重要。在采用Longwood评估解决方案之前，“我们实际上与行政，教职员工一起召开了焦点小组会议，以获取他们想要的信息。不断出现的是一个集成平台，该平台支持多种数据收集方法，”汤森德说。“他们想要的系统不仅仅用于评估报告，而且整个数据集中在一个地方，这样就可以为机构和认证机构进行连续的计划，评估和报告。他们不想去多个地方将所有东西放在一起。”
评估还应告知利益相关者他们无法通过其他任何方式找到的信息，并保证信息的准确性。Misericordia大学学术事务副总裁Patricia Thatcher说：“评估数据不是研究级的，经过同行评审的数据，但您必须对数据有一定程度的信心。”“而且您的数据必须以有用的形式轻松获得。” Misericordia的一个程序已经感觉到其学生在综合思想方面做得不好，但是分析学生的数据将直觉转变为可操作的信息。撒切尔说：“当他们看到说有65%的专业的数据在综合思想方面做得不好时，他们便着手解决这个问题。”
逃避数据(和文化)孤岛以获得上下文
另一个挑战是要考虑超出学生评估范围的数据。“评估中仍然存在的挑战是数据仍然非常孤立。办公室也很孤立。”罗斯说。“机构生活在孤岛中，机构效能办公室，机构研究办公室以及教与学办公室也是如此。这与文化息息相关，这是机构仍面临的最大挑战之一。”
加州大学圣地亚哥分校的CIO Vince Kellen等专家对此表示赞同。“数据必须摆脱孤岛，并超越传统的层次结构，使数据data积者成为过去。”Kellen最近写道。“在这个新世界中，信息不再是力量。信息共享就是力量。……信息管理是一项团队运动。人们没有数据;他们没有数据。凯伦(Kellen)还是加州大学圣地亚哥分校校长的内阁成员，同时也是加州大学圣地亚哥分校高级管理团队的首席财务官。他建议机构努力建立一种新的文化，以实现数据民主化。
机构设有办事机构，可做许多不同的事情。我们是否在办公室，单位和计划之间共享该信息，以便教师实际上可以使用该信息来做出决策?评估是系统地收集信息，评估信息并进行更改的过程，”罗斯说。“这不只是关于学生学习成果的评估。评估是关于评估计划有效性，通识教育，学生保留率和毕业率，学生职业数据以及机构有效性。它确保计划与该机构的使命保持一致。”
没有整个园区中所有孤立办公室的数据;计划，教职员工和管理员很难建立必要的联系以获取见识和做出改变。罗斯说：“如果某个计划正在评估学生的学习情况，但他们没有查看例如校友数据或毕业后的成功职业数据等，那么他们如何做出基于信息的决策呢?”
打破办公室或学院使用的单点解决方案中的数据孤岛对于消除评估和其他查询过程中的摩擦至关重要。“我们可以作为一个机构来开展沟通流程，但是我们需要拥有一套工具，每个人，或者校园中广泛的利益相关者都可以使用，以便所有人都可以看到，如果我采取这一举措，与我们的机构战略计划紧密地联系在一起，”撒切尔说。“能够知道不用交换几天或几周的电子邮件就非常重要，因为我们都在做很多不同的事情。数据集成为持续改进教学和学生学习提供了可能性。”
迈向“有意义，可管理和可持续”的评估
罗斯用一个问题澄清了“有意义的评估”一词：教师和其他利益相关者是否可以根据他们所获得的信息做出改变并不断改进?
罗斯说：“我们不希望教师们年复一年地收集数据，并且说不需要改进。”“我们希望教师参与评估过程。参与可以使教师前进，思考改善对他们的学生和他们的课程意味着什么。”
在当前对中学教育的价值持怀疑态度的环境中，对于机构而言，至关重要的是能够根据通过评估中学到的知识来证明学习成果和有意义的改进。撒切尔指出：“我们正处于非常紧张的时期接受高等教育。”集成技术是让机构提高自我意识的好方法，这将有助于改进和创新。如果您没有数据，那么您实际上就无法以能够提高机构生存能力或质量的方式进行创新。”
教育技术提供商已开始融合点解决方案，朝着整合系统发展。这些必须足够灵活，以使不同的计划和办公室可以获得所需的见解。“我总是向教师表达我希望他们在评估过程中考虑三件事。它必须是有意义的，可管理的和可持续的。他们是学科专家。”罗斯说。“作为评估从业者，我们需要让他们找出最适合他们的计划的方案。我们需要技术来为每个项目，每个学院工作。它不应该是一个适合所有人的尺寸。”
Eubanks认识到利用校园数据进行深入评估的评估能力。Eubanks指出：“可用的数据比以往任何时候都要多，计算便宜，并且可视化和分析的新方法比比皆是。”“我们可以想象一个未来，评估领导者将与机构研究人员和学者紧密合作，以创建和共享大量高质量数据。评估会议然后可以是关于我们发现了什么以及教师如何使用这些信息。”
为了支持Eubanks的评估愿景，新兴的评估解决方案应为：
直观并与现有校园结构和流程保持一致
灵活支持各种类型的评估和评估成熟度阶段，但结构足以指导用户完成既定的最佳做法
足够全面，以使用户不必登录多个位置即可访问各种类型的评估数据，包括学生的学习成果和计划效果数据
与其他校园系统(包括SIS和LMS)集成，以便可以通过其他机构有效性数据(包括学生留任率)来评估评估结果
当评估系统简化了捕获学生文物的过程，促进了在其他相关校园数据的背景下进行评估，并指导参与者通过机构建立的过程时，利益相关者可以将时间花在真正重要的事情上—真正了解学生的学习成果和机构有效性，并规划出有意义的改进途径。