Bằng chứng do các quy trình phức tạp và có tính đổi mới sinh ra như phát hành OER thường bản thân nó là phức tạp, đặc thù theo ngữ cảnh và khó để khái quát hóa. Các dạng sáng kiến đòi hỏi sự thay đổi đáng kể của tổ chức và có thể bao gồm cả các đối tác và các bên tham gia đóng góp từ bên ngoài với các văn hóa và thực hành rất khác nhau.
Đánh giá, đặc biệt là thách thức và trải từ việc đánh giá OER đặc biệt cho tới sự phù hợp về mục đích, những thay đổi trong thái độ của các nhân viên, ảnh hưởng của việc học và dạy và ảnh hưởng dài lâu tới các thực hành của cơ sở và cộng động rộng lớn hơn.
Trang này đưa ra vài tài nguyên để hỗ trợ cho các hoạt động đánh giá và cũng chỉ tới những ai đã học được rồi thông qua sự đánh giá trong lĩnh vực này.
Đánh giá của UKOER
Đánh giá của chương trình UKOER từng được độ tổng hợp và đánh giá của UKOER hỗ trợ. Đội này, được Viện Glasgow Caledonia lãnh đạo, đã cung cấp một dải các hoạt động hỗ trợ để hỗ trợ đánh giá các dự án riêng rẽ trong vòng 3 năm và đã phát triển một khung công việc để hỗ trợ đánh giá dự án và tổng hợp chương trình.
Đánh giá và tổng hợp từng là quy trình lặp đi lặp lại, 2 chiều và bao gồm sự liên hệ không chỉ với các đội dự án và những người đánh giá chúng, mà còn với đội quản lý chương trình, các đội hỗ trợ khác nhau, và các sáng kiến OER cùng đồng thời diễn ra.
Việc cam kết tham gia các dự án với khung công việc đó từng là thách thức vì khung thời gian dự án ngắn (dài 1 năm). Đội đã phát triển bộ công cụ đánh giá, nó cung cấp các cách thức trực quan khác nhau để kết nối với khung đó và đưa ra các con đường qua các chủ đề của chương trình. Bộ công cụ đó cũng đã cung cấp các tài nguyên xa hơn để hỗ trợ đánh giá các dự án và sự phát triển cũng như phát hành OER.
Đội đã tạo ra báo cáo tổng hợp hàng năm nhấn mạnh các bài học chính và các chủ đề đang nổi lên:
Chúng được đưa vào trong rà soát lại rộng lớn hơn của các sáng kiến OER được cấp tiền.
Các tài liệu đánh giá dự án UKOER
- Kinh nghiệm của BERLiN – báo cáo phản hồi của nhóm trọng tâm hàn lâm: Dự án BERLiN (Đại học Nottingham)
- Báo cáo khảo sát các nhân viên BERLiN của Dự án BERLiN (Đại học Nottingham)
- Báo cáo đánh giá cuối cùng của Dự án Mở Exeter – Đại học Exeter
- Khung Đánh giá Dự án OpenSpires – Đại học Oxford
- Các báo cáo Đánh giá Dự án OTTER – Đại học Leicester
- Báo cáo đánh giá của cố vấn hàn lâm (Dự án Unicycle, Đại học Leeds Metropolitan)
- Lập bản đồ khung đánh giá (Dự án Unicycle, Đại học Leeds Metropolitan)
- Báo cáo Đánh giá Dự án C-change (Dự án C-change, Trung tâm các Vấn đề Địa lý, Khoa học Trái đất & Môi trường (GEES)
- Các kết quả khảo sát cơ bản và thay đổi (Dự án Humbox)
- Các tư liệu đánh giá dự án SPACE
- Các chỉ dẫn phỏng vấn bán cấu trúc để nhận diện các nhu cầu người sử dụng cho những người đứng đầu chương trình giảng dạy
- Các chỉ dẫn phỏng vấn bán cấu trúc để nhận diện các nhu cầu người sử dụng đối với những người học
- Các bảng câu hỏi đánh giá
- Khảo sát những người hướng dẫn cuối cùng (Dự án SESAME)
OER evaluation
Evidence generated by complex and innovative processes such as OER release is often itself complex, context-specific and difficult to generalise. These kinds of initiative require significant organisational change and may include external partners and stakeholders with very different cultures and practices.
Evaluation, in particular is challenging and ranges from evaluating specific OER for fitness of purpose, changes in staff attitudes, impact on learning and teaching and longer term impact on institutional practices and the wider community.
This page offers some resources to support evaluation activities and also points to what people have already learned through evaluation into this area.
UKOER evaluation
UKOER programme evaluation was supported by the UKOER evaluation and synthesis team. The team, led by Glasgow Caledonian Academy, provided a range of support activities to support individual project evaluation across the three years and developed a framework to support project evaluation and programme synthesis.
Evaluation and synthesis was an iterative, two-way process and included liaison not only with project teams and their evaluators but also with the programme management team, the various support teams, and concurrent OER initiatives.
Engaging projects with the framework was challenging due to short (one year long) project time-frames. The team developed an evaluation toolkit which provided various visual ways to connect with the framework and offered routes through the programme themes. The toolkit also provided further resources to support evaluation of both projects and OER development and release.
The team produced a yearly synthesis report highlighting key lessons and emerging themes:
These fed into a wider review of funded OER initiatives.
UKOER project evaluation documents
- The BERLiN experience – academic focus group feedback report: BERLiN Project (University of Nottingham
- The BERLiN staff survey report BERLiN Project (University of Nottingham
- Open Exeter Project Final evaluation report – University of Exeter
- OpenSpires Project Evaluation Framework – University of Oxford
- OTTER Project Evaluation reports – University of Leicester
- Academic advisor evaluation report (Unicycle Project, Leeds Metropolitan University)
- Evaluation framework mapping (Unicycle Project, Leeds Metropolitan University)
- C-change Project Evaluation Report (C-change Project, Subject Centre for Geography, Earth & Environmental Sciences (GEES)
- Baseline and change survey results (Humbox Project)
- SPACE project evaluation materials
- Semi-structured interview guides to identify user needs for curriculum heads
- Semi-structured interview guides to identify user needs for learners
- Interview questions for pedagogy steering group and Interview questions for user group (SPACE Project)
- Evaluation questionnaires
- Final tutor survey (SESAME Project)
Dịch: Lê Trung Nghĩa
Không có nhận xét nào:
Đăng nhận xét