INFINITE_WP2_Toolkit_Dutch

This work is published under the responsibility of the INFINITE Project consortium. The opinions and arguments employed herein do not necessarily reflect the official views of the European Commission. The INFINITE AI Literacy Toolkit by the INFINITE project is licensed under CC BY-NC-SA 4.0. To view a copy of this licence, visit: Creative Commons — AttributionNoncommercialShareAlike 4.0 International — CC BY-NC-SA 4.0 This licence requires that re-users give credit to the creator. It allows re-users to distribute, remix, adapt, and build upon the material in any medium or format, for noncommercial purposes only. If others modify or adapt the material, they must licence the modified material under identical terms. ● BY: Credit must be given to you, the creator. ● NC: Only non-commercial use of your work is permitted. Non-commercial means not primarily intended for or directed towards commercial advantage or monetary compensation. ● SA: Adaptations must be shared under the same terms. Funded by the European Union. Views and opinions expressed are however those of the author(s) only and do not necessarily reflect those of the European Union or the European Education and Culture Executive Agency (EACEA). Neither the European Union nor EACEA can be held responsible for them. Project Number: 2023-1-NL01-KA220-HED-000155675.

Document description Due date of deliverable 26/09/2024 Submission date 26/09/2024 File name WP2_AI Literacy Toolkit Deliverable responsible University of Nicosia Revision number 02 Status Final Dissemination level PU Key words Toolkit, Artificial Intelligence, Higher Education, Professional Practices, Pedagogical Practices Revision History Version Date Reviewer(s) Comments 1.0 27/08/2024 UNIC First Draft 2.1 30/09/2024 All Partners Feedback from partners 2.2 09/10/2024 UNIC/RUG Second Draft before piloting 3.0 20/07/2025 UNIC Feedback from piloting – This is the final version. Contributors Organisation Name(s) University of Nicosia Eleni Trichina, Efi Nisiforou University of Groningen Francisco José Castillo Hernández, Lucy Avraamidou University College Dublin Levent Gorgu, Eleni Mangina ALL DIGITAL Selin Tagmat CARDET Eleni Shaili University of the Aegean Apostolos Kostas, Alivisos Sofos, Dimitrios Spanos, Filippos Tzortzoglou

Table of Contents SECTIE 1: INLEIDING ....................................................................................................................................... 5 SECTIE 2: THEORETISCHE ACHTERGROND ......................................................................................... 6 SECTIE 3: AI-GEBASEERDE TOOLS ........................................................................................................ 12 SECTIE 4: RICHTLIJNEN VOOR HET BENUTTEN VAN AI VOOR PROFESSIONELE EN PEDAGOGISCHE PRAKTIJKEN ................................................................................................................ 15 SECTIE 5: AI-GEREEDHEID CHECKLIST ................................................................................................ 22 SECTIE 6: CASUSSEN ................................................................................................................................... 29 REFERENCES .................................................................................................................................................. 77 DANKWOORD ................................................................................................................................................ 81

Sectie 1: Inleiding De INFINITE AI Literacy Toolkit is een interactief ondersteuningspakket voor docenten in het Hoger Onderwijs (HO) om hun professionele praktijken te verbeteren door kunstmatige intelligentie (AI)-tools te integreren in hun professionele en pedagogische activiteiten. De specifieke doelstellingen zijn om: ● bewustzijn te vergroten over de mogelijkheden en uitdagingen van AI om innovatieve professionele en pedagogische praktijken in het HO te stimuleren; ● nationale/Europese gegevens, resultaten en behoeften met betrekking tot de integratie van AI-gebaseerde benaderingen in het HO te vergelijken; ● HO-docenten praktische richtlijnen en best practices te bieden over hoe zij AI-gebaseerde tools voor professioneel en pedagogisch gebruik kunnen selecteren en integreren; ● HO-docenten aan te moedigen om AI-tools ethisch verantwoord en integer te gebruiken in hun professionele en pedagogische praktijk; ● de digitale transformatie van HO-instellingen te bevorderen door de HO-gemeenschap voor te bereiden om AI in te zetten voor professionele en pedagogische toepassingen. De Toolkit zal een fundamentele gids zijn voor best practices die gemakkelijk door HO-instellingen kunnen worden toegepast en aangepast. Enerzijds biedt de onderzoeksactiviteit, die deel uitmaakt van dit werkpakket (WP), het partnerschap diepgaand begrip en expertise over de mogelijkheden en complexiteiten van het gebruik van AI-gestuurde tools. Dit zal hoogwaardige resultaten opleveren die aansluiten bij de behoeften van de doelgroep. Ook wordt er een platform geboden aan belangrijke personen in het veld om zich vrij uit te drukken en de gewenste veranderingen in de HO-sector aan te dragen.

Sectie 2: Theoretische Achtergrond In deze sectie wordt de theoretische achtergrond van de Toolkit gepresenteerd met definities van kernbegrippen en concepten die verband houden met het gebruik van AI in het HO, samen met de rol van deze geavanceerde technologieën in het onderwijs, hun uitdagingen en voordelen. Door de definities in een vroeg stadium te schetsen, wordt er een gemeenschappelijke basis gecreëerd voor het gebruik van de Toolkit, zodat alle lezers en gebruikers zich op hetzelfde niveau bevinden en kunnen meekomen, ongeacht hun huidige kennisniveau. Woordenlijst van kernbegrippen Adaptief leren Adaptief leren is een pedagogische benadering die gebruikmaakt van geavanceerde technologie, specifiek machine learning-algoritmen, om gepersonaliseerde leerervaringen aan te bieden die zijn afgestemd op de behoeften, voorkeuren, kennisniveau en leerstijl van individuele studenten. Het maakt gebruik van datagestuurde algoritmen en AI om de inhoud, de manier van aanbieden en het tempo van instructie dynamisch aan te passen op basis van de prestaties en betrokkenheid van studenten. Door zich aan te passen aan de specifieke behoeften van elke student, bevordert adaptief leren effectief en efficiënt leren, verhoogt het de betrokkenheid en verbetert het de leerresultaten. (Gligorea et al., 2023)

Kunstmatige Intelligentie (AI) Kunstmatige Intelligentie (AI) in het onderwijs is een veelbelovend vakgebied dat de aandacht van onderzoekers heeft getrokken. AI is het vermogen van machines om te denken als een mens, te leren en zich te ontwikkelen (Limna et al., 2022). In onderwijspraktijken creëert AI nieuwe kansen, mogelijkheden en uitdagingen. Het kan administratieve taken ondersteunen, zoals beoordelen, en onderwijsactiviteiten, zoals feedback geven. Tot op zekere hoogte kan AI fungeren als tutor door concepten uit te leggen, feedback te geven en het onderwijs aan te passen, zoals bij adaptieve systemen, maar ook als pedagogische hulpmiddelen die studenten kunnen gebruiken tijdens het leerproces (bijvoorbeeld voor cognitieve taken, ondersteuning) (Hwang et al., 2020). Automatisch beoordelingssysteem Een automatisch beoordelingssysteem is een professioneel computerprogramma op basis van AI dat het gedrag van een docent simuleert om cijfers toe te kennen aan studententaken in een onderwijsomgeving. Het evalueert de kennis van studenten, analyseert antwoorden, geeft feedback en stelt gepersonaliseerde trainingsprogramma's samen. Het wordt gebruikt in veel AI-onderwijsapps. De automatische beoordelingssystemen voorzien de student van een evaluatiescore tijdens zijn/haar toets. Deze methode kan docenten helpen om het leerproces van hun studenten beter te begrijpen, terwijl studenten zich bewuster worden van hun leerprestaties en beheersing van kennis. Over het algemeen kunnen deze automatische beoordelingssystemen omgaan met de complexiteit van de onderwijscontext en het leerproces van studenten ondersteunen door hen feedback en begeleiding te geven (Limna et al., 2022; Yufeia et al., 2020).

Automatisering Het computersysteem automatiseert taken die normaal menselijke tussenkomst vereisen. Door repetitieve taken zoals roosteren, aanwezigheid en inschrijving te automatiseren, kunnen scholen en docenten tijd vrijmaken voor meer zinvolle interacties met studenten (Europese Commissie, 2022). Vertekening (Bias) Vertekening is de vooringenomenheid voor of tegen iets die zich in AI-systemen op verschillende manieren kan manifesteren. Datagestuurde AI, vaak opgebouwd met behulp van machine learning, kan vooroordelen overnemen die aanwezig zijn in de trainingsdata. Logica-gebaseerde AI, zoals op regels gebaseerde systemen, kan de vooroordelen weerspiegelen van de kennisingenieur die de regels definieert. Vertekening is niet altijd schadelijk; het kan in bepaalde contexten nuttig zijn. Echter, wanneer het leidt tot discriminerende of oneerlijke uitkomsten, is het een punt van zorg. Het kan onbedoeld ontstaan, door beperkte blootstelling aan diverse situaties, of opzettelijk, als het is ontworpen om een specifieke groep te bevoordelen. (Europese Commissie, 2022) Chatbots Chatbots, vaak dialoogsysteem of conversatieagenten genoemd, zijn programma's die communiceren met mensen via tekst of spraakopdrachten op een manier die menselijke gesprekken nabootst (Europese Commissie, 2022). Ze worden steeds vaker gebruikt in het hoger onderwijs door middel van verschillende AI-technologieën. Hun kracht ligt in hun vermogen om gebruikers in een natuurlijke, conversatietoon te betrekken. Zo heeft de Georgia State University een tekstgebaseerde chatbot genaamd "Pounce" geïmplementeerd om studenten te helpen met taken zoals inschrijving, toelating, financiële hulp en andere administratieve processen. (Akgun & Greenhow, 2021)

Generatieve AI Generatieve AI gebruikt algoritmen om originele content zoals tekst, afbeeldingen of audio te produceren. Dit doet het door patronen in bestaande data te leren en vervolgens nieuwe data te creëren die dezelfde kenmerken heeft. (Oluwagbenro, 2024) Gezichtsherkenningssystemen Gezichtsherkenningssystemen worden gebruikt om de gezichtsuitdrukkingen van studenten te volgen en te analyseren. Deze systemen bieden waardevolle inzichten in het gedrag van studenten tijdens leeractiviteiten, waardoor docenten dienovereenkomstig kunnen reageren. Dit ondersteunt op zijn beurt docenten bij het aannemen van leerlinggerichte benaderingen en het verhogen van de betrokkenheid van studenten. (Akgun & Greenhow, 2021) Leeranalyse De activiteiten en interacties van deelnemers zijn beschikbaar via de geïmplementeerde digitale tools, die docenten en ontwerper van leermateriaal uitgebreide informatie bieden over de leerprogressie van de deelnemers. Door dergelijke gegevens op de juiste manier te verzamelen en te analyseren, kunnen onderwijsstakeholders een praktische aanpak volgen (KlašnjaMilićević et al., 2020). Machine learning Machine learning (ML) is een onderdeel van kunstmatige intelligentie (AI) waarmee machines kunnen leren van gegevens zonder dat daarvoor expliciete programmering nodig is. Het doel ervan is om machines te trainen met behulp van bepaalde gegevens en algoritmen, zodat ze kunnen leren beslissingen te nemen. ML is aanpasbaar, wat betekent dat het kan veranderen en verbeteren naarmate het meer gegevens krijgt. Het ‘leren’ in ML betekent dat de algoritmen ervan werken om fouten te verminderen en hun voorspellingen zo nauwkeurig mogelijk te maken. In wezen is ML een methode om AI te realiseren. (Jakhar & Kaur, 2020)

Persoonsgegevens Informatie met betrekking tot een geïdentificeerde of identificeerbare natuurlijke persoon, direct of indirect, door verwijzing naar één of meer elementen die specifiek zijn voor die specifieke persoon (Europese Commissie, 2022). Gepersonaliseerde leersystemen Gepersonaliseerde leersystemen, adaptieve leerplatforms of intelligente tutorsystemen, zijn typische en waardevolle toepassingen van AI om studenten en docenten te ondersteunen. Deze platforms geven studenten toegang tot een scala aan leermaterialen op basis van hun specifieke leerbehoeften en vakken. (Akgun & Greenhow, 2021) Voorspellende analyse Voorspellende analyse verwijst naar het gebruik van statistische algoritmen en machine learning-technieken om voorspellingen te doen over de toekomst met behulp van actuele en historische gegevens (Europese Commissie, 2022). Ze worden voornamelijk gebruikt om patronen met betrekking tot studenten te herkennen en bloot te leggen door gebruik te maken van statistische gegevens. Deze systemen kunnen bijvoorbeeld worden ingezet om universiteitsstudenten te identificeren die mogelijk risico lopen om te falen of een cursus te verlaten. Door deze individuen op te sporen, kunnen docenten ingrijpen en de nodige ondersteuning bieden om hen te helpen slagen. (Akgun & Greenhow, 2021) Virtuele Assistent Een virtuele persoonlijke assistent is een softwaretoepassing die kan reageren op gesproken opdrachten en acties kan uitvoeren zoals dicteren, voorlezen en agendabeheer (Europese Commissie, 2022).

Virtuele realiteit Virtual reality-technologie maakt gebruik van computergegenereerde beelden en haptische feedback om een gevoel van aanwezigheid in een gesimuleerde wereld te creëren. Het biedt meeslepende ervaringen die kunnen worden aangepast aan individuele behoeften en voorkeuren. (Europese Commissie, 2022)

Sectie 3: AI-gebaseerde tools Het voortdurend evoluerende veld van AI transformeert de manier waarop we leren, werken en zelfs creëren benaderen. Dit nieuwe landschap biedt een overvloed aan AI-gebaseerde tools die zijn ontworpen om onderzoekers, leerlingen, docenten en samenwerkingspartners te versterken. Van het automatiseren van onderzoekstaken tot het bevorderen van een leven lang leren, deze tools hebben een enorm potentieel om werkstromen te stroomlijnen, creatieve ideeën aan te wakkeren en de algehele leer- en beoordelingservaring te verbeteren. Op basis van het bureauonderzoek uitgevoerd in Cyprus, Griekenland, Nederland, Ierland en België, noemen en verduidelijken we hieronder enkele van deze mogelijkheden. We verkennen AI-toepassingen voor onderzoek (zoals Elicit), een leven lang leren (zoals ChatGPT), samenwerking (zoals Bit.ai), onderwijs, leren en beoordeling (inclusief beoordeling met Gradescope, studentenondersteuning met Adaptiv, en zelfs schrijfhulp creëren met AI-tools zoals ChatGPT, Gemini en Quillbot). De onderstaande tabel geeft een overzicht van de tools die we verder uitleggen. We hebben de tools gegroepeerd en onderverdeeld op basis van de persoonlijke ondersteuning die ze bieden, dat wil zeggen, welke aspecten van onderwijs en leren ze kunnen versterken. Type of personalised support AI generative tools Personalised Learning & Assessment ● For students (adaptive learning, selfassessment) ● For teachers (offer recommendations for personalised teaching and accommodations, analyses student work) ● ALEKS ● Century ● Comproved ● Knewton Alta ● Smart Sparrow ● Simbound

Teaching, Learning and Assessment ● For teachers (they assist teachers in the design of a course, the creation of the material, and managing coursework and grading). ● ClassVR ● Cognii ● Course Hero ● Designs.ai ● Dodona ● Dwengo Simulator ● Gradescope Conversational Learning & Skills Development For teachers (they improve communication and practical skills) ● Alelo ● AutoTutor ● Braille AI Tutor ● Dwengo Simulator ● Linguineo Research & Writing Assistance For students & teachers (support students, teachers, and researchers with research and writing tasks) ● ASReview ● Bing AI ● ChatGPT ● ChatPDF ● Connected Papers ● Consensus ● Elicit ● Gemini ● Grammarly ● NotebookLM ● Quillbot ● ResearchRabbit ● Squire AI Learning Collaboration & Knowledge Management For students & teachers (collaborate effectively and manage knowledge resources) ● Bit.ai ● NOLEJ Other tools For students & teachers (support content creation, accessibility, and improving the learning experience) ● Bing Image Creator ● Cognii Chatbot ● DALL-E ● Deepl ● D-ID ● Ivy Chatbot ● Lumen5

● Midjourney ● Nuance Dragon ● Quizlet ● Sonix ● zSpace Deze lijst geeft een breed beeld van hoe AI verschillende aspecten van het onderwijs beïnvloedt. De potentiële toepassingen blijven zich ontwikkelen en bieden mogelijkheden voor gepersonaliseerd leren, verbeterde onderzoeksvaardigheden en verbeterde ondersteuning bij het lesgeven. Houd er rekening mee dat we bij de ontwikkeling van deze toolkit hebben gekozen voor gratis of freemium-tools (die een gratis versie hebben om te gebruiken of mee te experimenteren, meestal met beperkingen in de beschikbare functies). De prijzen kunnen echter worden aangepast op basis van de behoeften van elk bedrijf, en het consortium is niet verantwoordelijk voor eventuele wijzigingen in deze plannen of functies.

Sectie 4: Richtlijnen voor het benutten van AI voor professionele en pedagogische praktijken Uit de resultaten van het bureauonderzoek uitgevoerd onder WP2 blijkt dat AI-gebaseerde tools brede toepassingen hebben in het hoger onderwijs, wat zowel docenten als studenten ten goede komt. Ze kunnen administratieve taken stroomlijnen, datagestuurde beslissingen ondersteunen en gepersonaliseerd leren mogelijk maken. Deze tools helpen ook bij beoordeling en feedback, en verhogen de betrokkenheid van studenten en bieden virtuele ondersteuning. Dit potentieel kan de kwaliteit van het onderwijs, de administratieve efficiëntie en de algehele leerervaring aanzienlijk verbeteren. Hoewel AI veel voordelen biedt, roept de integratie ervan in het onderwijs ethische, juridische, technologische en implementatiekwesties op. Deze uitdagingen vereisen duidelijke richtlijnen, training en een focus op verantwoord gebruik. Het onderzoek benadrukt ook de noodzaak van een kritische evaluatie van AI-tools vanwege mogelijke betrouwbaarheids- en effectiviteitsproblemen. Gezien het feit dat AI-toepassingen mogelijk schadelijke gevolgen kunnen hebben, dienen medewerkers in het hoger onderwijs ervoor te zorgen dat de AI-tools die zij gebruiken betrouwbaar, eerlijk, veilig en betrouwbaar zijn, en dat de gegevens veilig zijn en de privacy van individuen beschermen. The guidelines provided can help HE staff to understand the affordances of AI and raise awareness of the possible risks, so that all stakeholders are engaged positively, critically and ethically with AI systems to maximise their potential.

The guidelines provided below are based on shared guidelines such as the OECD Framework for the Classification of AI systems1, OECD’s AI Principles2, EC’s Ethics Guidelines for Trustworthy AI3, the EC’s 2022 Ethical guidelines on the use of AI and data in teaching and learning for educators4 and the recent UNESCO AI competency frameworks5. According to the guidelines and frameworks above, several key principles underpin the ethical use of AI and data in teaching, learning, and assessment. These can be categorised under guidelines related to understanding AI systems, ethical considerations, and guidelines related to practical implementation. Understanding AI Systems ● Assess Purpose: Clearly define the intended purpose of any AI tool you plan to use. Align it with your educational objectives and the needs of your students. ● Evaluate Autonomy: Determine the level of autonomy the AI system has. This will help you understand the extent of human oversight required and potential risks. ● Consider Environment: Be aware of the social, cultural, and legal context in which the AI system operates. This will help you anticipate potential challenges and ensure appropriate use. ● Assess AI Competency: Evaluate your own AI literacy and consider professional development opportunities to deepen your understanding of AI applications in education. 1https://www.oecd.org/en/publications/oecd-framework-for-the-classification-of-aisystems_cb6d9eca-en.html 2 https://oecd.ai/en/ai-principles 3 https://digital-strategy.ec.europa.eu/en/library/ethics-guidelines-trustworthy-ai 4https://education.ec.europa.eu/news/ethical-guidelines-on-the-use-of-artificialintelligence-and-data-in-teaching-and-learning-for-educators 5https://unesdoc.unesco.org/ark:/48223/pf0000391104; https://www.unesco.org/en/articles/generation-ai-navigating-opportunities-and-risksartificial-intelligence-education

Ethical Considerations ● Beneficial Use: Ensure that AI tools are used to benefit students and enhance their learning experience. Focus on personalised learning, fostering critical thinking, and addressing inequalities. ● Transparency: Explain to students how AI systems work and how they are used in the learning process. Encourage students to critically evaluate AI outputs. You could also consider using open-source AI tools that are transparent and allow for customisation and modification. ● Fairness: Avoid using AI tools that could create biases or discrimination. Ensure all students have equal access to resources and opportunities, addressing potential gender, socioeconomic, or ability-based disparities. ● Privacy and Data: Respect students' privacy and handle their data responsibly. Adhere to data protection regulations and obtain informed consent when collecting or using student data. ● Human Agency: Maintain human oversight and allow students to have a say in their learning process. Encourage students to explore AI responsibly and creatively. ● Democratic Values: Ensure that AI tools are used in education In a way that aligns with democratic principles. This ensures that AI promotes and supports democratic values, such as the freedom of expression and inquiry (open discussion), equality of opportunity and access, and accountability. Practical Implementation ● Professional Development: Seek training and professional development on AI to understand its capabilities and limitations. Stay updated on the latest developments in AI and adjust your practices accordingly. Embrace lifelong learning and encourage a culture of continuous learning among students. ● Critical Evaluation: Evaluate AI tools carefully, considering their effectiveness, reliability, alignment with your educational goals, and potential impact on student learning outcomes.

● Student Engagement: Involve students in the decisionmaking process regarding AI use in the classroom. Encourage them to explore AI responsibly and participate in discussions about its potential benefits and risks. ● Ethical Dilemmas: Be prepared to address ethical dilemmas that may arise from AI use and have a plan for responding to such situations. Develop a culture of open discussion and ethical decision-making in the classroom. ● Promote AI Literacy: Integrate AI literacy into your curriculum, encouraging students to understand how AI works, its potential benefits and risks, and how to use it responsibly. ● Discuss with colleagues: Collaborate with other educators to make more informed decisions and ensure a more consistent approach to using AI and data systems across schools. ● Collaborate with other schools: Share experiences and best practices and learn how other schools have implemented AI systems. This can also be useful in identifying and dealing with reliable providers of AI and data systems that adhere to the key requirements for trustworthy AI. Figure 1 below presents a visualised proposed framework that outlines the key principles for ethical and effective AI use in HE. A strong foundation in understanding AI systems is crucial, as it enables educators to assess the purpose, autonomy, and environmental context of AI tools. Building upon this foundation, ethical considerations, such as ensuring beneficial use, transparency, fairness, privacy, and human agency, must guide the implementation of AI. Finally, practical guidelines, including professional development, critical evaluation, student engagement, addressing ethical dilemmas, promoting AI

literacy, and fostering collaboration, provide a roadmap for educators to successfully integrate AI into their classrooms while upholding ethical standards and maximising its benefits for students. Practical Example: Using AI-powered Adaptive Learning for Personalised Instruction Scenario: A primary school wants to personalise maths instruction for students using an Intelligent Tutoring System (ITS). The school implements an ITS that adapts maths problems to each student's individual learning pace and style. The system uses data on student performance, engagement, and errors to predict their knowledge level and tailor subsequent problems accordingly. Implementation following the Framework: Understanding AI Systems Purpose: The school clearly defines the purpose - to provide personalised maths instruction and track student progress. Autonomy: The ITS has a degree of autonomy in adapting problems, but human teachers still oversee the learning process and provide guidance. Environment: The school considers the age and developmental level of students, ensuring the ITS is appropriate for their cognitive abilities. AI Competency: Teachers receive training on the ITS to understand its capabilities and limitations, as well as how to interpret student data.

Ethical Considerations Beneficial Use: The ITS is used to help students achieve their maths learning goals and close any knowledge gaps. Transparency: Teachers explain to students how the ITS works and how it adapts to their individual needs. The system provides clear feedback on student progress. Fairness: The ITS is designed to avoid bias in its recommendations, ensuring all students have equal access to resources and support. Privacy and Data: The school ensures that student data is handled securely and in compliance with privacy regulations. Practical Implementation Professional Development: Teachers receive ongoing training on the ITS to stay updated on its features and best practices. Critical Evaluation: The school regularly evaluates the effectiveness of the ITS in improving student learning outcomes and addresses any issues or concerns. Student Engagement: The ITS is designed to be engaging and interactive, with features like gamification and real-time feedback to motivate students. Ethical Dilemmas: The school has a plan to address ethical dilemmas that may arise, such as concerns about overreliance on AI or potential biases in the system. Promote AI Literacy: Students are taught about how AI works and how it is used in the ITS, fostering understanding and critical thinking. Discuss with colleagues: Teachers collaborate with each other to share experiences and best practices in using the ITS.

Gefinancierd door de Europese Unie. De geuite standpunten en meningen zijn echter uitsluitend die van de auteur(s) en geven niet noodzakelijkerwijs de standpunten van de Europese Unie of het Europees Uitvoerend Agentschap voor Onderwijs en Cultuur (EACEA) weer. De Europese Unie en het EACEA kunnen hiervoor niet aansprakelijk worden gesteld. Projectnummer: 2023-1-NL01-KA220-HED-000155675. Sectie 5: AI-gereedheid checklist Deze sectie biedt een uitgebreide checklist die ontworpen is om docenten in het hoger onderwijs te helpen hun niveau van gereedheid bij het gebruik van AI voor professionele en pedagogische praktijken te beoordelen. Gebaseerd op bestaande instrumenten zoals de Readiness Assessment for Faculty Members van de National Science Foundation en de Association of Computing Machinery, en de AI Readiness SelfAssessment Tool van het AI Education Project aan de Harvard University, heeft deze checklist als doel een volledig kader te bieden waarmee docenten hun begrip, vaardigheden en bereidheid kunnen evalueren om AI effectief te integreren in hun onderwijs-, leer- en beoordelingsprocessen. AI-Gereedheid Checklist 1. AI-bewustzijn en begrip Criteria Ja Nee Opmerkingen Bent u bekend met belangrijke AI-concepten (bijv. machine learning, neurale netwerken)? Begrijpt u hoe AI het hoger onderwijs en uw vakgebied beïnvloedt? Heeft u AI-ondersteunde tools voor onderwijs, beoordeling en leren verkend? Herkent u de ethische implicaties van AI in onderwijscontexten (bijv. vooringenomenheid, eerlijkheid)? Bent u op de hoogte van hoe AI kan helpen bij onderzoeksprocessen (bijv. data-analyse, automatisering)? Bent u op de hoogte van de potentiële voordelen en uitdagingen van het gebruik van AI in onderwijs? Kunt u voorbeelden geven van AI-gestuurde educatieve tools en toepassingen?

2. Pedagogische Integratie van AI Criteria Ja Nee Opmerkingen Heeft u overwogen hoe AI-tools uw onderwijsmethoden kunnen verbeteren (bijv. projectgebaseerd leren)? Gebruikt u AI om leerervaringen voor studenten te personaliseren? Heeft u AI-gedreven educatieve tools gebruikt of verkend, zoals intelligente tutorsystemen of virtuele assistenten? Kunnen de AI-tools die u gebruikt adaptieve leertrajecten bieden op basis van de voortgang van studenten? Integreert u AI-gerelateerde inhoud in uw curriculum om de AIgeletterdheid van studenten te verbeteren? Sluiten de AI-tools aan bij uw specifieke leerdoelen en -resultaten? Biedt de AI-tool formatieve feedback en leeranalyses om de prestaties van studenten te beoordelen? Worden AI-gebaseerde inzichten gebruikt om studentenbetrokkenheid en slagingspercentages te verbeteren? 3. Professionele Ontwikkeling in AI Criteria Ja Nee Opmerkingen Heeft u deelgenomen aan workshops of cursussen over AI in onderwijs? Neemt u deel aan AI-onderzoekscommunities of bezoekt u academische conferenties over AI? Bent u actief op zoek naar AI-gerelateerde educatieve bronnen of samenwerkingen met AI-experts? Bent u voorbereid om nieuwe AI-technologieën in uw onderwijspraktijk te integreren?

Criteria Ja Nee Opmerkingen Heeft u overwogen hoe AI uw onderzoeksmethoden of onderwijsstrategieën kan verbeteren? Werkt u samen met andere docenten of experts uit de industrie aan AI-gerelateerde projecten? Bent u toegewijd om op de hoogte te blijven van de nieuwste ontwikkelingen in AI en de toepassingen daarvan in onderwijs? 4. Ethisch Gebruik van AI in Onderwijs en Onderzoek Bent u zich bewust van de ethische implicaties van het gebruik van AI in onderwijs? Houdt u rekening met gegevensprivacy bij het gebruik van AI-tools in onderwijs? Voldoen de AI-tools die u gebruikt aan de regelgeving voor gegevensbescherming (bijv. AVG)? Zijn er duidelijke beleidsregels over hoe studentgegevens worden behandeld, opgeslagen en geanonimiseerd door AI-tools? Kunnen studenten en docenten de gegevensverzameling en het gebruik door de AI-tool beheren? Bent u zich bewust van mogelijke vooringenomenheid in de AIalgoritmen die in uw klas worden gebruikt? Bevordert de AI-tool eerlijkheid, diversiteit en inclusiviteit? Is er transparantie over hoe AI-beslissingen worden genomen (bijv. bij beoordeling, feedback)? Worden ethische implicaties overwogen bij het integreren van AI in onderzoek (bijv. automatisering van analyse, vooringenomenheid)?

5. Institutionele Ondersteuning en AI-Ecosysteem Criteria Ja Nee Opmerkingen Biedt uw instelling middelen voor AI-onderwijs (bijv. financiering, infrastructuur, training)? Is er institutionele ondersteuning voor de integratie van AI in onderwijs (bijv. LMS-integratie, AI-toollicenties)? Zijn er beleidsregels en kaders om AI-ethiek en verantwoord gebruik te ondersteunen? Worden docenten aangemoedigd om zich bezig te houden met AIonderzoek of curriculumontwikkeling? Biedt uw instelling samenwerkingsmogelijkheden voor AIgerelateerde projecten? Is er administratieve ondersteuning voor de ontwikkeling en financiering van AI-gestuurde onderwijsinitiatieven? Heeft uw instelling samenwerkingsverbanden met AI-bedrijven of onderzoeksinstellingen? After completing the AI Readiness Checklist, it's essential to reflect on your responses to identify areas of strength and areas where further development is needed. Consider questions such as: In which areas of AI do you feel most confident? Where do you see opportunities for growth? What kind of support, whether institutional, technical, or pedagogical, do you require to advance your AI readiness? Additionally, it's crucial to reflect on the ethical implications of AI in education, the potential benefits and risks, collaboration opportunities, and ensuring AI accessibility and inclusivity for all students. This self-reflection will help you tailor your professional development and AI integration efforts to meet your specific needs and goals.

AI Readiness Checklist: Scoring System and Benchmarks This section provides an interpretation of your AI readiness across the five thematic areas included in the checklist (a. AI Awareness and Understanding, b. Pedagogical Integration of AI, c. Professional Development in AI, d. Ethical Use of AI in Education and Research, e. Institutional Support and AI Ecosystem). By calculating your score, you can see your strengths and identify certain areas for improvement. I. Scoring System For each question included in each thematic area of the checklist, assign yourself points according to your responses: • Yes: 1 Point (This shows that you meet relevant criterion and you possess the specific understanding/skill.) • No: 0 Points (This shows that you do not meet the relevant criterion or you need further development in this area.) Calculate your score for each thematic area based on your answers and then sum them up for your total score. For example, to find your score in a thematic area, simply calculate the number of “Yes” that you have given in each question. Thematic Areas Number of Questions Max Score per Thematic Area Your Score 1. AI Awareness and Understanding 7 7 2. Pedagogical Integration of AI 8 8 3. Professional Development in AI 7 7 4. Ethical Use of AI in Education and Research 9 9 5. Institutional Support and AI Ecosystem 7 7 Total Possible Score 38 38

II. Interpreting your Overall AI Readiness Score Based on your final score as per the previous analysis, you may refer below to corresponding levels to understand your general AI readiness level. Level 1: AI Basic User (Total Score: 0-9 points) • Interpretation: You have limited knowledge and understanding of AI as well as limited practical experience and awareness of AI’s implications in education and professional settings. This score suggests that significant learning and exploration is needed. • Suggested Actions: o Prioritise learning by attending some introductory courses, workshops, and focusing on readings/articles related to AI topics, its applications, and ethical principles. o Experiment with simple AI tools to grasp their functionality and consider how these can be used in your professional and pedagogical practices. o Engage in discussions about AI with your colleagues. Level 2: AI Developing User (Total Score: 10-19 points) • Interpretation: You have more than basic awareness of AI’s potential and you have begun experimenting with some AI tools and their applications. However, you are still developing deeper practical skills, and critical understanding. • Suggested Actions: o Deepen your knowledge by looking for more specialised AI courses or certifications relevant to your discipline and pedagogical interests. o Seek concrete opportunities to integrate AI tools into your daily professional tasks or simple pedagogical activities (e.g., using AI for designing interactive presentations). o Check and utilise available AI-related resources or training offered by your institutions.

Level 3: AI Proficient User (Total Score: 20-29 points) • Interpretation: You are confident and competent in using AI for both professional and pedagogical purposes. You have a solid understanding of AI concepts, are skilled in using various AI tools and consistently consider ethical implications. You are also actively integrating AI into your professional and pedagogical practices. • Suggested Actions: o Move beyond basic use to more strategic integration of AI into core professional processes or pedagogical design knowledge. o Start sharing your own best practices for AI use based on your experience. Regularly evaluate the effectiveness and impact of your AI integration and explore ways of enhancing your knowledge. o Proactively participate in discussions on AI ethics with your colleagues within your department or institution. o Stay up to date with emerging AI technologies and developments. Explore more advanced AI applications relevant to your field. Level 4: AI Master User (Total Score: 30-39 points) • Interpretation: You are an expert in AI integration in your professional and pedagogical practices and competent in using AI for both professional and pedagogical purposes. You can responsibly use AI and innovate with it. • Suggested Actions: o Lead new AI initiatives and conduct research on AI’s impact. o Actively contribute to the development of guidelines, and ethical frameworks. o Share your expertise and best practices with a broader audience.

III. Interpreting each thematic area’s score While your total score provides you with a general idea of your AI readiness level, examining your score in each individual thematic area can highlight certain strengths and weaknesses. For each thematic area included in the AI Readiness Checklist, think about the relevance of your score to the maximum possible score (please refer to the table above). • High Score in a thematic area (e.g. all or nearly all “Yes” in your answers): This demonstrates a strong area of readiness for you. You most likely possess significant knowledge, skills, or resources in this area. Think about how you can enhance this strength. o Example (AI Awareness thematic area): If your score is 6 or 7 out of 7, you have a very strong understanding of AI concepts. • Moderate Score in a thematic area (e.g., roughly half to two-thirds of "Yes" answers): This suggests you have a good knowledge in this area, but there is room for significant improvement. Focus on targeted learning, practical application, or seeking out specific resources to improve. o Example (Pedagogical Integration): If your score is 4 or 5 out of 8, you are starting to integrate AI, but you can explore more diverse applications and deepen your knowledge. • Low Score in a thematic area (e.g., fewer than half of "Yes" answers): This thematic area indicates a key area for immediate focus and improvement. Allocate specific time and resources to enhance your knowledge, skills, or addressing gaps in this area. o Example (Ethical Use): If your score is 3 or less out of 9, you need to prioritise learning about AI ethics and responsible use in your professional and pedagogical practices. By combining your overall readiness level with a detailed analysis of your scores on each thematic area included on the AI Readiness Checklist, you will gain a comprehensive understanding of your AI readiness and a clear roadmap for your ongoing development.

Sectie 6: Casussen Deze sectie bevat zesendertig (36) nationale/EU-casussen die op bewijs gebaseerde voorbeelden bieden van de integratie van AItools in hogeronderwijsinstellingen, met hun mogelijkheden en uitdagingen voor professionele en pedagogische praktijk. Deze casestudy's zijn ingedeeld op basis van hun primaire focus. Categorie 1: AI voor beoordeling, feedback en prestatiebewaking Casestudy 1: Een geïntegreerd raamwerk voor het ontwikkelen en evalueren van een geautomatiseerd systeem voor de beoordeling van hoorcolleges General information Dimitriadou, E., & Lanitis, A. (2023). An integrated framework for developing and evaluating an automated lecture style assessment system. arXiv (Cornell University). https://doi.org/10.48550/arxiv.2312.00201 The study aims to develop and evaluate an integrated system that provides an automated evaluation of an instructor's lecture style. This system aims to help teachers by giving instant feedback on their lecturing style, to improve quality and enhance student learning experiences. Description of case The proposed application analysed and extracted measurable biometric characteristics from video cameras and audio sensors using machine learning. These characteristics included facial expressions, body activity, speech rate and tone, hand movements, and facial pose. These features, in combination, provided a score reflecting the quality of the lecture style. The system’s performance was evaluated by comparing its assessments with human evaluations and through feedback from education officers, teachers, and students. Lessons learned The results indicated that the system effectively provided automated feedback that participants received well. It performed comparably to humans and, in some cases, even outperformed them. Participants appreciated the application's utility in enhancing lecture delivery through immediate feedback. Implications for practice With similar or even fewer differences between AI-driven and human evaluation of lecture quality, the system can be used in natural settings (e.g., a university classroom) to support teachers in improving their lecturing and increasing student engagement. The researchers aim to further improve the system by refining the biometric metrics used in the automated lecture-style evaluation system, expanding its capabilities to include additional and wearable cameras and conducting real-time testing in classroom settings.

Casestudy 2: Herkenning van studentacties om de feedback van docenten tijdens tele-educatie te verbeteren General information Dimitriadou, E., & Lanitis, A. (2024). Student action recognition for improving teacher feedback during tele-education. IEEE Transactions on Learning Technologies, 17, 569– 584. https://doi.org/10.1109/tlt.2023.3301094 The aim of the research was to develop and evaluate a student action recognition system, reviewing students' behaviour participation and disaffection, intended to support teacher feedback during distance education. This system was designed to monitor student actions in online courses while protecting student privacy and providing real-time feedback to educators about student engagement without direct visual contact. Description of case An AI system was developed to recognise specific student actions using deep neural network architectures like GoogleNet, Inception-v3, and Faster R-CNN. The system used videos of student actions, processed locally on student devices, to train these networks. The effectiveness of the system was assessed through a comprehensive user evaluation involving students, parents, and educators, who provided feedback via online questionnaires and interviews. Lessons learned The results indicated that the system was effective in recognising student actions and was well-received by all stakeholders. Educators, in particular, found it useful for improving interaction and engagement in online settings. The system was well accepted due to the personal data protection measures applied. Implications for practice The AI system could enhance the effectiveness of online learning and distance education by providing insights into student behaviour, thus facilitating better educational outcomes.

Casestudy 3: Waarborgen van academische integriteit en vertrouwen in online leeromgevingen: een longitudinale studie van een AI-gestuurd proctoringsysteem in instellingen voor hoger onderwijs General information Fidas, C., Belk, M., Constantinides, A., Portugal, D., Martins, P., Pietron, A. M., Pitsillides, A., & Avouris, N. (2023). Ensuring academic integrity and trust in online learning environments: A longitudinal study of an AI-Centered proctoring system in tertiary educational institutions. Education Sciences, 13(6), 566. https://doi.org/10.3390/educsci13060566 The research aimed to enhance the credibility of online examinations in HE by identifying scenarios/cases that threaten the credibility of online exams and proposing AI-driven solutions to address these threats. A longitudinal study involving stakeholders from three European HE institutions was conducted. Description of case The researchers designed and implemented an intelligent system titled TRUSTID. The system incorporates advanced biometric technologies for identity verification and continuous monitoring. Students first register their biometric data, such as facial and vocal characteristics, which TRUSTID continuously uses to verify the student's identity throughout the exam. The system is privacy-friendly, allowing students to securely control their personal biometric information. Additionally, TRUSTID monitors behavioural patterns and physical examination contexts, detecting unusual activities that may be related to cheating. This integrated system ensures that the same student remains throughout the test and supports examiners by offering real-time alerts and a secure, user-friendly interface for data security. Lessons learned The TRUSTID system, evaluated by stakeholders, showed resilience against impersonation attacks and received positive feedback in terms of usability and user experience. The system was robust in monitoring student behaviours and identifying anomalies, receiving positive feedback from students and instructors for its usability and ease of use. Privacy concerns were addressed with a privacy-preserving biometric wallet, allowing secure control and sharing of biometric data. Overall, the TRUSTID system was well-received across various stakeholder groups, showing its potential applicability and effectiveness in maintaining academic integrity in online educational settings. Implications for practice The system has the potential to enhance the integrity of online examinations by using advanced biometric verification methods to prevent common threats such as impersonation and cheating.

Casestudy 4: Geautomatiseerde feedback aan studenten bij data science-opdrachten: verbeterde implementatie en resultaten General information Alessandra Galassi & Pierpaolo Vittorini, CHItaly 2021: 14th Biannual Conference of the Italian SIGCHI Chapter, July 11–13, 2021, Bolzano, Italy, Association for Computing Machinery (ACM), New York, NY, USA, 8 pages. The research discusses the development and implementation of an automated feedback system for assignments in data science. This system focuses on grading assignments that involve language commands, their outputs, and natural language comments. The primary objective is to change students' learning experiences by providing fast and detailed feedback that can identify mistakes and offer improvement suggestions. The study evaluated the effectiveness of this system using student feedback collected through standardised and custom questionnaires. Description of case The research presents a case study on the development, implementation, and evaluation of an automated feedback system for data science assignments at the University of L’Aquila, Italy. The system was specifically designed to grade assignments involving R language commands, their outputs, and accompanying natural language comments. It used static code analysis and machine learning techniques to evaluate the correctness and quality of the R code and the associated comments. The system provided feedback with explanations for grading decisions, identification of errors, and suggestions for improvements. This feedback was intended to be detailed and instructive to help students learn from their mistakes. Lessons learned The study observed an increased engagement of students in the process. The automated feedback system led to higher levels of student engagement, as students could receive immediate feedback and make corrections quickly. Perceived Usefulness: Students found the feedback to be useful in understanding their mistakes and learning how to correct them. Clear Error Identification: The system was effective in clearly identifying errors and providing impactful suggestions for improvement. Impact: The results show that the automatic feedback provided by the system was useful to students to understand their mistakes, to understand the correct statistical method to solve the problem, and to verify the preparation for the final exam. Furthermore, most of the students used the tool iteratively to improve their solutions. Only a few of them used the tool before submitting the solution or just to see the exercises. Implications for practice These findings highlight the AI system's potential in accurately grading student work in data science courses, with slight improvements observed when combining sentence embeddings with distance-based features.

Case Study 5: Casestudy 5: Een AI-gebaseerd systeem voor formatieve en summatieve beoordeling in data science-cursussen General information Amelio, A., & De Medio, C. (2021). An AI-Based System for Formative and Summative Assessment in Data Science Courses, International Journal of Artificial Intelligence in Education, 31, 159–185 https://doi.org/10.1007/s40593-020-00230-2 The paper discusses an AI-based system designed for formative and summative assessments in data science courses. This system automates the grading process and provides feedback to both students and professors. This study's aim is to evaluate the system's effectiveness by comparing the time taken for grading, the accuracy of the grading, and the impact on student learning outcomes. Description of case The study evaluated time efficiency on grading manually versus grading with the AI tool, the grading accuracy by comparing the AI tool's accuracy to the manual grading's accuracy, the learning outcomes (the impact of automated feedback of student performance in final exams and the usability of the tool, which was based on the students' feedback on the system's usability. Lessons learned The system was expected to enhance student learning by offering timely and accurate feedback. The Model performance showed that only a slight improvement in performance when distance-based features were included along with sentence embeddings, which suggests that sentence embeddings alone were effective in representing the semantic content of the answers, especially when the answers and correct solutions had high lexical overlap. It was useful for both formative and summative assessments. In formative assessments, students used the tool for homework and received automated feedback, which was later compared to manual feedback. In summative assessments, exams were corrected either manually or through the AI system, allowing for a comparison of performance between human and AI grading. Implications for practice Efficiency in Grading, since the AI system reduces grading time, allowing instructors to focus on other educational tasks, and ensures consistent, unbiased evaluations, enhanced, Student Feedback, since it provides immediate, detailed feedback, helping students learn and improve continuously, Scalability, since it facilitates handling large classes, making it ideal for MOOCs and large enrolment courses, and Focus on Learning, since it frees up instructor time to offer personalised support and improve teaching strategies.

Made with FlippingBook

RkJQdWJsaXNoZXIy NzYwNDE=