Een Chimpan-Z Use Case
AI Governance is niet alleen belangrijk om te voldoen aan wet- en regelgeving zoals de AI Act, maar ook om ervoor te zorgen dat onze AI-modellen transparant, ethisch en met zo min mogelijk biases opereren, rekening houdend met onze privacy. Veel bedrijven worstelen echter met het integreren van AI Governance. We hebben al een blogpost geschreven over hoe u waarde kunt halen uit uw AI-governance met ons AI Governance-framework, maar daar houdt onze hulp niet op. Vandaag hebben we een demo voor je gemaakt waarin we door ons fictieve business-to-business snelle boodschappenbezorgbedrijf lopen: Chimpan-Z. In deze demo doorlopen we alle stappen voor het beheren van ons Customer Churn-model in Collibra, een van de AI Governance-modules van onze partner. We zullen het doel van alle secties in Collibra’s AI-governancemodule uitleggen en een voorbeeld geven uit ons Customer Churn-model.
Binnen onze Collibra-instantie hebben we een aparte sectie voor AI Governance. We beheren zowel onze gegevens als onze AI-modellen in Collibra.
Let op voor lezers die met Collibra werken: de module is alleen zichtbaar als je de add-on voor AI Governance hebt. Het is niet opgenomen in de reguliere AI Governance-module. Bovendien kunt u de AI Governance-module alleen bekijken als een van de rollen van AI Legal Reviewer of AI Business User aan u is toegewezen.
Met de rol AI Legal Reviewer kunt u AI Governance Use Cases maken en verwijderen en de beoordelingen voor de AI-reviews maken. Via ‘AI Legal Reviews’ kunt u eenvoudig de AI Use Case registreren, of een (nieuw) assessment starten.
U kunt recentelijk aangemaakte use cases ook bekijken in ‘Recent gemaakt’ en Assessments die u moet beoordelen in ‘Te beoordelen’.
Onder uw recent aangemaakte use cases en de beoordelingen die u moet beoordelen, kunt u uw Watch List bekijken. De Watch List is een lijst met alle actieve toepassingen. Er zijn verschillende risicolagen: laag risico, gemiddeld risico en hoog risico. In ons voorbeeld kunnen we zien dat ons Z-Churn-model zich in de monitoringfase bevindt en dat het model een gemiddeld risico heeft.
Met de AI Business User Role kunt u AI Governance-gebruiksscenario’s maken en bijwerken. Er zijn drie fasen waarin de AI-use-case zich kan bevinden: ideevorming, ontwikkeling en monitoring.
De Ideeatie fase
De Ideevormingsfase omvat gebruiksscenario’s waarin u gebruiksscenario’s documenteert die u wilt starten. Voordat u uw model maakt, wilt u dus opgeven wat het model doet.
Voor ons Churn-model zijn tijdens de Ideeatie fase de volgende stappen genomen:
- Geef Business Context
- Data en AI Modellen
- Juridisch en Ethisch
- Risico’s en Waarborgen
Voor de zakelijke context hebben we informatie verstrekt over het volgende:
- Business case: gericht op het ‘waarom’ dat het model zou worden ontwikkeld. Het is de concrete zakelijke uitdaging en wat er moet veranderen om problemen met de huidige bedrijfsprocessen op te lossen.
- Bedrijfswaarde: beschrijft de bedrijfswaarde van het product of de dienst. Waarden worden gedefinieerd in termen van nieuwe inkomsten, kostenreductie of risicobeperking.
- Use Case Application: definieert of deze use case intern zal worden gebruikt, of een klantgericht product zal worden, en dus op de markt zal worden gebracht.
- Onderhoudskosten: grondig kostenframe om de kosten van het uitvoeren van de use case voor een geselecteerde tijdsduur uit te leggen.
- Business Sponsor: wie sponsort het initiatief binnen uw organisatie.
Dit helpt ons te bepalen hoe het model aansluit bij de bredere reikwijdte van de organisatie.
Het Churn-model voor onze snelle bezorgservice ziet er als volgt uit:
In de Data- en AI-modellen geven we informatie over welke modellen in de use case worden gebruikt. We definiëren of het een model van een derde partij is, een intern model. Ook de beschrijving van de trainingsgegevens, gevolgtrekkingsgegevens en modeluitvoer. We zien het niveau van gegevensopslag, modelmonitoring en automatisering. Merk op dat aangezien we Collibra ook gebruiken voor onze Data Governance, al onze metadata aanwezig zijn in Collibra. We weten dus precies op welke data het model werkt, om welke tabel en welk schema en welke database het gaat, en ook wat de kwaliteit van de data is.
Voor juridisch en ethisch gebied definiëren we vooraf vastgestelde drempels in een risicobeoordeling. Initiatiefnemers van de use case moeten de beoordeling eerlijk invullen en op basis van de input een risicobeoordeling genereren. Hier moet ook worden gedocumenteerd welk beleid verband houdt met het AI-model. Ook wordt gedocumenteerd door welke beoordeling het AI-model wordt beoordeeld.
De beoordeling bestaat meestal uit verschillende categorieën. Hierbij kan het gaan om het doel van het AI-model, beveiligingsprotocollen, risico’s voor intellectueel eigendom, gegevensprivacy, zakelijke, ethische en andere risico’s. Hierbij vermeldt u ook de transparantie van uw AI-model, en de wettelijke goedkeurings- en verlengingsdatum.
Als het model wordt goedgekeurd, gaat het naar de ontwikkelingsfase.
De ontwikkelings fase
Wanneer het AI-model is goedgekeurd, kunnen de ontwikkelaars beginnen met het bouwen van het AI-model. Dit integreert de AI Governance-principes uit de Ideeatie fase in de levenscyclus van het AI-model om de risico’s vóór de implementatie te verminderen. Dit zorgt ervoor dat modellen correct gedocumenteerd, verklaarbaar en compliant zijn voordat ze worden ingezet. Wanneer de modellen goed gedocumenteerd zijn, op bias zijn gecontroleerd, zijn afgestemd op het governancebeleid en zijn getoetst bij de desbetreffende stakeholder(s), gaat het naar de laatste fase: monitoring.
De monitoring fase
Tenslotte begint de monitoringfase. In Collibra kunt u bekijken welke modellen zich momenteel in de Monitoring-fase bevinden, inclusief hun risiconiveau. Deze fase zorgt ervoor dat alle AI-modellen in de loop van de tijd compliant, nauwkeurig en betrouwbaar blijven. Deze fase omvat het continu volgen van de AI-prestaties, vooringenomenheid en naleving van de regelgeving.
Uiteraard kunnen de use cases voor elke organisatie verschillen op basis van wettelijke vereisten, transparantie, vooringenomenheid, enzovoort. Clever Republic is gespecialiseerd in het creëren van maatwerkoplossingen voor elk van onze klanten. Als u hulp nodig heeft bij uw AI Governance-oplossing, neem dan gerust contact met ons op!
