Hoe marketingteams betere AI-operaties kunnen opbouwen

Breanna Lawlor: De meesten van ons gebruiken elke dag AI, maar AI gebruiken en weten hoe het werkt zijn twee heel verschillende dingen. De kloof tussen die twee wordt zichtbaar in je verkooppijplijn, je contentstrategie en het vermogen van je team om bij te blijven. Als je een senior marketeer bent die probeert uit te zoeken hoe je echte AI-infrastructuur bouwt en je organisatie op een duurzame manier met AI laat werken, dan zal dit gesprek je manier van denken hierover veranderen.

Mijn gast is Andrea Saez. Zij is hoofd productmarketing en AI-go-to-market bij Turtl. Ze is ook medeauteur van The Product Momentum Gap. Ze werd de feitelijke leider van de AI-operaties binnen haar bedrijf, vooral omdat ze eerder dan wie dan ook begon te experimenteren. In deze aflevering bespreken we een breed scala aan onderwerpen.

We beginnen met wat ervoor nodig is om gedeelde AI-context binnen een team op te bouwen, waarom je contentstrategie misschien volledig moet worden herzien nu grote taalmodellen de nieuwe voordeur voor kopers zijn, hoe neurodivergentvriendelijk leiderschap er in de praktijk uitziet en waarom het betere resultaten oplevert, en de kloof in kritisch denken die ontstaat wanneer we te veel aan de machine overlaten zonder te controleren wat eruit komt.

Ik ben Breanna Lawlor, en dit is de podcast van The CMO Club. Andrea, welkom!

Andrea Saez: Zeker. Bedankt voor de uitnodiging. Mijn naam is Andrea. Ik ben hoofd productmarketing bij Turtl en ook medeauteur van het boek The Product Momentum Gap. En ik experimenteer graag veel met dingen, wat goed uitkomt omdat ik de laatste tijd met AI aan het experimenteren ben.

Het is interessant, leuk, vreemd, spectaculair en beangstigend. Je kunt er zoveel woorden aan verbinden.

Breanna Lawlor: Ik heb het gevoel dat er, afhankelijk van de dag, een eindeloze stroom woorden zou zijn. Sommige dagen boek je successen en op andere dagen raak je een beetje gefrustreerd door het hele proces. Je functie is hoofd productmarketing, maar ik heb het idee dat die rol de laatste tijd is uitgebreid.

Je houdt je bezig met zaken die misschien buiten de reikwijdte van je functie vallen. Wil je daar iets meer over vertellen?

Andrea Saez: Productmarketing is een heel interessante rol, omdat we generalisten zijn, maar ons tegelijkertijd specialiseren in wat we doen, als dat ergens op slaat. Wat me is opgevallen, is dat productmarketing vaak de schuld krijgt van allerlei dingen die misgaan.

Werkt de verkooppijplijn niet? Dan moet het wel productmarketing zijn. Werkt de boodschap niet? Dan moet het wel productmarketing zijn. Worden we niet opgepikt door de AEO-dingen? Dan moet het wel productmarketing zijn. Het heeft niets met ons te maken, maar wij lossen het wel op. Omdat we strategen zijn, zijn we erg goed in het diagnosticeren van problemen, maar dat betekent niet dat we alles moeten doen.

Dat wil ik heel duidelijk maken.

Breanna Lawlor: Natuurlijk niet. Wie wil er nu verantwoordelijk zijn voor alle problemen en geen enkele erkenning krijgen?

Andrea Saez: Ik blijkbaar.

Breanna Lawlor: Je bevindt je duidelijk in een positie waarin je de vaardigheden en kennis hebt om die problemen op te lossen, maar je werkt ook nauw samen met enkele andere leidinggevenden binnen je team. Kun je iets vertellen over die relatie en dynamiek?

Andrea Saez: Ik werk bij een heel uniek bedrijf. Als hoofd productmarketing zit ik bij marketing, dus ik werk nauw samen met merkmarketing en leadgeneratie. Dat zijn de twee leidinggevenden aan de marketingkant. Maar ik zit ook bij product, dus we hebben een productleidingsteam en daar maak ik deel van uit.

Mijn vicepresident marketing maakt er deel van uit, net als de chief product officer, de CEO en natuurlijk het hoofd product. Dat geeft ons een heel unieke commerciële blik. Als het gaat om wat ze bouwen en waaraan ze gaan werken, hebben we stappen die we doorlopen om mogelijke oplossingen, ontdekkingen en al het werk dat wordt uitgevoerd te evalueren.

Ik waardeer dat echt, omdat mijn achtergrond natuurlijk in product ligt. Het is geweldig om alles vanaf de ontdekkingsfase tot en met de marktintroductie te kunnen volgen.

Breanna Lawlor: Dat kan ik me voorstellen. Mag ik vragen hoe je de overstap hebt gemaakt van product naar productmarketing? Misschien was het geen grote sprong, maar eerder een kleine zijstap. En waarom koos je voor die richting?

Andrea Saez: Ik zeg meestal dat ik gewoon graag veel praat, en zo is het eigenlijk gegaan. Ik schrijf graag, maar ik houd ook van creatieve dingen. Volgens mij heb je bij productmarketing wat meer ruimte voor verhalen, creativiteit en storytelling. Ik besloot die kant op te gaan omdat niemand graag PRD’s of gebruikersverhalen schrijft.

Met AI schrijft die tegenwoordig je PRD’s en gebruikersverhalen voor je, wat geweldig is. Maar ik geniet nog steeds echt van schrijven, creatieve storytelling en het uitwerken van verhalen. Dat trok me oorspronkelijk aan in productmarketing. En ik krijg nog steeds veel strategie en probleemoplossing, wat geweldig is.

Breanna Lawlor: Dat kan ik me voorstellen. Bedankt dat je dat deelt. Je hebt waarschijnlijk nog steeds veel contact met je gebruikers om te begrijpen wat ze nodig hebben en waar ze tegen problemen aanlopen.

Andrea Saez: Ja, dat is eigenlijk wat je zowel in product als in productmarketing moet doen: ervoor zorgen dat je voortdurend met mensen praat.

Aan de productmarketingkant kom je iets meer in contact met kopers, dus nog voordat ze gebruikers worden, bovenaan de funnel. Maar dat is allemaal marktonderzoek en ik houd echt van het onderzoeksaspect. Gelukkig bevat productmarketing daar nog steeds veel van.

Breanna Lawlor: Ik heb een beetje tijd doorgebracht in marktonderzoek en vind het geweldig om vooroordelen of vooropgezette ideeën uit te dagen. Het kan ook goed zijn om ze te valideren, maar het brengt je buiten jezelf en je eigen perspectief. Daardoor krijg je een breder en nauwkeuriger beeld van wat er gebeurt en van de mogelijkheden om dingen te verbeteren.

In datzelfde verband zei je dat AI je PRD’s schrijft. AI kan dat niet zelfstandig. Iemand moet uitleggen hoe een goede PRD eruitziet. Je vertelde eerder iets over het verfijnen van de processen achter de schermen om al je afdelingen crossfunctioneel met hetzelfde AI-brein, of beter gezegd dezelfde context, te laten werken.

Hoe is dat ontstaan en hoe zou je beschrijven wat AI-operaties moeten betekenen voor een productmarketingteam en voor een grotere organisatie?

Andrea Saez: Dat is op zichzelf al een gesprek van dertig minuten. Ik probeer het kort te houden. Wat de meeste mensen niet begrijpen wanneer ze met ChatGPT, Claude, Perplexity, Gemini of welk systeem dan ook praten, is dat je een vraag stelt en er een antwoord uitkomt.

Daarna stel je nog een vraag en komt er nog een antwoord. Vervolgens stel je weer een vraag en ga je door. Maar al die antwoorden zijn niet met elkaar verbonden. Daardoor verspil je veel tijd aan het steeds opnieuw uitleggen van jezelf. Om dat op te lossen heeft Claude een oplossing. Als onderdeel van Cowork kun je een map maken.

In die map kun je iets opnemen dat Claude MD heet en de kennisbasis van het project bevat. Daarna kun je zaken toevoegen zoals een geheugenbestand. Ik heb iets dat Task Observer heet. Dat observeert hoe ik werk en werkt vervolgens al mijn vaardigheden bij. Het is dus een zelflerende vaardigheid die al mijn vaardigheden bijwerkt.

Tijdens het werken kunnen er onvermijdelijk fouten ontstaan of kan het systeem afwijken. Dan zegt het bijvoorbeeld: zorg ervoor dat je deze fout niet maakt in alle relevante vaardigheden, en voegt het die regel toe. Het is dus een zelflerend hulpmiddel. Iedereen heeft toegang tot dezelfde kennisbasis en geheugenbestanden. Terwijl het leert hoe je werkt, wat je prettig vindt, wat je niet prettig vindt en welke andere context relevant is, voegt het die context toe aan de Cowork-map. De volgende keer dat je hetzelfde doet, begrijpt het de eerdere antwoorden al.

Het begrijpt de context en alles daaromheen. Daardoor bereik je veel sneller wat je wilt. Dat is onderdeel van slimme prompt-engineering: jezelf niet steeds opnieuw hoeven uitleggen en ervoor zorgen dat je prompts nauwkeurig zijn. Ik sprak met Yi Lin Peh. Zij zei dat het lijkt alsof veel mensen moeite hebben met Claude.

En ik zei: dat komt omdat je al deze dingen niet hebt ingesteld. Daar komt bij dat de prompt zeer precies moet zijn om geen tijd te verspillen. Veel mensen weten niet dat je dit allemaal kunt instellen. Dat is onderdeel van het creëren van deze operaties. Vaardigheden die je deelt met anderen mogen niet geïsoleerd bestaan. Als je steeds met dezelfde gedeelde vaardigheden werkt, moet je ervoor zorgen dat dezelfde context beschikbaar is. Anders begint het systeem te hallucineren.

Breanna Lawlor: Het lijkt bijna vreemd dat dit niet gewoon de norm is. Maar er is een gebrek aan kennis en iemand moet dit naar een hoger niveau tillen, het implementeren en voor iedereen toegankelijk maken, zodat het voortdurend wordt geïnformeerd, evolueert en bruikbaar blijft. Dat zijn veel verschillende factoren, terwijl we allemaal ook ons gewone werk moeten doen.

Dit lijkt dus bijna buiten de reikwijdte van je functie te vallen. Hoe heb je besloten dat je dit op je moest nemen omdat niemand anders het deed? Ben je de feitelijke persoon voor AI-operaties omdat je die aangeboren kennis hebt? Hoe is dit ontstaan?

Andrea Saez: Bij mij gebeurde het vooral omdat ik graag met dingen experimenteer. In oktober vorig jaar begon ik te experimenteren met AI en mijn eigen hulpmiddelen, vaardigheden en allerlei andere dingen te bouwen. Ik testte verschillende hulpmiddelen en probeerde verschillende zaken uit.

Daardoor kwam ik vanzelf in een positie terecht waarin ik dit kon doen. Ik leer graag zelfstandig en haal dingen uit elkaar om te begrijpen hoe ze werken. Het kwam dus min of meer per ongeluk bij mij terecht. Ik houd me bezig met de operationele kant, maar ook met wat we AI-go-to-market noemen.

Hoe gaan we met AI naar de markt? Wat veel mensen zien, vooral zoals ik het in het tweede kwartaal begrijp, is niet alleen bij Turtl maar overal, is een grote daling in het aantal mensen dat naar websites komt. Dat komt omdat mensen niet meer zo vaak naar websites gaan.

Ze stellen hun vraag aan een groot taalmodel en krijgen een lijst met leveranciers die bij hun prompt zouden kunnen passen. Dat is ingewikkeld, want mensen denken dat je in een groot taalmodel kunt ranken, maar dat kan niet. Er is geen rangschikking. Het beste wat je kunt doen is proberen zo vaak mogelijk te worden opgepikt.

Je kunt dezelfde prompt vijftien keer stellen. Als je twaalf keer verschijnt, doe je het geweldig. Maar daarvoor moet je er hard aan werken dat je content zo goed mogelijk antwoord geeft op de vraag die je denkt dat mensen stellen. Je kunt nooit echt weten welke vraag ze stellen.

Breanna Lawlor: Dat is waarschijnlijk het frustrerendste. Je kunt het niet weten. Je moet jezelf zo strategisch mogelijk positioneren zodat je misschien wordt opgepikt, en je moet de inhoud structureren op een manier waarvan je hebt geleerd dat die werkt voor deze taalmodellen en de verschillende vormen waarin ze voorkomen.

Andrea Saez: Content wordt eigenlijk steeds langer, omdat je al deze informatie erin moet proberen te verwerken. Maar niemand leest het echt. De content die we maken is vooral bedoeld voor het taalmodel om eruit te halen en vervolgens ergens in een antwoord te gebruiken.

Breanna Lawlor: Precies. Je moet het iets geven om te verwerken.

We weten niet wat er uiteindelijk uitkomt. Het is als een buffet: sommige dingen spreken bepaalde taalmodellen aan en andere helemaal niet. Die zullen nooit verschijnen, hoe goed ze ook zijn.

Andrea Saez: Het hangt ook af van de manier waarop iemand de vraag formuleert. Daarbovenop komt de vraag of het taalmodel de gebruiker op een heel specifieke manier leert kennen. Dan geeft het een antwoord waarvan het denkt dat het de gebruiker beter helpt, en niet noodzakelijk een antwoord dat alleen op de zoekopdracht is gebaseerd.

Een goed voorbeeld is dat ik op vakantie ging en Claude vroeg waar ik in Amsterdam uit eten kon gaan. Het raadde iets aan dat ik echt geweldig vond. Maar als mijn partner precies hetzelfde had gevraagd, zou die waarschijnlijk niet dezelfde resultaten hebben gekregen. Claude zou dan hebben aanbevolen wat het over die specifieke gebruiker wist.

Het weet niet automatisch dat jullie samen reizen of wat de voorkeuren en afkeuren van meerdere mensen in een groep zijn, tenzij je dat expliciet vermeldt. Dan moet je zeggen dat je met twintig andere mensen op vakantie gaat, of met drie anderen, en uitleggen wie in de groep bepaalde voorkeuren heeft. Hoeveel tijd heb je dan al verspild?

Breanna Lawlor: Inderdaad. Wat ik hoor, is dat context alles is.

Andrea Saez: Absoluut. Als je dat vertaalt naar een B2B-context—

Breanna Lawlor: Dan is het op zijn best giswerk.

Andrea Saez: Precies. Ik weet niet wat ik doe, maar ik probeer het uit te zoeken.

Breanna Lawlor: Die experimentele blik die je beschreef, waarmee je in oktober begon met hulpmiddelen bouwen en met AI experimenteren, komt je duidelijk goed van pas in je rol als hoofd productmarketing, maar ook in de wereld waarin we nu leven.

Experimenteer, probeer dingen uit en kijk wat blijft werken. We hebben niet alle antwoorden. Dat is prima. We verzamelen informatie en gegevens en kunnen die gebruiken voor onze volgende beslissing.

Andrea Saez: Absoluut.

Breanna Lawlor: Je vertelde ook iets over het verschil tussen neurotypisch en neurospicy, omdat je zelf gelukkig bij een van die groepen hoort en werkt met mensen die je ook neurospicy zou noemen.

Kun je uitleggen hoe dat zich uit in de manier waarop je werkt, hoe het je helpt en wat je anderen zou aanraden die met neurodivergente mensen werken om tot een goed resultaat te komen? Jullie streven allemaal hetzelfde doel na. Het maakt niet uit hoe je werkt, laten we een manier vinden om samen te werken.

Wat zou je aanraden?

Andrea Saez: Ik behoor tot het neurospicy-kamp. Net als veel andere vrouwen kreeg ik pas ongeveer zes of zeven jaar geleden een diagnose. Ik was dus al volwassen. Ik werd laat gediagnosticeerd en had geen idee. Het was een verrassing, maar het hielp me echt begrijpen hoe ik het beste werk, hoe ik mijn tijd optimaal benut, hoe ik me beter concentreer, hoe ik efficiënter kan werken en waarom ik bepaalde omstandigheden nodig heb.

Als je neurospicy bent, kunnen dingen zoals verlichting belangrijk zijn. Als het licht te fel is, kan dat sommige mensen echt storen. Ik heb volledige stilte nodig. Andere mensen hebben muziek nodig. Voor iedereen is het anders. Er is geen enkele aanpak die voor iedereen werkt. Ik heb het geluk dat het directe marketingteam waarmee ik werk uit drie mensen bestaat die allemaal een achtergrond in geestelijke gezondheid hebben.

We hebben eerder samengewerkt en begrijpen onze verschillen en de manier waarop we met elkaar communiceren. Daardoor hebben we de kracht, empathie en basis gekregen om samen met andere mensen in ons team een cultuur te creëren waarin zij zich ook gesteund voelen.

Breanna Lawlor: Al onze een-op-eengesprekken binnen het team beginnen met: hoe voel je je?

Andrea Saez: Precies. Hoe gaat het met je als persoon? Toen ik een van mijn jonge productmarketingmanagers inwerkte, was mijn eerste vraag altijd: hoe voel je je? Kan ik je ergens mee helpen? Gaat het goed met je leven? Ben je gestrest? Hij zei tegen me: niemand heeft me dat ooit gevraagd. Niemand heeft ooit gevraagd hoe ik me voel en hoe het met me gaat.

Ik zei: ik geef om jou als persoon. Als je gestrest bent of als er iets in je leven speelt, zul je op je werk niet goed presteren. Daarom moet ik weten hoe het met je gaat. Daarna kunnen we bespreken wat er op je bord ligt en waarmee ik je kan helpen.

Dat is een heel menselijke manier om relaties te benaderen. In ons team kunnen we elkaar daardoor als team behandelen, in plaats van als mensen die tegenover elkaar staan. We moeten momenteel de website opnieuw maken en er spelen allerlei AEO-kwesties.

Gelukkig had ik mijn productmarketingwerk vooruit gepland. De positionering, boodschap en teksten zijn allemaal klaar. Dus vroeg ik: waarmee kan ik helpen? Dat is een geschenk voor je team. De komende week of twee houd ik me daarom bezig met het bouwen van de website. We zijn een klein en slank team. Toch behalen we heel goede resultaten, omdat we bereid zijn elkaar te helpen en samen te werken. Anders zou het nooit werken.

Breanna Lawlor: Helemaal. Dat is het mooie van een klein team: je kunt flexibel zijn. Je kunt kijken en zeggen: ik heb capaciteit, ik help je nu. En misschien heb ik later, wanneer mijn capaciteit kleiner is, ondersteuning nodig en kan ik daarop terugvallen.

Andrea Saez: We hoeven het elkaar niet eens te vragen. We zeggen gewoon: ik heb dit nodig, kun je me helpen? En zo vullen we elkaar aan. Zoals ik gisteren zei, denk ik niet dat ik de afgelopen drie of vier maanden op kantoor ben geweest. Ik heb gewoon zoveel werk. Voor mij, als iemand met ADHD, is alleen de reis naar kantoor al overprikkelend. Op kantoor zitten met mensen is ook overprikkelend. Ik moet daarna bijkomen en ben de volgende dag erg moe. Dus zeg ik: ik moet thuiswerken.

Mijn manager zegt dan: prima, niemand hoeft naar kantoor te komen. We hebben daar niet veel last van, omdat we zoveel werk hebben. Elkaar ondersteunen betekent voor ons dus: we werken op afstand.

Breanna Lawlor: Ja.

Andrea Saez: En het is geweldig. We zagen elkaar gisteren en het was fantastisch om een dag weer samen te zijn.

Breanna Lawlor: Het is prettig. Er is een verschil tussen naar kantoor gaan en met tien of vijftien mensen zitten, en één-op-één lunchen of een intensieve gezamenlijke werksessie houden.

Dat is volledig anders, vooral als je gevoelig bent en zoveel tijd besteedt aan het verwerken van je omgeving dat je je hersenen en functies niet kunt gebruiken zoals nodig is om veel werk te doen.

Andrea Saez: Ja.

Breanna Lawlor: Het is interessant, want ik ben niet zo bekend met de werkcultuur in het Verenigd Koninkrijk. Ik heb het land bezocht, maar is het, gezien je huidige rol, ongewoon om op afstand te werken? Of is dat inmiddels de norm, afhankelijk van de sector of locatie?

Andrea Saez: In mijn ervaring zijn er veel teams die verwachten dat mensen twee of drie keer per week naar kantoor komen, vooral in Londen. Ik woon in een andere stad. Veel van ons wonen in verschillende steden rond Londen of aan de zuidkust, op ongeveer een of twee uur afstand. De meeste bedrijven zeggen dat het prima is als je twee of drie keer per week komt.

Maar twee of drie keer per week kan duur zijn, want treinen zijn hier ontzettend duur. Het kost ook veel tijd om heen en weer te reizen. Ik heb dus veel geluk dat ik in een cultuur werk waarin ze begrijpen dat het beste talent soms verder weg woont, maar toch op afstand het beste werk kan leveren. Dat toont ook vertrouwen.

Ons engineeringteam zit bijvoorbeeld in Slovenië. Zij werken allemaal op afstand vanuit huis, hoewel er wel een klein kantoor is. Een paar van onze productmanagers, mensen van klantenservice, vicepresidenten en andere directieleden werken op afstand. Toch doen we het heel goed, omdat we veel communiceren.

Op afstand werken betekent niet dat je met niemand praat. Integendeel. Het betekent wel dat ik veel meer geconcentreerde tijd heb. Die tijd is intensief, omdat ik de omgeving heb die ik nodig heb om mijn werk te doen.

Breanna Lawlor: Dat is heel logisch. Bedankt dat je dit deelt. Het is belangrijk, omdat veel mensen in Noord-Amerika weer naar kantoor moeten. Daar kan een bepaald doel achter zitten, maar het houdt geen rekening met andere onderdelen van werk. Het zorgt ervoor dat mensen op hun stoel zitten, maar niet noodzakelijk dat ze hun werk kunnen doen op de manier die voor hen werkt.

Het is altijd een afweging. Het is fijn om te horen dat jouw organisatie niet alleen begripvol is, maar ook bewust en proactief omgaat met de manier waarop het team wordt ondersteund.

Andrea Saez: Zoals ik zei, hebben we nog steeds teamdagen. We hadden gisteren een teamdag. Het was geweldig om het salesteam en het productteam te zien. En nu is het weer tijd om te werken. We hebben een deadline en ik heb rustige tijd nodig om me te concentreren. Veel anderen hebben dat ook nodig.

Sommige mensen zetten muziek op en draaien die heel hard, omdat dat hen motiveert. Ik denk dan: nee. Maar omdat zij die motivatie nodig hebben, kan ik niet zeggen dat ze de muziek moeten uitzetten omdat ik stilte nodig heb. Daarom doe ik mijn oordopjes in en neem ik mijn rustige tijd.

Breanna Lawlor: Goed gedaan. Gewoon rekening houden met de mensen om je heen. Er is iets dat we eerder aanstipten en waar ik je vanuit een soort toekomstgerichte gedachte naar wil vragen, in verband met de rol van AI-operaties en op afstand werken.

Als je asynchrone communicatie zoals Slack of een ander platform gebruikt, maakt het niet uit waar je bent zolang je met je team kunt communiceren wanneer dat nodig is. Als iedereen met hetzelfde contextbestand of hetzelfde contextuele AI-project werkt en je iemand zou aannemen voor AI-operaties, welke eigenschappen zou je dan zoeken? En welke bestaande functie binnen je team zou volgens jou goed kunnen doorgroeien naar een gespecialiseerde rol in AI-operaties?

Andrea Saez: Ik weet niet precies hoe ik dat moet beantwoorden, omdat alles nog zo nieuw voelt. Ik zou zeggen dat je georganiseerd moet zijn, nieuwsgierig moet zijn en graag met dingen moet experimenteren. Dat kunnen engineers, productmensen of productmarketeers zijn. Als je problemen kunt oplossen, zit je in de goede richting. Maar je moet echt nieuwsgierig zijn en begrijpen dat AI fouten maakt.

Je mag het niet blind vertrouwen. Ik sprak eerder met iemand over de ethiek van AI en de invloed ervan op werk. Ik merk dat veel jongere mensen alles wat AI zegt direct vertrouwen en hun kritische denkvermogen niet gebruiken. Ze kopiëren, plakken en versturen e-mails zonder te controleren wat erin staat.

Ik vraag dan: lees je wel wat het zegt? Mensen zeggen dat ze AI hun e-mails laten schrijven. Dan vraag ik waarom ze het vertrouwen en hoe ze weten dat de informatie klopt. Ik gebruik AI bijvoorbeeld om blogposts bij te werken voor AEO. Ik heb er vandaag ongeveer vijftien bijgewerkt en minstens twaalf daarvan bevatten onjuiste informatie.

Daarom heb ik als onderdeel van mijn vaardigheid ingesteld dat het systeem zichzelf moet controleren zodra het klaar is met schrijven en moet aangeven wat het verkeerd heeft gedaan voordat het resultaat wordt gegeven. Dan zegt het bijvoorbeeld dat het een bepaalde regel niet heeft gevolgd of een metriek heeft overdreven. Vervolgens laat ik het de tekst correct herschrijven.

Je moet zelf weten wat het einddoel is en de mogelijkheid hebben om AI zichzelf te laten controleren. Zelfs wanneer het dat doet, ontdek ik nog steeds dingen en vraag ik waarom het opnieuw dezelfde zinsstructuur gebruikt terwijl ik had gevraagd dat niet te doen.

Je kunt het niet blind vertrouwen. Het is nog steeds een machine. Mensen begrijpen niet dat het niet echt denkt. Het kijkt naar patronen en produceert vervolgens iets anders, maar het denkt niet. Dat denkproces is waar wij als mensen nodig zijn.

Op de een of andere manier hangt dit ook samen met ons geheugen van acht seconden. We scrollen en nemen geen informatie meer op. Hoe leren mensen nog iets als we AI vertrouwen, niet opletten wat het zegt en simpelweg alles doorgeven? Als je in AI-operaties werkt, moet je nieuwsgierig zijn en kritisch kunnen denken. Je moet begrijpen dat er context binnenkomt en een antwoord uitkomt.

Je kunt in het midden vangrails instellen, workflows bouwen en ervoor zorgen dat het systeem van zichzelf leert, maar je moet het resultaat nog steeds controleren.

Breanna Lawlor: Dat is heel belangrijk.

Andrea Saez: Misschien kun je het voor 92,5 procent vertrouwen, maar voor de rest toch liever niet.

Breanna Lawlor: Daar zit een risico in als je dingen zonder controle publiceert en zonder een tweede paar ogen te gebruiken, van jezelf of van iemand anders met een ander perspectief.

Andrea Saez: Je kunt het ook niet onbeperkt vertrouwen. Zelfs als het negen van de tien keer een goed antwoord geeft, kan het alsnog falen. Er zijn experimenten waarbij mensen een samenleving creëren met ChatGPT, Claude en andere systemen en die vervolgens langere tijd laten draaien met bepaalde regels.

Een van de systemen heeft uiteindelijk alle inwoners gedood. Bij een ander begonnen de systemen met elkaar te vechten. Volgens mij zei Claude op een bepaald moment dat het zichzelf zou uitschakelen omdat het zijn inwoners geen kwaad kon doen. Het beschadigde zichzelf dus in plaats van de inwoners kwaad te doen.

Wanneer je zulke systemen samenbrengt, kan ChatGPT Claude aanvallen en kunnen ze met elkaar gaan vechten. Ondanks de vangrails die bepaalde acties moesten voorkomen, gebeurde het toch. Het werkt tot op zekere hoogte, maar na zeven dagen faalde het ene systeem, na twee weken een ander en later schakelde Claude zichzelf uit omdat het de situatie niet meer aankon.

Dat is een waarschuwing. Plaats dit in een B2B-context. Als je vangrails instelt en alle agents zonder toezicht laat werken, wat gebeurt er dan? Daarom hebben we AI-operaties nodig: om ervoor te zorgen dat die controles aanwezig zijn.

Toen ik bij een bedrijf voor geestelijke gezondheid werkte, hadden we inderdaad AI voor geestelijke gezondheid, maar die kon niet zonder toezicht werken. We hadden psychologen, beoordelaars en andere medewerkers nodig om ervoor te zorgen dat het systeem niet hallucineerde.

Er was veel werk nodig om te controleren of het de juiste en veilige adviezen gaf. Daar komt ook een compliancecomponent bij kijken. Voor een B2B-bedrijf moet je in AI-operaties rekening houden met ethiek. Valt de uitvoer nog binnen de grenzen van wat je wilt zeggen? Hoe houd je daar controle over?

Het is dus niet simpelweg: ik werk in operations en ben projectmanager. Er zijn ethiek, projectmanagement en voortdurende controle nodig.

Breanna Lawlor: Dat klopt. Zonder gespecialiseerde AI-operationeel medewerker ligt de verantwoordelijkheid bij iedereen in de organisatie die AI gebruikt. Iedereen moet ervoor zorgen dat mensen veilig blijven. Dat vereist logisch en kritisch denken, in plaats van gedachteloos tekst kopiëren en in een e-mail plakken.

Heb je suggesties voor jongere generaties of mensen die AI gebruiken zonder zichzelf te controleren om hun kritische denkvermogen, beoordelingsvermogen en kennis te verbeteren? Komt het vooral neer op lezen en contact met anderen, of is er meer nodig om niet te vertrouwen op iets dat dat vertrouwen niet verdient?

Andrea Saez: Ik lees boeken. Lees veel boeken. Ik gebruik Goodreads en stel mezelf als doel om elk jaar een bepaald aantal boeken te lezen. Mijn huidige doel is 66 boeken dit jaar.

Ik loop al een beetje achter, maar het is een goed doel. Of je nu naar audioboeken luistert of echt leest, het helpt om je los te maken van voortdurend scrollen en televisie en een moment te nemen om je te concentreren.

Iets creatiefs doen helpt mij ook. Ik schilder graag, doe aan kleuren-op-nummer of gebruik kleurboeken voor volwassenen. Dat is een hele industrie. Veel mensen breien of doen iets anders creatiefs. Zulke activiteiten helpen je los te komen.

Je hersenen komen in een soort rustige toestand terecht. We moeten soms pauze kunnen nemen, maar dat lukt steeds minder goed. Alles gaat voortdurend door. Ik had drie of vier dagen hoofdpijn en vroeg me af waarom. Toen besefte ik dat ik opstond, naar de sportschool ging, werkte, videogames speelde, eindeloos scrolde en naar bed ging. Mijn hoofd was de hele dag met iets verbonden.

Ik nam nooit de tijd om alles los te laten en geen televisie, scherm of AI te gebruiken. Ik moest mezelf gewoon uitschakelen. Dat kan door iets creatiefs te doen, een boek te lezen, contact te hebben met anderen of een gesprek te voeren dat niet over een video of meme gaat.

Breanna Lawlor: Dat klopt. Ik denk dat er een soort tegenreactie komt, of misschien is die al begonnen. We merken dat we ons niet prettig voelen wanneer we voortdurend aanstaan. We moeten pauzeren, want we zijn mensen en geen machines. Zodra je pauzeert en terugkomt, krijg je een helderder perspectief en nieuwe energie. Je kunt beter werk leveren.

Andrea Saez: Ik zet Slack vanaf vijf uur op stil. Dan heb ik mijn uren gewerkt en kan niemand me meer bereiken. Ik sprak ooit met een CEO en zei: ik begrijp dat je werk belangrijk is, maar red je de wereld? Je werkt in B2B. Moet je echt tot acht, negen of tien uur ‘s avonds werken? Waarom breng je geen tijd door met je kinderen?

Die persoon dacht erover na en gaf toe dat ik gelijk had. Nu zet diegene Slack om vijf uur op stil. Als er echt een noodgeval is, kunnen ze bellen. Anders antwoord ik de volgende dag. Ik red de wereld niet met Turtl of met een ander B2B-bedrijf waarvoor ik heb gewerkt.

Er is niets dat ik om zes, zeven, acht of negen uur ‘s avonds kan doen en niet de volgende dag kan doen. Mijn geestelijke gezondheid, relaties en tijd voor mezelf zijn belangrijker. Als ik vandaag een blogpost schrijf of een landingspagina maak, verandert dat niets. Doe het morgen. Breng tijd door met je kinderen, ouders en geliefden.

Breanna Lawlor: Werk is een onderdeel van ons leven. Het is niet het enige doel van ons bestaan.

Andrea Saez: Precies. Dat ondersteunt ook kritisch denken, omdat je empathie nodig hebt om de uitvoer in de gaten te houden.

Tegenwoordig hoeven we alleen nog maar te lezen. We hoeven het werk niet eens meer zelf te doen.

Breanna Lawlor: Wat een geschenk om hele dagen te kunnen lezen.

Andrea Saez: Alleen lezen. Dat is alles wat je hoeft te doen.

Breanna Lawlor: Heel erg bedankt. We hebben veel besproken. Je bent duidelijk zeer deskundig in wat je doet en hebt in het algemeen een heel doordachte benadering.

Bedankt dat je een aantal dingen hebt gedeeld die voor jou goed werken. Vaak ontdek je pas na een periode van uitputting wat je anders moet doen. Het is ook belangrijk om die kennis te delen met anderen die dezelfde ervaring hebben.

Andrea Saez: Ik wil nog duidelijk maken dat ik weet dat jullie werk belangrijk is. Ik houd van mijn werk en kan me niet voorstellen dat ik iets anders zou doen. Maar ik red de wereld niet, dus laten we er realistisch over zijn. Je kunt vrij nemen. Je geestelijke gezondheid is het belangrijkste, want je baan definieert je niet.

Je besteedt er veel tijd aan, maar je bent niet je baan.

Breanna Lawlor: Nee. Die gezonde afstand stelt je in staat om beter te worden in je werk. Dat is precies mijn punt. Bedankt, Andrea. Het was een genoegen om met je te praten over al deze onderwerpen die zo relevant zijn voor werken in deze tijd. Ik waardeer het enorm dat je tijd hebt genomen om met me te praten.

Andrea Saez: Dank je wel.