• Waarom evalueren we (Open Source) LLM’s?

  • Apr 23 2024
  • Length: 24 mins
  • Podcast
Waarom evalueren we (Open Source) LLM’s? By cover art

Waarom evalueren we (Open Source) LLM’s?

Listen for free

View show details

  • Summary

  • Send us a Text Message.

    Deze podcast duikt diep in de uitdagingen en benodigdheden bij het evalueren van open source Large Language Models (LLMs). Vanuit hun expertises als architect en data scientist bespreken Hildo van Es en Robin Smits specifieke incidenten om het cruciale belang van grondige evaluatie van LLM's te onderstrepen. Denk aan zoals de misstappen van DPD’s chatbot en Cortana’s ontwikkeling van ongewenste ideeën.

    Van Es en Smits wijzen op de noodzaak van een brede reeks tests, inclusief ethische en bias-evaluaties, die afwijken van traditionele softwaretests. Verder wordt het gebruik van Hugging Face’s leaderboard en benchmarks aangehaald als essentiële hulpmiddelen voor het beoordelen van modelprestaties.

    De discussie belicht ook het initiatief voor Nederlandstalige evaluaties en de implicaties van het testen van LLM's met bedrijfsspecifieke datasets, waarbij de complexiteit en de inherente risico’s van AI-modellen niet mogen worden onderschat.
    Show more Show less
Show more Show less

What listeners say about Waarom evalueren we (Open Source) LLM’s?

Average customer ratings

Reviews - Please select the tabs below to change the source of reviews.

Audible.com reviews

Amazon reviews
No Reviews are Available