Nvidia ziet belangrijke rol voor generatieve AI in robotica

Op de technologiebeurs CES in Las Vegas heeft Nvidia meer uitleg gegeven bij de rol die generatieve AI kan spelen in robotica. Bedrijven als Boston Dynamics, Covariant en Sanctuary AI doen vandaag al een beroep op large language models om de interactie met robots intuïtiever te maken en het trainen van robots te versnellen.

Wie artificiële intelligentie zegt, zegt NVIDIA, want het bedrijf is de belangrijkste leverancier van chips die gebruikt worden bij de implementatie van neurale netwerken. Het verhaal gaat dat Jensen Huang, de oprichter en CEO van het bedrijf, tien kaar geleden persoonlijk de eerste DGX AI supercomputer ging afleveren bij het toen nog jonge OpenAI. Dat is met ChatGPT intussen uitgegroeid tot de meest toonaangevende speler in het domein van generatieve AI.

Naast de hardware is Nvidia zelf zich intussen ook steeds meer gaan toeleggen op applicaties. Het biedt heel wat platformen aan die de mogelijkheden van AI vertalen naar concrete toepassingen. Een voorbeeld van zo’n platform is Picasso waarmee klanten toepassingen rond generatieve AI kunnen ontwikkelen. Voor het gebruik van AI in robotica worden platformen als Isaac en Jetson aangeboden.

Op CES in Las Vegas gaf Nvidia meer uitleg bij een nieuwste evolutie waarbij generatieve AI en robotica samenkomen. Deepu Talla, vice president Robotics and Edge Computing, noemde het een “natural fit” waarbij generatieve AI een belangrijke rol kan spelen in het intelligenter en flexibeler maken van machines.

Voor het gebruik van AI in robotica – en dan hebben we het over de sturing van de robot – promoot Nvidia het dual-computer model. Daarin wordt een eerste computer gebruikt voor het trainen van het model dat de robot moet aansturen. De tweede computer is de runtime omgeving waarin het model vervolgens draait om die aansturing ook echt te doen.

Een van de mogelijkheden van het dual-computer model is dat de robot permanent kan bijleren door nieuwe ervaringen toe te voegen aan de input van de eerste computer zodat ze meegenomen worden in opeenvolgende iteraties van het model dat dan periodiek overgezet wordt naar de runtime computer.

Een rol die generatieve AI hierin kan spelen is dat niet alleen de robot zelf via zijn sensoren feedback kan geven aan de eerste computer maar dat ook de operator de gelegenheid krijgt om via een Large Language Model (LLM) feedback te geven. De redenering hierbij is dat het zeer omslachtig is om waarnemingen van een operator te vertalen naar instructies die meegenomen kunnen worden in de omgeving waarin het model getraind wordt. Een specifiek LLM zou dat wel moeten kunnen, waardoor er aan de operator een zeer intuïtieve manier geboden wordt om via spraak instructies en feedback te geven.

Een tweede rol voor generatieve AI is het creëren van virtuele omgevingen waarin robots getraind kunnen worden. De werking van Autonomous Mobile Robots in een magazijn, bijvoorbeeld, kan perfect gesimuleerd worden. Daardoor kan men de robots veel sneller trainen dan wanneer men dat met fysieke robots in een echt magazijn zou doen. Het voordeel van generatieve AI is dat men de simulatieomgeving zelf ook veel sneller kan aanpassen. Als men een omgeving wil waar de rekken wat dichter op elkaar staan, bijvoorbeeld, volstaat het om dat als prompt te geven, en binnen de kortste keren heeft men een nieuwe simulatieomgeving.

Bij Nvidia is men er van overtuigd dat de snelle ontwikkelingen in generatieve AI een belangrijke impact zullen hebben op robotica omdat het de tijd voor het ontwikkelen of het aanpassen van een programma voor een robot aanzienlijk zal versnellen.