Ян ЛьоКун: Нужна е нова архитектура за генеративен AI

Основателят на AMI Labs Ян ЛьоКун обяснява, че за да се развие генеративният изкуствен интелект, е необходима нова архитектура.

Според него съществуващите LLM парадигми и модели не могат да бъдат използвани за надграждане, тъй като те са базирани на самообучение и техники, разработвани десетилетия наред.

Обучението на системите е същото, но архитектурата трябва да бъде различна.

ЛьоКун посочва, че LLM работят чрез прогнозиране на следващата дума в текста, което е сравнително просто, тъй като броят на думите е краен.

При видео или сензорни данни обаче има безкраен брой възможни прогнози, които са сравними с наблюдението.

Ако системата бъде накарана да прогнозира какво ще се случи в едно видео, тя няма да може да даде точен отговор, защото възможностите са безброй.

Затова архитектурата на генеративния AI, която успешно се използва при езиците, не е приложима в реалния свят.

ЛьоКун и екипът му разработват нова архитектура, наречена J.