Напредъкът на AI на NVIDIA: Обработката на естествен език става по-бърза и по-добра през цялото време

Кога NVIDIA обяви пробиви в разбирането на езика, за да позволи разговорен AI в реално време, бяхме хванати неподготвени. Все още се опитвахме да смелим производство на ACL, едно от най-големите изследователски събития за компютърна лингвистика в световен мащаб, в което присъстваха Facebook, Salesforce, Microsoft и Amazon.

Въпреки че те представляват два различни набора от постижения, те все още са тясно свързани. Ето какво представлява пробивът на NVIDIA и какво означава той за света като цяло.

NVIDIA прави BERT

Като ZDNet съобщи вчера, NVIDIA казва, че нейната AI платформа вече има рекорд за най-бързото обучение, най-бързото заключение и най-големия модел на обучение от този вид до момента. NVIDIA успя да обучи голям модел BERT за 53 минути и да накара други модели BERT да дават резултати за 2,2 милисекунди. Но трябва да го поставим в контекст, за да разберем значението му.

BERT (Bidirectional Encoder Representations from Transformers) е изследване (хартия, код с отворен код и набори от данни), публикувано от изследователи в Google AI Language в края на 2018 г. BERT е сред a брой пробиви в обработката на естествен език наскоро, и има предизвика вълнение в AI общността чрез представяне на най-съвременни резултати в голямо разнообразие от задачи за обработка на естествен език.

Това, което направи NVIDIA, беше да работа с наборите от данни, пуснати от Google (два варианта, BERT-Large и BERT-Base) и собствени графични процесори, за да намали времето, необходимо за обучение на модела за машинно обучение BERT и след това да го използва в приложения. Ето как работи машинното обучение - първо има фаза на обучение, в която моделът се учи, като му се показват много данни, и след това фаза на извод, в която моделът обработва нови данни.

NVIDIA използва различни конфигурации, произвеждайки различни резултати за това. Отне NVIDIA DGX SuperPOD, използвайки 92 NVIDIA DGX-2H системи, работещи с 1472 NVIDIA V100 GPU, за да обучи BERT модел на BERT-Large, докато същата задача отне на една NVIDIA DGX-2 система 2,8 дни. Резултатът от извод от 2,2 милисекунди е на различна система/набор от данни (графични процесори NVIDIA T4, работещи с NVIDIA TensorRT / BERT-Base).

Изводът е, че NVIDIA е помогнала за повишаване на BERT обучението -- в сравнение с това, което е било норма за това -- с няколко дни. Но магията тук беше комбинация от хардуер и софтуер и ето защо NVIDIA пуска свои собствени настройки за BERT, което може да е най-голямата победа за общността като цяло.

Попитахме NVIDIA как и защо избра да се справи с това. Говорители на NVIDIA казаха, че вярват, че разговорният AI е основен градивен елемент на човешките взаимодействия с интелигентни машини и приложения. Въпреки това, това е невероятно труден проблем за решаване както изчислително, така и алгоритмично; и това, добавиха те, го прави много интересен за тях.

Това беше междуфирмено усилие, като редица различни екипи допринесоха да направят тези пробиви възможни. Тези екипи включват изследвания на NVIDIA AI, мащабна инфраструктура на центъра за данни, AI софтуер и инженерство. NVIDIA каза, че това показва как може да разшири водещата на пазара производителност на своята AI платформа към нововъзникващи случаи на употреба.

Това има две страни. Техническото чудо, което е, и реалната му приложимост. Нека ги разопаковаме.

Оптимизиране на софтуера, за да се възползвате от хардуера

Що се отнася до обучението на BERT, NVIDIA изясни, че софтуерните оптимизации включват автоматична смесена прецизност, внедрена в PyTorch и използването на LAMB техника за оптимизиране на голяма партида, илюстрирана в документ. За повече подробности има a публикация в блога за това, а хората също могат да получат достъп до кода на BERT github хранилище на NVIDIA.

За постигане на латентност от 2,2 милисекунди за BERT извод на NVIDIA T4 Inference оптимизиран GPU, NVIDIA разработи няколко оптимизации за TensorRT, компилатора за изводи на NVIDIA и времето за изпълнение. Усилията бяха насочени към ефективни реализации и сливания за слоя Transformer, който е ядро градивен елемент на BERT (BERT-базата има 12 трансформаторни слоя) и налични най-съвременни NLU модели днес.

TensorRT съдържа няколко ключови функции, за да позволи много висока производителност на изводи, от сливане на ядра до автоматично избиране на прецизност и други. NVIDIA допълнително добави нови оптимизации за ускоряване на NLU моделите и планира да продължи да подобрява библиотеките, за да поддържа разговорни натоварвания на AI.

Какво означава всичко това, накратко, е, че сега можете да тренирате езикови модели, които са по-добри и по-бързо от всякога и ги внедрявайте и работете в разговорни AI приложения също по-бързо от някога. Което е чудесно, разбира се.

На теория това, което е направила NVIDIA, може да е от полза за всички. Оптимизациите на BERT се пускат като отворен код, а хардуерът на NVIDIA е достъпен за използване от всички. Но се прилагат обичайните предупреждения. Въпреки че възможността за обучение на езиков модел като BERT за това, което практически не отнема време, в сравнение с предишното състояние на техниката, е страхотно, това не е достатъчно.

Как това може да бъде от полза за всички? Експертиза, ресурси и данни

Дори да приемем, че това, което NVIDIA пусна, може да се използва веднага, колко организации биха могли да направят това?

Първо, извличане на тези модели с отворен код от техните хранилища, каране да работят, захранване с тях правилните данни и след това интегрирането им в разговорни AI приложения не е нещо, което много хора могат да направят. Да, на липса на умения за наука за данни в предприятието е споменаван отново и отново. Но е полезно да имате това предвид - не е лесно за средната организация.

И след това, извадени от тяхната кутия Github, моделите BERT на NVIDIA работят със специфични набори от данни. Това означава, че ако следвате предписания процес до буквата и вашият конкурент направи същото, в крайна сметка ще имате приложение за разговорен AI, което ще реагира по същия начин.

Това не означава, че това, което NVIDIA пусна, е пример за играчка. Но това е само това: набор от инструменти с някои примери. Истинската стойност идва не само от използването на тези BERT модели и набори от данни, но и от добавянето на ваши собствени, специфични за домейна и персонализирани данни към него. Това е, което може да даде на вашето разговорно AI приложение собствен експертен опит и индивидуалност.

Което по някакъв начин ни връща там, откъдето започнахме. Кой разполага с данните и експертния опит да подаде тези данни на BERT, и ресурсите да обучи BERT на GPU, и информираността да направи това? Е, шепа имена идват на ум: Facebook, Salesforce, Microsoft и Amazon.

Те се оказват същите, които доминират на сцената на компютърната лингвистика и между другото същите, които работят върху разговорни AI асистенти. Честно казано, те може би са тези, които най-много се зарадваха на вчерашната новина от NVIDIA.

Всеки друг може да се чуди, но преминаването от това към прилагането на пробивите на NVIDIA може да е предизвикателство. За да се справи с това, NVIDIA създаде Начална програма. Стартиращите компании, участващи в програмата, използват AI платформата на NVIDIA, за да изградят разговорни AI услуги за трети страни. Докато имат достъп до данните, от които се нуждаят, това може да е добър начин за разпространение на иновациите.