Daha yaxşı aparat təminatı AI modelini effektivləşdirə bilər

AI modelinin ölçüsü performansı müəyyən edir

İndi, süni intellekt modelinin ölçüsü onun effektivliyini müəyyən edən əsas amillərdən biridir. Bəzi ekspertlər böyük dil modelinin (LLM) miqyasını artırmaqla performans artımının azaldığını qeyd etsələr də, şirkətlər hələ də daha böyük AI alətlərini təqdim etməkdə davam edirlər. Məsələn, Meta tərəfindən buraxılmış ən son Llama modeli 2 trilyon parametrə malikdir.

Model böyüdükcə onun qabiliyyətləri də artır. Lakin eyni zamanda, modelin hesablama vaxtı, enerji sərfiyyatı və karbon izi də artır. Bu problemlərin həll edilməsi üçün tədqiqatçılar daha kiçik və az qabiliyyətli modellərdən, həmçinin model parametrlərində aşağı dəqiqlikli ədədlərdən istifadə etməyə başladılar.

Sıfırlara əsaslanan innovasiya: sparsity texnologiyası

Bununla belə, böyük AI modellərinin performansını qoruyub saxlayaraq, hesablama vaxtını və enerji sərfiyyatını azalda biləcək başqa bir yol da mövcuddur. Bu yol, böyük AI modellərindəki sıfırlara əsaslanan texnologiyadan istifadəni nəzərdə tutur.

Bir çox AI modelində parametrlərin (çəki və aktivasiya dəyərlərinin) əksəriyyəti həqiqətən sıfırdır ya da sıfıra çox yaxındır. Bu xüsusiyyət sparsity adlanır. Sparsity, hesablama vaxtını və enerji sərfiyyatını azalda bilən böyük fürsətlər təqdim edir. Belə ki, sıfırlarla aparılan hesablamalar atlanıla bilər və yaddaşda çoxlu sıfırları saxlamaq əvəzinə, yalnız sıfır olmayan parametrləri saxlamaq kifayətdir.

Müasir aparat təminatı isə (məsələn, çox nüvəli prosessorlar və GPU-lar) sparsitydən tam istifadə edə bilmir. Bu səbəbdən tədqiqatçılar aparat, aşağı səviyyəli proqram təminatı və tətbiqi proqram təminatının hər bir hissəsini yenidən nəzərdən keçirməli və yenidən dizayn etməlidirlər.

Stanford tədqiqatçılarının inqilabi həlli

Stanford Universitetinin tədqiqat qrupunun hazırladığı yeni aparat təminatı, həm sıfır əsaslı, həm də ənənəvi iş yükünü effektiv şəkildə yerinə yetirə bilir. Tədqiqatlar nəticəsində bu çipin orta hesabla CPU-dan 70 dəfə az enerji sərf etdiyi və hesablamaları orta hesabla 8 dəfə sürətlə yerinə yetirdiyi müəyyən edilmişdir. Bu nəticələrə nail olmaq üçün tədqiqatçılar aparat, aşağı səviyyəli proqram təminatı və proqram təminatını sıfırdan yenidən dizayn etmişlər.

Sparsity nədir?

Süni neyron şəbəkələr və onların daxilində istifadə olunan məlumatlar ədədlərdən ibarət massivlər şəklində təmsil olunur. Bu massivlər birölçülü (vektorlar), ikiölçülü (matrislər) və ya daha çoxölçülü (tenzorlar) ola bilər. Sıfırdan ibarət olan vektor, matris və ya tenzor sparse adlanır. Sıfırların ümumi elementlərin 50%-dən çoxunu təşkil etdiyi hallarda, sparsity xüsusi hesablama metodlarından istifadə etməklə effektivlik əldə etmək mümkündür. Əks halda, çox az sıfır olan massivlər isə dense adlanır.

Sparsity təbii şəkildə mövcud ola bilər ya da süni şəkildə yaradılabilir. Məsələn, sosial şəbəkə qrafikləri təbii olaraq sparsedir. Hər bir düyün şəxs, hər bir əlaqə isə dostluğu təmsil edən bir qrafikdə, insanların çoxu bir-biri ilə dost olmadığına görə, bütün mümkün əlaqələri göstərən matris əsasən sıfırlardan ibarət olacaqdır. AI-nın digər populyar tətbiqlərində, məsələn, tövsiyə sistemlərində də sparsity geniş şəkildə istifadə olunur.