1. Fogalom magyarul: kis nyelvi modell

2. Fogalom angolul: Small Language Model (SLM)

3. Meghatározás:

A kis nyelvi modell (SLM) egy természetes nyelvi feldolgozási (NLP) modell, amelyet a nagy nyelvi modellekhez (LLM) képest viszonylag alacsony számú paraméter jellemez. Míg a nagy nyelvi modellek több százmilliárd paraméterrel rendelkezhetnek, az SLM-ek jellemzően kisebb léptékkel működnek, gyakran néhány milliótól több tízmilliárdig terjedő paraméterekkel.

Az SLM-ek célja a számítási hatékonyság és a feladatspecifikus teljesítmény egyensúlyának megteremtése, azokra az alkalmazásokra összpontosítva, ahol a nagyméretű modellek szükségtelenek, nem praktikusak vagy nem költséghatékonyak.

A kis nyelvi modellek főbb jellemzői

Paramétertér mérete: általában kevesebb, mint néhány milliárd paraméter. Speciális feladatokra tervezik és kevesebb tanítási adatot és számítási erőforrást igényel.

Hatékonyság: alacsonyabb késleltetés és alacsonyabb következtetési költségek. Használható kisebb teljesítményű hardvereken (EDGE, vagy mobiltelefon).

Testreszabás: könnyebben finomhangolható a tartományspecifikus feladatokhoz a kisebb méret és a gyorsabb képzési ciklusok miatt. Alkalmas korlátozott címkézett adatokkal rendelkező feladatokhoz.

Alkalmazhatóság: viszonylag kisebb helyi eszközökön működhet, nem feltétlenül szükséges felhő alapú infrastruktúrára támaszkodnia. Ezért ideális adatvédelmi szempontból érzékeny alkalmazásokhoz, ahol az adatok nem hagyhatják el a szuverén informatikai környezetet.

Teljesítmény: nem várható el a nagy nyelvi modellek (LLM-ek) általános érvelése és széles körű tudásbázisa. Nyílt végű generatív képességek helyett szűk tartományokra vagy meghatározott feladatokra optimalizált teljesítmény.

4. Hivatkozások:

Goldberg, Y. (2017). "Neural Network Methods for Natural Language Processing." *Synthesis Lectures on Human Language Technologies*.

Sanh, V., et al. (2019). "DistilBERT, a distilled version of BERT: Smaller, faster, cheaper and lighter." *arXiv preprint arXiv:1910.01108*.

Lan, Z., et al. (2019). "ALBERT: A Lite BERT for self-supervised learning of language representations." *arXiv preprint arXiv:1909.11942*.

Devlin, J., et al. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." *NAACL-HLT 2019 Proceedings*.

5. Megjegyzések:

Példák sikeres kis nyelvi modellekre (2024):

1. DistilBERT:

A BERT leképzett változata, amely a fejlesztők szerint megtartotta a BERT teljesítményének 97%-át, miközben 40%-kal kisebb és 60%-kal gyorsabb. Sikeresen használható NLP feladatokban, mint a hangulatelemzés és a szövegosztályozás.

2. TinyBERT:

A BERT egy másik kompakt változata, amelyet mobil és éles alkalmazásokhoz terveztek.

3. ALBERT (A Lite BERT):

Paramétercsökkentési technikákkal optimalizálták a fejlesztők, például a paraméterek megosztásával a rétegek között, így csökkentve a memóriaigényt.

4. GPT-NeoX-20B:

A fejlesztők egyensúlyt kerestek ezzel a modellel a képesség és a méret között, a költséghatékonyságra optimalizálva.

Kis nyelvi modellekkel üzleti sikereket elérő vállalatok (2024)

Hugging Face.  A DistilBERT és a TinyBERT kiterjedt könyvtárát kínálja. NLP feladatokhoz finomhangolt modelleket kínálnak.

Snorkel AI.  Adatközpontú mesterséges intelligencia munkafolyamatokhoz készült, kisméretű modellekre összpontosít. Specifikus területekre ajánlják, pl. egészségügy, pénzügyek.

6. Kulcsszavak:

Mesterséges intelligencia, kis nyelvi modell, nagy nyelvi modell, BERT