Nagdagdag ang Meta ng dalawang bago mga modelong pangwika sa kanyang serye: Llama 3 8B e Llama 3 70B. Nangangako ang mga ito ng mahusay na pagganap sa mundo ng artificial intelligence. Ang pinakakapansin-pansing balita? Ang pagkakaroon ng 8 bilyon at 70 bilyong mga parameter ayon sa pagkakabanggit. Ang mga numerong ito ay kumakatawan sa pagiging kumplikado at kakayahan ng modelo na pangasiwaan at proseso impormasyon.
Ang Llama 3 ay hindi lamang dalawang modelo: higit pang materyal ang paparating
Ang Meta ay hindi titigil doon; nagpaplanong maglabas ng higit pang mga modelo sa serye ng Llama 3, ngunit walang tinukoy na petsa. Ang diskarte na ito ay lumilikha ng pag-asa at nagpapakita rin ng pangako ng kumpanya sa patuloy na pagpapabuti ng mga alok nito.
I mga bagong modelo ng Llama ang mga ito ay inilarawan bilang isang tumalon mula sa mga nakaraang modelo. Ang pagpapabuti na ito ay dahil sa bahagi ng paggamit ng dalawang custom na GPU cluster, bawat isa ay may 24.000 unit, na nagpapahintulot sa mga modelo na sanayin nang mas epektibo at tumpak. Sinasabi ng Meta na, dahil sa dami ng mga parameter na mayroon sila, ang mga modelong ito ay kabilang sa mga pinakamahusay na magagamit ngayon para sa generative artificial intelligence.
Sinukat ang pagganap ng Llama 3 sa pamamagitan ng iba't ibang mga benchmark ng AI, na mga standardized na pagsubok na ginagamit upang suriin ang mga kakayahan ng mga modelo ng AI. Kabilang dito ang MMLU para sa kaalaman, ARC para sa pagtatamo ng mga kasanayan, e Ilaglag para sa pangangatwiran tungkol sa mga bloke ng teksto. Bagama't may magkakaibang opinyon sa pagiging kapaki-pakinabang ng mga benchmark na ito, nananatili silang isang karaniwang paraan para sa pagsusuri at paghahambing ng mga kakayahan ng mga modelo ng AI.
Sa partikular, nalampasan ng Llama 3 8B ang mga katulad na modelo ng open source na may mas kaunting mga parameter, tulad ng Mistral at Google Gemma, sa hindi bababa sa siyam na magkakaibang benchmark. Kabilang dito ang mga pagsusulit sa pangkalahatang kaalaman, pangangatwiran, at mga partikular na kasanayan sa mga lugar tulad ng biology, physics, chemistry, at maging ang pagbuo ng code at mga problema sa matematika. Aling GPT-4, halimbawa, ay hindi maaaring gawin nang mahusay.
Ang pinakamalaking modelo, ang Llama 3 70B, ay hindi lamang nakikipagkumpitensya ngunit sa ilang mga kaso ay nahihigitan ang mga modelo ng punong barko tulad ng Gemini 1.5 Pro mula sa Google sa iba't ibang mga pagsubok, na nagpapakita na sa kabila ng malakas na kumpetisyon, maaari itong tumayo kahit na ang mga higante ng sektor. Gayunpaman, mahalagang tandaan na habang nahihigitan nito ang ilang mga modelong punong barko tulad ng Claude 3 Sonnet ni Anthropic sa ilang mga pagsubok, hindi nito naaabot ang pagganap ng mas advanced na modelo ng Claude 3 Opus.
