Explozivní růst AI modelů

1. Přehled AI modelů
2. Uvolnění generativních modelů AI
3. Microsoft a konkurence
4. Startupy a inovace v AI

Přehled AI modelů

V posledním desetiletí jsme svědky bezprecedentního růstu v oblasti umělé inteligence, přičemž velikost a komplexnost AI modelů roste exponenciálním tempem. Tento trend je zřetelně viditelný při pohledu na velikost modelů od roku 2015 do současnosti, jak je znázorněno v přiloženém grafu a tabulce.

Úplná verze tabulky

S ohledem na délku zde najdete pouze přehled hlavních jazykových modelů. Nicméně naše tabulka obsahuje také modely pro zpracování obrazu a další. Její úplnou podobu najdete níže.

Společnost	Název	Parametry (miliardy)	Velikost (GB)	Rok vzniku	Typ modelu
Microsoft	ResNet-50	0,025	0,1	2015	Model pro zpracování obrazu
Microsoft	ResNet-152	0,06	0,2	2015	Model pro zpracování obrazu
Google	DeepDream	0,05	0,1	2015	Generativní model (grafika)
Google	Wide & Deep Learning	0,5	1	2016	Model pro doporučování
Carnegie Mellon	OpenPose	0,025	0,1	2017	Model pro zpracování obrazu
Google	BERT Base	0,11	0,4	2018	Jazykový model
Google	BERT Large	0,34	1,3	2018	Jazykový model
Google	BigGAN	2	8	2018	Generativní model (grafika)
Google	DeepVariant	1	1	2018	Model pro bioinformatiku
OpenAI	GPT-2	1,5	6	2019	Jazykový model
Facebook	RoBERTa Base	0,125	0,5	2019	Jazykový model
Facebook	RoBERTa Large	0,355	1,4	2019	Jazykový model
Google	T5 Base	0,22	0,9	2019	Jazykový model
Google	T5 Large	0,77	3	2019	Jazykový model
Google	T5 3B	3	12	2019	Jazykový model
Google	T5 11B	11	45	2019	Jazykový model
Nvidia	StyleGAN2	0,03	0,2	2019	Generativní model (grafika)
DeepMind	VQ-VAE-2	1	2	2019	Generativní model (grafika)
Google	XLNet Base	0,11	0,4	2019	Jazykový model
Google	XLNet Large	0,34	1,3	2019	Jazykový model
Google	EfficientNet	0,066	0,25	2019	Model pro zpracování obrazu
Google	Transformer-XL Base	0,11	0,4	2019	Jazykový model
Google	Transformer-XL Large	0,34	1,3	2019	Jazykový model
OpenAI	GPT-3	175	700	2020	Jazykový model
Microsoft	Turing-NLG	17	68	2020	Jazykový model
Facebook	MarianMT	1	1	2020	Překladový model
Object Detection	YOLOv4	0,065	0,25	2020	Model pro detekci objektů
NVIDIA	NeRF	0,1	0,05	2020	Model pro zpracování obrazu
DeepMind	AlphaFold	0,09	0,4	2020	Model pro bioinformatiku
OpenAI	DALL-E	12	48	2021	Generativní model (grafika)
OpenAI	CLIP	0,4	1,6	2021	Multimodální model
VQGAN	Vector Quantized Generative Adversarial Network	1	4	2021	Generativní model (grafika)
Facebook AI Research	ESM-2	15	60	2022	Model pro bioinformatiku
OpenAI	ChatGPT-4	1000	700	2023	Jazykový model
OpenAI	GPT-4 Turbo	1000	500	2023	Jazykový model
Google	Gemini 1	1000	500	2023	Multimodální model
Anthropic	Claude 2	1000	500	2023	Jazykový model
Meta	LLaMA 2-7B	7	30	2023	Jazykový model
Meta	LLaMA 2-13B	13	60	2023	Jazykový model
Meta	LLaMA 2-70B	70	280	2023	Jazykový model
Mistral AI	Mistral 7B	7	28	2023	Jazykový model
OpenAI	DALL-E 3	30	60	2023	Generativní model (grafika)
Google	PalM 2	1000	600	2023	Jazykový model
Google	Gemini 1.5	1000	600	2024	Multimodální model

Co ukazuje graf?

Graf zobrazuje logaritmickou transformaci velikosti AI modelů (v gigabajtech) v průběhu času, konkrétně od roku 2015 do roku 2023. Logaritmická transformace byla zvolena proto, aby lépe zachytila exponenciální povahu růstu těchto modelů. Bez této transformace by rozdíly mezi modely v různých obdobích nebyly tak zřejmé a graf by mohl působit nevyváženě.

Na grafu je patrné, že velikost modelů roste exponenciálně, což je trend, který se zatím nezpomaluje. To znamená, že nejenže se zvyšuje počet parametrů v modelech, ale také jejich fyzická velikost, což klade stále vyšší nároky na výpočetní infrastrukturu a energetické zdroje.

Co ukazuje tabulka?

Tabulka pod grafem poskytuje detailní pohled na jednotlivé AI modely, které jsou reprezentovány v grafu. Každý řádek tabulky obsahuje informace o:

• Společnosti: Která společnost model vyvinula.
• Názvu modelu: Jak se model jmenuje.
• Počtu parametrů (v miliardách): Počet parametrů, které model obsahuje.
• Velikosti modelu (v GB): Velikost modelu v gigabajtech.
• Roku vzniku: Rok, kdy byl model uveden.
• Typu modelu: Jaký typ modelu to je (např. jazykový model, generativní model pro grafiku, model pro zpracování obrazu atd.).

Tato tabulka umožňuje snadno sledovat vývoj v oblasti AI modelů, jejich stále rostoucí komplexnost a velikost v průběhu času. Čtenář může vidět, jak se modely vyvíjely od prvních pokusů v roce 2015 až po nejnovější pokroky v roce 2023 a 2024.

Co tento trend znamená?

Exponenciální růst velikosti AI modelů naznačuje, že oblast umělé inteligence je v neustálém a rychlém vývoji. S tímto růstem však přicházejí i nové výzvy, včetně potřeby výkonnějších výpočetních zdrojů, většího množství dat pro trénování a také řešení etických a ekologických otázek spojených s rostoucí energetickou náročností těchto technologií.

Závislost velikosti AI modelů na počtu parametrů

Graf níže ukazuje téměř lineární vztah mezi přirozenými logaritmy počtu parametrů a velikostí modelů. To naznačuje, že mezi těmito dvěma veličinami existuje exponenciální vztah. Jinými slovy, pokud se počet parametrů zvýší o určitý faktor, velikost modelu se zvětší exponenciálně.

Korelace mezi počtem parametrů a velikostí modelů je téměř nevyhnutelná. Každý parametr v modelu je reprezentován jako číselná hodnota (např. float), která zabírá určité množství paměti. Čím více parametrů model má, tím více paměti je potřeba k jejich uložení, což se přímo projeví na velikosti modelu. Nicméně různé optimalizační techniky (např. kvantizace nebo prunování) mohou tento vztah ovlivnit a způsobit odchylky od přesně lineární závislosti.

Model s velkou velikostí a malým počtem parametrů

Model s velkou velikostí a malým počtem parametrů by byl pravděpodobně velmi neefektivní a neúměrně náročný na výpočetní výkon a úložiště vzhledem ke svému omezenému výkonu.

Model s malou velikostí a velkým počtem parametrů

Model s malou velikostí a velkým počtem parametrů by mohl být velmi efektivní, ale existuje riziko ztráty přesnosti nebo složitější implementace. Pokud by však byla komprese a optimalizace provedena správně, mohl by takový model představovat vysoce výkonné a nákladově efektivní řešení.

Uvolnění generativních modelů AI

Současná vlna zájmu o umělou inteligenci se objevila s uvolněním generativní inteligence ChatGPT od OpenAI a také díky uvolnění generativních inteligencí Dall-E a Midjourney na počátku roku 2023. Toto uvolnění je kritiky někdy označováno jako „předčasné“ – ale co je v technologiích předčasné?

Uvolnění modelů pro limitované využití veřejností a vytvoření vývojářského API (Application Programming Interface, programové aplikační rozhraní) je v určité fázi nutností: Lidé si vyzkouší novou službu, zákazníci začnou přemýšlet o tom, jak by mohli novou službu využít, vývojáři získají nástroj pro integraci služby do svých vlastních projektů – a novináři mohou začít psát o tom, že se blíží něco nového.

Microsoft a konkurence

Vzhledem k tomu, že velkým investorem od OpenAI je Microsoft, který se netají službu integrovat do „nejnovější verze své kancelářské sponky“, tedy do služby Microsoft Copilot, tato situace velmi nemile překvapila hlavně konkurenty, v tomto případě hlavně Google a Elona Muska.

V každém případě jde o něco jiného: Copilot může přinést revoluci ve vyhledávání informací mimo systémy Google a v případě Elona Muska jde o to, že se zpočátku podílel na chodu OpenAI, dokonce jim nabídl, že jim bude dělat šéfa, ale nakonec od projektu odstoupil – a teď zřejmě lituje a proto si buduje vlastní konkurenční službu xAI.

Souboj o kontrolu nad OpenAI vedl v listopadu 2023 k dramatickým situacím, kde byl šéf OpenAI Sam Altman nejprve vyhozen z firmy, aby se následně proti rozhodnutí vedení vzbouřila většina řadových zaměstnanců. To vedlo k tomu, aby se do situace vložil Microsoft jako nejvýznamnější investor, podpořil Sama Altmana, dosadil ho zpět a naopak odstranil vedení, které proti němu revoltovalo.

Startupy a inovace v AI

To naznačuje, že situace v oblasti vývoje AI je mnohem dramatičtější než by se mohlo zdát a dochází tam k soubojům nejen stran filozofie vývoje a nasazení AI, ale také k obchodním soubojům, protože například Google a zvláště Apple v oblasti umělé inteligence významně zaostal za ostatními.

K velké revoluci dochází mimo hlavní bojiště, vzniká řada startupů, které experimentují se svými vlastními modely, jako například Anthropic s jejich rodinou modelů Claude 3 a nebo Google Gemini. Google je mnohem méně úspěšný než ostatní – a přitom je pro ně vývoj efektivní umělé inteligence důležitý, protože hrozí, že nové systémy digitálních asistentů časem zcela nahradí konvenční vyhledávání, které je pro Google základem jejich podnikání.

K velkým soubojům dochází také v oblasti hardware. V oblasti akcelerátorů AI dnes jednoznačně dominuje Nvidia, ale Microsoft se pokouší přijít s vlastním řešením a také Sam Altman z OpenAI se netají tím, že by rád získal obří investici nejen pro vývoj vlastních akcelerátorů, ale také pro stavbu továren (fabů), kde se budou vyrábět.

Článek rozkrývá dynamiku a konkurenci v oblasti vývoje umělé inteligence, zdůrazňujíc nedávné uvolnění inovativních modelů jako ChatGPT, Dall-E, a Midjourney, které nastartovaly novou éru v technologii AI. Popisuje také interní spory a strategické manévry firem jako OpenAI, Microsoft, Google a osobností jako Elon Musk. Klíčové momenty zahrnují boje o kontrolu, investice do hardwaru a vznik nových startupů. Tato situace předznamenává značnou revoluci nejen v AI technologiích, ale i v potenciálu měnit tradiční vyhledávací systémy a vytvářet nové tržní paradigma.

Michal Rybka

Michal Rybka je publicista a nadšenec s 20 lety zkušeností v IT a gamingu. Je kurátorem AlzaMuzea a YouTube kanálu AlzaTech. Napsal několik fantasy a sci-fi povídek, které vyšly v knižní podobě, a pravidelně pokrývá páteční obsah na internetovém magazínu PCTuning.

Václav Závada

Václav absolvoval ekonomický obor na VŠB-EKF, kde vedl seminář obchodního práva a spolupublikoval knihu o islámském bankovnictví. Již tehdy projevoval talent pro generování nápadů – od geniálních až po nesmyslné – ale vždy dokázal nadchnout své okolí. Po studiu pracoval jako metodik v SFŽP, aby vystřídal klidný život úředníka za řízení oddělení článků v Alze.