Originál článek publikovaný na: AI na vašem počítači: Jak spustit lokální AI modely? (návod)
Instalace AI modelů na vlastním počítači je snadná Lokální AI modely fungují i offline Máme pro vás jednoduchý návod pro základní používání Na internetu je dostupné nepřeberné množství AI modelů, které je možné spustit a používat přímo na vašem počítači. Pro některé z nich ani nepotřebujete výkonný počítač. V tomto článku se mrkneme na to,…
Dobrý! Nenapadlo mě, že je tak snadné to rozjet, díky za tip!
1 Líbí se
Díky za návod Petře, věřím že pro spoustu začínajících uživatelů to bude fajn první krok. Největší přínos asi je, že spousta uživatelů vůbec netuší, že je to až tak snadné 
.
Osobně mám ale raději GitHub - oobabooga/text-generation-webui: A Gradio web UI for Large Language Models. přijde mi to jako ideální kombinace rychle se rozvíjejícího prostředí pro jazykové modely, určeného především pro lidi, kteří chtějí využít sílu Pythonu (ale nejsou programátoři), ale zároveň chtějí pěkné a funkční grafické UI.
Umí zprovoznit jak modely běžící na procesoru (CPU), tak i grafice (GPU).
Pokud někoho toto téma zajímá a chtěl by se dozvědět více, dejte nám vědět sem do komentářů, třeba připravíme s @Petr_Spanhel i další články na toto téma. Rozhodně se vám ale bude hodit Models - Hugging Face. Tady ještě pár porovnání na Redditu a Hacker News
Zde je přehled “nejlepších” LLM ( large language models) modelů https://chat.lmsys.org/
Už jsem v tom sice dlouho neležel a nebádal, ale tento model vypadá zajímavě InternVL. Je super, že některé modely se dají vyzkoušet i online, ať máte lepší představu o jeho schopnostech, než se ho pokusíte “rozběhat” lokálně.
Takto pak nějak vypadá konzole pro lokální model v podobě Oobabooga
A takto jeho grafické UI. Jen pro ukázku jsem použil LLM model “Alpindale_gemma-7b”
Zeptal jsem se ChatGPT 4o: Jaké jsou základní rozdíly mezi LLM prostředím Oobabooga a Ollama
Oobabooga a Ollama jsou dvě různá prostředí pro práci s velkými jazykovými modely (LLM), ale mají několik klíčových rozdílů, které mohou ovlivnit volbu mezi nimi v závislosti na potřebách a preferencích uživatele.
Oobabooga
- Flexibilita a Přizpůsobitelnost:
- Oobabooga je často považována za velmi flexibilní platformu, která umožňuje uživatelům přizpůsobit si prostředí podle svých potřeb.
- Podporuje širokou škálu modelů a lze jej snadno rozšířit o různé pluginy a moduly.
- Je vhodná pro pokročilé uživatele, kteří chtějí mít plnou kontrolu nad svým nastavením a konfigurací.
- Komunita a Podpora:
- Oobabooga má aktivní komunitu, která poskytuje podporu a sdílí různé návody a skripty.
- Díky otevřenému přístupu je možné nalézt mnoho zdrojů a příkladů, jak platformu efektivně využít.
- Použití a Nasazení:
- Může vyžadovat více technických znalostí pro instalaci a konfiguraci.
- Je často nasazována na vlastních serverech nebo v prostředí s přímým přístupem k hardwaru.
Ollama
- Jednoduchost a Uživatelé přívětivost:
- Ollama je navržena s důrazem na jednoduchost použití a přívětivost pro uživatele.
- Nabízí uživatelsky přívětivé rozhraní, které je vhodné i pro méně technicky zdatné uživatele.
- Je často prezentována jako řešení “plug-and-play”, kde není potřeba mnoho manuálních zásahů pro základní použití.
- Integrace a Podpora:
- Ollama může mít lepší integraci s jinými nástroji a platformami, což usnadňuje její začlenění do stávajících pracovních postupů.
- Poskytuje profesionální podporu a dokumentaci, což může být výhodné pro komerční nasazení a firemní zákazníky.
- Nasazení a Škálovatelnost:
- Může být snazší nasadit v cloudovém prostředí nebo jako službu (SaaS).
- Nabízí škálovatelné řešení, které lze snadno přizpůsobit rostoucím potřebám.
Shrnutí
- Oobabooga je vhodná pro uživatele, kteří chtějí flexibilitu a plnou kontrolu nad svým prostředím, a jsou ochotni investovat čas do jeho nastavení a údržby.
- Ollama je ideální pro uživatele, kteří hledají jednoduché a uživatelsky přívětivé řešení s minimálními technickými požadavky a snadnou integrací do stávajících systémů.
Volba mezi těmito dvěma prostředími by měla záviset na konkrétních potřebách, technických znalostech a požadavcích na nasazení uživatele.
Díky za článek Petře. Je vidět, že své práci rozumíte a to je dobře. Ze stejného důvodu mám rád i články od Karla Kiliána. Je super, když někdo kompetentní poskytne návod na pokročilé nástroje, se kterými lze experimentovat. Vážím si vaší práce.
1 Líbí se