AI na własnym komputerze
Czy AI może działać na moim komputerze?
Dział zatytułowany „Czy AI może działać na moim komputerze?”Tak: model z otwartymi wagami (open-weight) to zwykły plik na Twoim dysku, a wagi to liczby ustawione w treningu. Dzięki temu dane zostają u Ciebie, nie płacisz za każde użycie i nie zależysz od dostawcy. Niżej dobierzesz program i taki rozmiar modelu, jaki udźwignie Twój sprzęt. Listy “najlepszych modeli miesiąca” starzeją się w kilka tygodni, więc ich tu nie ma, a numer wersji sprawdzasz w dniu pobrania.
Po co to robić
Dział zatytułowany „Po co to robić”Pierwszy powód to prywatność: treść nie leci na cudzy serwer (więcej w lekcji o prywatności). Drugi to koszt, bo model pobierasz raz i potem korzystasz z niego bez licznika opłat za każde użycie. Trzeci to niezależność. Model działa bez internetu i nikt nie wyłączy Ci modelu, który masz już na dysku. To suwerenność cyfrowa w skali Twojego komputera.
Do szkicu maila i korekty akapitu rzadko potrzeba “najmocniejszego na świecie”. Mniejszy model na Twoim komputerze często wystarczy. Po czołowy czat w chmurze sięgasz wtedy, gdy potrzebujesz wyszukiwania w sieci, podłączonych narzędzi albo po prostu wygody.
Dwa programy, jedna decyzja
Dział zatytułowany „Dwa programy, jedna decyzja”Nie potrzebujesz serwera ani oprogramowania dla firm. Wystarczy jeden z dwóch programów, oba mają okno czatu.
Ollama - ollama.com. Na Windowsie i macOS ma aplikację z oknem czatu, w której pobierzesz model (ollama.com). Można jej też używać z terminala (okna, w którym wpisuje się polecenia tekstowe).
LM Studio - lmstudio.ai. Aplikacja okienkowa z wyszukiwarką modeli i czatem.
Oba robią to samo: trzymają model na Twoim dysku i prowadzą rozmowę na Twoim komputerze. Przegląd narzędzi: Hugging Face.
Jeśli chcesz pisać po polsku, wybierz model, który uczono na dużej ilości polskich tekstów. Ogólne modele też znają trochę polskiego, ale to nie to samo. Polskie modele, Bielika i PLLuM, opisuję w lekcji Bielik i polskie modele AI. Mniejsze modele europejskiej firmy Mistral znajdziesz w lekcji Europejskie modele i firmy AI.
Sprzęt: sufit, nie ranking
Dział zatytułowany „Sprzęt: sufit, nie ranking”Liczy się przede wszystkim VRAM (pamięć karty). Im większy model, tym więcej pamięci. Kwantyzacja (np. Q4) ściska plik kosztem odrobiny jakości. Bez mocnej karty model często uruchomi się na zwykłym RAM-ie komputera i będzie liczył na procesorze zamiast na karcie graficznej. Działa wtedy wolniej, więc trzeba uzbroić się w cierpliwość.
Przed pobraniem otwórz stronę modelu, tzw. kartę modelu (w Ollamie, w LM Studio albo w serwisie Hugging Face, gdzie twórcy publikują modele), i sprawdź aktualny rozmiar pliku i ile pamięci model potrzebuje. Instalacji sterowników karty graficznej tu nie opisuję, to osobny temat.
Ćwiczenie: 5 minut, klasa albo chmura
Dział zatytułowany „Ćwiczenie: 5 minut, klasa albo chmura”Nie musisz w pięć minut dojść do działającego czatu, bo samo pobieranie to gigabajty.
- Zapisz, ile mniej więcej masz RAM i czy jest karta z VRAM (albo “nie wiem / laptop służbowy”).
- Wybierz klasę: mały (ok. 7-14 mld parametrów, ok. 6-12 GB pamięci karty albo zwykły RAM i cierpliwość) / średni (ok. 16-24 GB VRAM) / zostaję w chmurze (powód w sześciu słowach).
- Jeśli możesz: zainstaluj LM Studio albo Ollama i wyślij jedno polskie zdanie albo rozpocznij pobieranie małego modelu. Jeśli nie możesz (polityka firmy, brak miejsca) - punkt 2 jest zaliczeniem.
Zaliczenie: klasa + powód. Nie liczy się nazwa modelu z rankingu. Nie ma kary za “zostaję w chmurze”.
Typowy wynik: 16 GB RAM, zintegrowana grafika - mały model albo chmura; 12 GB VRAM - mały polski model (7-11 mld parametrów).
Jeśli nic nie zgrzyta i zostaje czas: otwórz kartę modelu, który chcesz ściągnąć, i przepisz stamtąd wymagania do swojej notatki - są pewniejsze niż widełki z ramki powyżej.
Teraz wiesz
Dział zatytułowany „Teraz wiesz”- Model na Twoim dysku daje prywatność, działa bez abonamentu i bez internetu.
- Uruchomisz go w Ollamie albo w LM Studio - oba programy mają okno czatu.
- O wyborze decyduje pamięć karty graficznej (VRAM) i wymagania z karty modelu. Przykładowe nazwy są w ramce z datą.
Następny krok: AI w branżach - pierwsza lekcja sekcji AI w praktyce. Wskażesz w swojej branży zadania na szkic AI i to, które zostaje przy człowieku. Wybór między narzędziem w chmurze a modelem lokalnym możesz już dopasować do zadania.
Częste pytania
Czy AI może działać bez internetu?
Tak. Po jednorazowym pobraniu wag wszystko liczy się na Twojej maszynie. Rozmowa nie wychodzi do chmury.
Jaki komputer jest potrzebny?
Im więcej pamięci karty graficznej (VRAM), tym większy model uruchomisz wygodnie. Na słabszym sprzęcie też się uruchomi, tylko wolniej. Konkretne GB i nazwy modeli są w ramce z datą - przed pobraniem sprawdzasz kartę modelu.
Od jakiego modelu zacząć po polsku?
Od modelu z otwartymi wagami, trenowanego z myślą o polszczyźnie, w rozmiarze, który Twój sprzęt uniesie. Nazwa i tag z tej strony mogą się zdezaktualizować; kryterium zostaje.
made with ❤️ by aitomate.pl - Łukasz Podgórski