Macnyts forum er populært blandt mange brugere og det med god grund.
Macnyts forum er fyldt med hjælpsomme brugere, der er interesseret i,
at give en hjælpene hånd og tage en god diskussion/dialog med dig.
Som gæst kan du dog kun læse indholdet i Macnyts forum.
For, at deltage aktivt i diskussionerne skal du have oprettet en profil og være logget ind.
Har du allerede en profil så login her.
2161
256
PowerPalleErfaringer …
Hvordan installeres den på Mac’en og levere den nogen data ud af huset?
3421
520
TLDR: Hvis Apple silicon lmstudio.ai, hvis intel github.com/engeldlgado/toshllm
Hvis det er en Apple Silicon er Lm studio nemmere.
Den understøtter dog kun Apple Silicon.
Du kan downloade færdi kompilereret llama.cpp som dmg eller bruge brew:
Men den færdig kompilerede, kommer med metal understøttelse der ikke virker ordentlig på intel. Så du er begrænset til CPU og den vil ikke være med alle de optimering der er mulige. F.eks. Gav det et ordentlig boost at kompilere med AVX512 understøttelse for mig, ved CPU kørsel. Derfor kloner og bygger jeg den selv med options optimeret til min maskine (Jeg har fået AI til at hjælpe med det).
https://github.com/ggml-org/llama.cpp
For at udnytte mit grafikkort som er meget hurtigere kompilere den med vulkan (Molten VK), hvilket jeg kun har fået til at virke med WARP terminal ai, som er blevet opensource, men ikke længere tilbyder gratis ai og jeg kan ikke give trin for trin til at få det til virke. Men Vulkan er også en nødløsning, fordi Metal ikke har virket ordentligt på Intel. Der er dog en der arbejder på det:
https://github.com/engeldlgado/toshllm
Nu virker det og det er meget mere brugervenligt end selv rode med llama.cpp, men det er meget svingende, når jeg bruger det til server (kan blive meget langsom) og nogle optimerings parametre er ikke tilgængelige. Men hvis det er en intel maskine, vil jeg foreslå at starte her.