Meta Llama 4: API, Self-Hosting e Deployment
«Meta Llama 4: API, Self-Hosting e Deployment» è un corso online di LLM open source di livello intermedio, tenuto da InsightLearn Curated AI su InsightLearn. Il percorso comprende 9 lezioni organizzate in 4 sezioni, per una durata complessiva di 4h 0m. Llama 4 Scout/Maverick sono i modelli open source più capaci di Meta. Accesso via API provider (Groq, Together.ai) o self-hosting con vLLM e Ollama.
- Docente: InsightLearn Curated AI
- Categoria: LLM open source
- Livello: intermedio
- Durata: 4h 0m
- Accesso: gratuito in questa fase di validazione, in cambio di un feedback al termine
- Certificato: certificato di completamento verificabile online
Descrizione del corso
InsightLearn è in fase di sviluppo (work in progress): i contenuti di questa pagina sono pubblicati esclusivamente a fini di verifica e test.
Basato su llama.meta.com docs e GitHub meta-llama/llama-models (Community License). Llama 4 introduce architettura MoE (Mixture of Experts): Scout (17B attivi su 109B totali) per long context 10M token, Maverick (17B su 400B) per reasoning e coding. Copre: accesso via Together.ai e Groq, self-hosting con vLLM e Ollama, fine-tuning con LoRA, confronto con Claude 4 e GPT-5 per task specifici, Llama Stack per deployment standardizzato.
Cosa imparerai
- Curated from public resources. Llama 4 Scout/Maverick sono i modelli open source più capaci di Meta. Accesso via API provider (Groq, Together.ai) o self-hosting con vLLM e Ollama.
Programma del corso
- Llama 4 via Together.ai: API, rate limits e pricing (14 min)
- Llama 4 con Ollama: versioni quantizzate e VRAM requirements (16 min)
- vLLM per Llama 4: tensor parallelism e continuous batching (20 min)
- Llama Stack: standardizzare deploy multi-environment (16 min)
- LoRA con HuggingFace Transformers per Llama 4 (20 min)
- Dataset preparation: Alpaca format e instruction tuning (16 min)
- Valutazione e upload su HuggingFace Hub (14 min)
- Llama 4 vs GPT-5 vs Claude 4: benchmark MMLU, coding, multilingual (16 min)
- Llama 4 in LangChain e LlamaIndex (14 min)
Dalle lezioni
Estratto della trascrizione di «Llama 4 via Together.ai: API, rate limits e pricing»
So you want to use all these fancy AI models like GPT, Gemini, Claude, DeepSeq, and other hundreds of models, but don't want to pay for it? Well lucky for you, I have a solution. In this video, I'm going to introduce you to Open Router, how it works, how to access popular AI models for free, and how you can use that in your project. So what exactly is Open Router? Think of it like a single gateway that lets you connect to multiple AI models all from one place. Normally. If you wanted to use these models, let's suppose the GPT model. You would first create an account, choose the API key plan, get the key, and only…
Estratto della trascrizione di «Llama 4 con Ollama: versioni quantizzate e VRAM requirements»
Have you ever looked at those incredible AI tools and thought your computer was too weak to run them? I'm about to change everything you believe about AI on modest hardware. Today I'm going to show you exactly how to run powerful AI models on systems with limited VRAM using a Ollama. Let me start by telling you something amazing. Just last week I was working on a project using my friend's laptop with the GTX 1060. A graphic card most people would consider a... But with my method, I managed to run AI model that performed tasks just as well as cloud based services, completely offline and without spending a single dollar. The secret is Olama, and more specifically,…
Estratto della trascrizione di «vLLM per Llama 4: tensor parallelism e continuous batching»
Looking to get your hands on the latest generative AI models accelerated by NVIDIA? Today, we're going to show you how easy it is to try out and deploy the latest AI models for high performance GPU accelerated inferencing, privately and securely on your own infrastructure using a single command. First, we can find out what models are available on the NVIDIA API catalog at build.nvidia.com. There are several models available across a bunch of different domains. like stable diffusion and ESM fold, but the one we'll be using today is Lama3. We can quickly test out the model right here on our web browser and see how it performs. For example, let's try asking the model to write a…
Altri corsi di LLM open source
Domande frequenti
Quanto dura il corso Meta Llama 4: API, Self-Hosting e Deployment?
Il corso dura 4h 0m in totale, con 9 lezioni suddivise in 4 sezioni, da seguire online al proprio ritmo.
Serve esperienza pregressa?
Il corso è di livello intermedio e non indica requisiti specifici di ingresso.
Il corso rilascia un certificato?
Sì: al completamento del corso ricevi un certificato di completamento verificabile online.