Vision AI Agents: Vedere, Analizzare e Agire

«Vision AI Agents: Vedere, Analizzare e Agire» è un corso online di AI per immagini e video di livello avanzato, tenuto da InsightLearn Curated AI su InsightLearn. Il percorso comprende 5 lezioni organizzate in 3 sezioni, per una durata complessiva di 4h 0m. Costruisci agenti AI che vedono screenshot, analizzano UI, estraggono dati da immagini e navigano il web visivamente con GPT-4V, Claude e Gemini.

Descrizione del corso

InsightLearn è in fase di sviluppo (work in progress): i contenuti di questa pagina sono pubblicati esclusivamente a fini di verifica e test.

Basato su documentazione pubblica OpenAI Vision, Anthropic Claude vision e Google Gemini multimodal. La vision AI apre nuovi pattern agentici: screenshot analysis, UI understanding, document OCR, web navigation visuale. Copre: comparazione GPT-4V vs Claude vs Gemini per vision task, screenshot analysis per automation, document layout understanding (tabelle, form, grafici), web scraping visuale con Playwright + LLM, computer use patterns senza browser automation tradizionale, build: agente che analizza dashboard Grafana e invia alert intelligenti.

Cosa imparerai

  • Curated from public resources. Costruisci agenti AI che vedono screenshot, analizzano UI, estraggono dati da immagini e navigano il web visivamente con GPT-4V, Claude e Gemini.

Programma del corso

  1. Structured extraction da immagini: Pydantic output da foto (16 min)
  2. UI understanding: analizzare screenshot per test e automation (16 min)
  3. Chart e graph analysis: estrarre dati da visualizzazioni (14 min)
  4. Web scraping visuale: Playwright screenshot + LLM parsing (20 min)
  5. Computer use patterns: navigare UI senza Selenium (18 min)

Dalle lezioni

Estratto della trascrizione di «Structured extraction da immagini: Pydantic output da foto»

Welcome to this video tutorial where I'm going to show you how to use the pidantic module in Python. One of the biggest issues with Python as a programming language is the lack of static typing. Python uses dynamic typing which means that when you create a variable you don't have to declare its type, like this x for example. Compare this to something like Java or C where you actually have to declare the type upfront. Once a Python variable is created you can also override it with a different type than what you created it with. So here if I create xe equals 10. In the next line, I can override that with the word hello as a…

Estratto della trascrizione di «UI understanding: analizzare screenshot per test e automation»

Now we have OmniParser from Microsoft. If there is a user task, a restaurant in Johannesburg with vegan option, then you can see it's passing the screen with each individual elements. Then it's taking action by clicking restaurants. Now it's identifying the elements and typing the city name Johannesburg, then it's clicking the link and after that it's choosing vegan option by identifying and finally we got the answer. Toss. complete. This is using OmniParser model released by Microsoft which is capable of extracting every element from a screenshot including its exact position. If you see the performance for OmniParser with GPT-4V it's comparatively much better than the general GPT-4V version. Even when you compare that with other models with…

Estratto della trascrizione di «Chart e graph analysis: estrarre dati da visualizzazioni»

Data visualization. The term just sounds complicated. Let's make it easier to understand. Hello world, Mike Ploger back with my good pal and infographic genius, Vizmi. Today, we're talking data visualization. In today's day and age, visuals are your best friends when it comes to presenting data. Spreadsheets, PowerPoints, and lengthy Word documents are no more. With average attention span, seeming to shorten by the day, you must be able to tell your story through data in a manner that's easy for the consumer to understand. But how can you do that? Hi, Visby and I are here to help and in this video we're going to answer all of your questions regarding data visualization. What exactly they are, how…

Altri corsi di AI per immagini e video

Tutti i corsi di AI per immagini e video

Domande frequenti

Quanto dura il corso Vision AI Agents: Vedere, Analizzare e Agire?

Il corso dura 4h 0m in totale, con 5 lezioni suddivise in 3 sezioni, da seguire online al proprio ritmo.

Serve esperienza pregressa?

Il corso è di livello avanzato e non indica requisiti specifici di ingresso.

Il corso rilascia un certificato?

Sì: al completamento del corso ricevi un certificato di completamento verificabile online.