We will explore how to host an AI server on a Raspberry Pi 5 using Ubuntu server, Nginx, duckdns and Ollama to serve a quantized LLM, including DeepSeek R1, as an API for a web app. This talk will briefly cover installation, configuration, and best practices for running AI models efficiently on low-power hardware.
Goto 10 är en arena där individer och organisationer kan dela kunskap, idéer och perspektiv. Detta event speglar arrangörens åsikter och delas inte nödvändigtvis av oss på Goto 10 och Internetstiftelsen. På Goto 10 får idéer och kunskap testas, diskuteras och utvecklas så länge de följer våra riktlinjer.