Näin teet kannettavastasi oman paikallisen tekoälypalvelun

Kannettava vastaa kysymykseen ilman verkkoyhteyttä. Sen jälkeen se vastaa täsmälleen samaan kysymykseen toiselle samalla koneella toimivalle sovellukselle ilman, että muutat mitään. Juuri se tekee jo käyttämästäsi kannettavasta pienen, henkilökohtaisen tekoälypalvelun, jota muut sovellukset ja skriptit voivat käyttää.

Tässä käytetään ladattua mallia eikä kouluteta uutta. Jos et ole vielä selvittänyt, riittääkö kannettavasi RAM- tai VRAM-muisti, lue ensin opas siitä, kuinka paljon RAM-muistia kannettava tarvitsee paikalliseen tekoälykäyttöön. Jos tiedät jo, että koneesi soveltuu tähän, jatka lukemista.

Paikallinen tekoälykokoonpano koostuu neljästä erillisestä osasta. Kun tiedät, mitä kukin tekee, ohjetta on helpompi seurata.

Mallin painot ovat ladattavassa tiedostossa, esimerkiksi pienen mallin 3,4 Gt:n kvantisoidussa versiossa. Luku kertoo, kuinka paljon lataus vie levytilaa, ei sitä, kuinka paljon RAM-muistia malli tarvitsee käytössä.

Päättelymoottori lataa painot ja vastaa pyyntöihin. Tässä moottorina toimii Ollama, jolla on oma paikallinen HTTP-rajapinta. Sen kautta myös muut sovellukset voivat käyttää kannettavalla toimivaa mallia.

Asiakasohjelma lähettää pyynnön. Se voi olla Ollaman oma keskustelunäkymä, lyhyt skripti tai erillinen sovellus. Sen asetuksista riippuu, pysyykö kehote kannettavalla vai lähteekö se muualle.

Valinnainen tiedostojen hakuindeksi auttaa keskustelumallia etsimään tietoa omista tiedostoistasi. Se tarvitsee erillisen upotusmallin ja oman tallennustilansa. Indeksi ei synny automaattisesti, eikä sitä käsitellä tässä.

Käytännössä sovellus tai skripti lähettää pyynnön osoitteeseen 127.0.0.1:11434. Ollama vastaanottaa sen ja ottaa lataamasi mallin käyttöön. Ladatun mallin poistaminen ei poista asiakasohjelman tallentamaa keskusteluhistoriaa: malli ja historia ovat eri paikoissa.

Varaa ennen asennusta kaksi minuuttia ja kirjaa muistiin kannettavasi RAM-muistin määrä, käyttöjärjestelmä ja suoritin, mahdollisen erillisen näytönohjainmuistin (VRAM) määrä sekä vapaa SSD-tila. Tarkempi selitys RAM- ja VRAM-muistin tarpeesta löytyy oppaasta, jossa kerrotaan, kuinka paljon RAM-muistia kannettava tarvitsee paikalliseen tekoälykäyttöön.

Alla on kaksi tällä hetkellä refurbedista saatavaa kunnostettua kannettavaa. Ammattilaiset ovat testanneet, puhdistaneet ja kunnostaneet molemmat, ja kummallakin on 12 kuukauden takuu. Toinen edustaa Applen Apple Silicon -kannettavien perustasoa, toinen on Windows-kone, jossa on erillistä näytönohjainmuistia. Kaikki seuraavat vaiheet onnistuvat kummallakin.

Lataa Ollaman virallinen macOS- tai Windows-sovellus tai seuraa sen Linux-asennusohjeita. Avaa Ollama asennuksen jälkeen. Jos Ollama ei ole Linuxissa jo käynnissä, käynnistä palvelin komennolla ollama serve.

Ollaman nykyisessä sovelluksessa voi valita paikallisen tai pilvessä toimivan mallin. Kun lataus on valmis, valitse paikallisen mallin tunniste. Paikallisen mallin käyttö ei edellytä kirjautumista.

Lataa tätä ohjetta varten nimenomaan malli qwen3.5:4b-q4_K_M, jonka latauskoko on 3,4 Gt. Tunniste kannattaa kirjoittaa täsmälleen: yleinen ”latest” voi huomaamatta viitata paljon suurempaan malliin kuin se, jota kokeilit. 3,4 Gt kertoo latauksen vaatimasta levytilasta, ei siitä, kuinka paljon RAM-muistia malli tarvitsee vastatessaan.

Kaksi komentoa riittää ensimmäiseen keskusteluun mallin kanssa:

ollama pull qwen3.5:4b-q4_K_M

ollama run qwen3.5:4b-q4_K_M

Ensimmäinen komento lataa mallin, toinen avaa keskustelun. Kokeile pelkän tervehdyksen sijaan pientä, oikeaa tehtävää. Voit kirjoittaa esimerkiksi: ”Muuta nämä kolme kokousmuistiinpanoa tehtävälistaksi. Älä keksi päivämääriä.”

Kun haluat lopettaa, kirjoita /bye.

Kun keskustelet mallin kanssa päätteessä, asiakasohjelma lähettää viestit päättelymoottorille. Seuraavaksi kutsut samaa moottoria suoraan, kuten toinen sovellus tekisi.

macOSissa tai Linuxissa:

curl http://localhost:11434/api/chat -H 'Content-Type: application/json' -d '{"model":"qwen3.5:4b-q4_K_M","messages":[{"role":"user","content":"Määrittele paikallinen päättely yhdellä virkkeellä."}],"stream":false,"options":{"num_ctx":4096}}'

Windowsin PowerShellissä:

Invoke-RestMethod -Uri 'http://localhost:11434/api/chat' -Method Post -ContentType 'application/json' -Body '{"model":"qwen3.5:4b-q4_K_M","messages":[{"role":"user","content":"Määrittele paikallinen päättely yhdellä virkkeellä."}],"stream":false,"options":{"num_ctx":4096}}'

Etsi vastauksesta kenttä message.content. Kun stream-asetuksen arvona on false, vastaus tulee yhtenä kokonaisuutena eikä pala kerrallaan. Asetus num_ctx: 4096 pitää ensimmäisen kokeilun kontekstin koon maltillisena verrattuna mallille ilmoitettuun, paljon suurempaan enimmäiskokoon.

Vastauksessa on muutakin kuin mallin kirjoittama teksti. Ollama palauttaa kentän message.content lisäksi ajoitusta ja tokenmääriä kuvaavat kentät load_duration, prompt_eval_count, prompt_eval_duration, eval_count ja eval_duration.

Niistä näet erikseen, kuinka kauan mallin lataaminen muistiin ja vastauksen tuottaminen kestävät. Yksittäinen ”tokenia sekunnissa” -nopeusluku niputtaa nämä ajat yhteen. Ensimmäinen pyyntö Ollaman käynnistämisen jälkeen on yleensä hitain, koska malli ladataan silloin muistiin. Seuraavaa pyyntöä varten sitä ei tarvitse ladata uudelleen.

Tarkat luvut riippuvat täysin kannettavastasi, joten tässä ei esitetä niille tyypillisiä arvoja. Vertaa kenttien tietoja kahdesta ajokerrasta samalla koneella sen sijaan, että luottaisit yhteen nopeusväitteeseen.

Mallien käytön perusasiat hoituvat kolmella komennolla.

ollama ps näyttää, mikä malli on parhaillaan ladattuna muistiin ja millä se toimii. Suoritinsarake kertoo, toimiiko malli kokonaan näytönohjaimella (100 % GPU), kokonaan suorittimella (100 % CPU) vai jakautuuko kuorma niiden kesken.

ollama ls listaa kaikki lataamasi mallit.

ollama rm qwen3.5:4b-q4_K_M poistaa latauksen, jota et enää tarvitse.

Ollama poistaa mallin muistista oletusarvoisesti viiden minuutin käyttämättömyyden jälkeen. Jos ollama ps ei näytä yhtään mallia muistissa, lähetä vielä yksi pyyntö ennen kuin epäilet vikaa.

Nyt kannettava voi palvella myös toista sovellusta Ollaman oman keskustelunäkymän lisäksi. Ohjaa sovellus pilvipalvelun sijasta samalle koneelle.

Useimmat sovellukset, jotka tukevat itse määritettävää OpenAI-yhteensopivaa rajapintaa, pyytävät kolme tietoa: perusosoitteen, mallin nimen ja API-avaimen. Anna perusosoitteeksi http://localhost:11434/v1/ ja mallin nimeksi qwen3.5:4b-q4_K_M.

API-avainkenttä saattaa hämmentää, sillä osa asiakassovelluksista tai ohjelmistokirjastoista ei hyväksy tyhjää kenttää. Ollaman omissa ohjeissa käytetään siksi paikkamerkkiä api_key='ollama': paikallinen palvelin ei tarkista sen arvoa lainkaan. Merkkijono vain täyttää kentän. Sillä ei todenneta käyttäjää, eikä se ole salasana.

Yhteensopivuus kattaa vain osan kummankin rajapinnan toiminnoista. Jos haluat käyttää esimerkiksi kuvia syötteenä tai työkalukutsuja, kokeile kyseistä toimintoa omassa sovelluksessasi. Älä oleta kaiken toimivan sellaisenaan.

Tähänastiset vastaukset ovat teoriassa voineet tulla huomaamatta verkosta. Näin suljet sen mahdollisuuden pois.

Kun malli on ladattu kokonaan, katkaise kannettavan Wi-Fi-yhteys tai irrota verkkokaapeli. Esitä sitten sama pyyntö uudelleen joko keskustelunäkymässä tai rajapinnan kautta. Jos saat mallilta vastauksen täysin ilman verkkoyhteyttä, tiedät sen toimivan paikallisesti.

Vastauksen saaminen ei kuitenkaan todista paikallisuutta, jos se onnistuu vain verkkoyhteydellä, vastaus tulee osoitteesta https://ollama.com eikä localhost-osoitteesta tai käytössä on ladatun mallin sijasta pilvimallin tunniste. Ollaman paikalliset pyynnöt pysyvät omalla koneellasi, mutta sen erillisiä pilvimalleja käytetään palvelimella.

Paikallinen käyttö ei itsessään takaa yksityisyyttä. Siksi kannattaa tietää, mikä suojaa yhteyttä ja mikä ei.

Oletuksena Ollama kuuntelee vain osoitteessa 127.0.0.1:11434, eli ainoastaan omalla kannettavallasi. Pidä asetus ennallaan. Älä aseta arvoa OLLAMA_HOST=0.0.0.0 äläkä ohjaa porttia 11434 julkiseen internetiin. Edellisen osion API-avain on vain paikkamerkki eikä todenna käyttäjää. Portin avaaminen julkiseen internetiin jättää rajapinnan käytännössä suojaamatta.

Voit halutessasi poistaa myös Ollaman omat pilviominaisuudet kokonaan käytöstä. Se on vapaaehtoista, sillä ladatun paikallisen mallin tunniste ohjaa pyynnöt jo paikallisesti. Lisää {"disable_ollama_cloud": true} tiedostoon ~/.ollama/server.json tai aseta OLLAMA_NO_CLOUD=1. Käynnistä Ollama tämän jälkeen uudelleen, jotta muutos tulee voimaan.

Ollaman etäkäyttö toisesta huoneesta tai toiselta laitteelta on erillinen, vaativampi aihe. Siihen tarvitaan yksityinen verkko ja Ollaman eteen asetettava, käyttäjän todentava välityspalvelin. Tällaista etäkäyttöä ei käsitellä tässä, eikä portin suora avaaminen julkiseen internetiin ole oikea tapa toteuttaa sitä.

Tavallisimmissa pulmatilanteissa kannattaa aloittaa näistä tarkistuksista:

Yhteys torjutaan. Tarkista, että Ollama-sovellus tai ollama serve on käynnissä, ja yritä uudelleen.

Ensimmäinen vastaus on hidas, seuraavat nopeampia. Hitaus johtuu mallin lataamisesta, ei vastausten muodostusnopeudesta. Tarkista ero aiemmin esitellyistä vastauksen kentistä.

Kaikki tuntuu selvästi odotettua hitaammalta. Aja ollama ps. Se voi näyttää, että malli toimii pelkällä suorittimella tai kuorma jakautuu suorittimen ja näytönohjaimen kesken. Tarkista, miten oma käyttöjärjestelmäsi tukee näytönohjaintasi ja sen ajureita.

Muisti käy vähiin tai ohjelma kaatuu. Valitse pienemmän mallin tunniste, pienennä num_ctx-arvoa ja sulje muut paljon muistia käyttävät sovellukset ennen uutta yritystä.

Levytila täyttyy. Tarkista ladatut mallit komennolla ollama ls ja poista käyttämättömät komennolla ollama rm.

Jos tämä tapa ei sovi sinulle, esimerkiksi siksi, että haluat graafisen malliselaimen tai tarkempaa hallintaa suorittimen ja näytönohjaimen käyttöön, tutustu muihin vaihtoehtoihin, kuten LM Studioon ja llama.cpp:hen. Tarkoitus on vaihtaa päättelymoottoria, ei ajaa kahta kokoonpanoa rinnakkain.

Tarvitsenko verkkoyhteyttä käyttöönoton jälkeen? Et. Kun malli on ladattu kokonaan, sekä keskustelu että rajapintakutsut toimivat täysin ilman verkkoyhteyttä.

Suojaako paikkamerkkinä käytetty API-avain rajapintaa? Ei. Ollaman paikallinen palvelin hyväksyy minkä tahansa epätyhjän arvon tarkistamatta sitä. Joidenkin sovellusten pyytämä avain ei siis ole turvatoimi.

Pysyykö kehotteeni kannettavallani? Kyllä, kun käytät ladatun paikallisen mallin tunnistetta. Ollama tarjoaa myös erillisiä pilvimalleja, joita käytetään palvelimella. Valitsemasi mallin tunniste ratkaisee, ei jokin piilotettu oletusasetus.

Tarvitsenko erillisen näytönohjaimen? Et. Pientä mallia voi käyttää myös pelkällä suorittimella, yleensä hitaammin. Komento ollama ps näyttää, miten tietty pyyntö käsiteltiin.

Entä jos haluan suuremman tai toisenlaisen mallin? Vaihda mallitunniste sekä komennossa ollama pull että komennossa ollama run, mutta tarkista ensin RAM- ja VRAM-muistisi riittävyys. Lue tarkemmat perustelut oppaasta, jossa kerrotaan, kuinka paljon RAM-muistia kannettava tarvitsee paikalliseen tekoälykäyttöön.

Muistaako malli jatkossa dokumenttini? Ei. Keskustelumalli ei ala itsestään muistaa kansion sisältöä pysyvästi. Omista tiedostoista hakeminen vaatii erillisen dokumenttien hakuindeksin. Se on valinnainen lisä, jota ei käsitellä tässä.