想不想在短短幾分鐘內就擁有一個屬于自己、隨時能訪問的私有免費本地大模型?今天我就來手把手教大家。
首先,我們要下載 Ollama,這可是當下最火的專門為本地運行和部署開源大模型而設計的神器。打開 Ollama 的官網,找到主頁上的 “download” 下載按鈕,點擊后會跳轉頁面,在這里選擇適合你系統的下載包,比如我用的是 Windows 系統,那就選 Windows 對應的版本。下載完成后,點擊安裝包,按照步驟一步步完成安裝。
安裝好 Ollama 后,Windows 用戶可以通過在電腦下方搜索命令行,或者按下鍵盤上的 win+r 組合鍵,在彈出的框里輸入 “CMD” 并回車,別怕,彈出來的黑框框只是用來讀取和執(zhí)行我們輸入命令的地方。接著在終端輸入的命令 “Ollama run llama3”,這意思就是讓 Ollama 幫我們運行 llama3 模型。這時 Ollama 就會開始下載模型了,默認下載的是 8V 版本,而且即使沒有顯卡也能跑動哦。等下載完成,就會看到相應提示,這時候你已經成功在本地運行大模型了,可以直接開始對話啦。要是想退出對話,按 ctrl+d 或者回復 “bye” 就行。
如果還想試試其他模型,那就再回到 Ollama 官網,點擊右上角的 “models”,這里面幾乎涵蓋了所有前沿開源大模型。比如我們想運行最近登頂世界之最的阿里千問大模型,只需點擊進去,拷貝它的口令 “Ollama run qwen2”,然后在終端粘貼回車就搞定。
不過在終端聊天可能有點原始,所以我們再來下載一個本地運行且類似 chatGPT 頁面操作界面的 Open WebUI。在這之前要先安裝 Docker,不用管 Docker 具體是什么,跟著它官網的步驟一步步安裝就行。安裝好并運行 Docker 后,進入命令行輸入特定命令(docker run -d -p 3000:8080 --add -host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open -webui/open-webui:main)來啟動 WebUI 操作界面。由于要遠程下載一個 10G 的包,所以需要等待一會兒。如果命令成功執(zhí)行,會自動打開網頁頁面,要是沒自動彈出,就手動在瀏覽器輸入 “
localhost:3000”,或者進到 Docker 里點擊跳轉鏈接?,F在就可以像普通 AI 客戶端那樣愉快地對話了,讀取網頁鏈接在前面加個 “#” 號,上傳文件點擊對話框左邊的 “+” 號就行,還能在左上角打開設置把界面改成中文,并在系統指令里設定讓它永遠回復中文。
怎么樣,擁有一個運行在自己電腦上隨時可訪問的大模型就是這么簡單!趕緊把 “簡單” 打在公屏上吧。要是還想在外面也能隨時訪問這個模型或者共享給朋友,后續(xù)教程會為大家解鎖,跟著我,輕松優(yōu)化 AI。記得點贊、收藏、關注哦!