離線語言模型
· 2 min read
今在我的電腦上安裝了離線語言模型
超爽的
什麼是離線語言模型
離線語言模型簡單來說就是把Chatgpt安裝在自己的電腦上,讓人工聊天AI可以在自己的電腦上跑,保有隱私、安全、自由、開源的特性。
好處列表
- 完全保有隱私 離線語言模型不會上傳任何個資給大公司,不會連上網路
- 有開源版本 這代表使用這可以修改自己的模型,像是現在就有很多沒有**言論審查(censored)**的版本
- 完全免費 不像線上服務,僅僅有幾句話的對話空間,然後就要你付費訂閱。離線語言模型完全免費且沒有限制。
- 自己擁有語言模型超爽的啦 擁有一個模型真的超爽的,沒有惱人的訂閱制,不需要依賴其他人,不需要受到其他人控制,真正可以隨心掌控模型。
我用的模型
- jahaas-tinger-gemma-v2 : 這是一個沒有言論審查的模型,但版本老舊(去年),之後應該會尋找gemma3或gemma3n的無言論審查本版。
- gemma3n:e2b : 主要在macbook(m3 16g ram)上跑的模型,聰明程度大概在去年的chagtgpt吧,上週google最新發布的,超級輕量,應該任何一台五年內的電腦都可以輕鬆順跑。
- gemma3n:e4b : 我選擇在在windows上跑的模型,功能比e2b版本更強大,但也比比e2b版消耗效能,所以我在有RTX 3060 8G顯卡上的電腦上跑。因為有顯卡的加持,速度超快,比線上語言模型還快。