軟件介紹

PocketPal 是一款 AI 聊天應(yīng)用 AI 助手。它允許用戶直接在設(shè)備上與先進(jìn)的 AI 模型進(jìn)行互動，無需互聯(lián)網(wǎng)連接，確保了對話的私密性和安全性。用戶可以通過簡單的操作，在界面上添加和管理不同的語言模型，支持從多個平臺（如 Hugging Face）添加模型，也能加載本地模型使用。

軟件特點

• 離線運行：無需互聯(lián)網(wǎng)連接，用戶即可在設(shè)備上與 AI 進(jìn)行互動，隨時隨地享受 AI 服務(wù)，不受網(wǎng)絡(luò)限制
• 模型多樣性：支持 Danube、Phi、Gemma、Qwen 等多個小型語言模型，滿足用戶不同的使用需求，用戶還可自由切換和下載
• 智能內(nèi)存管理：當(dāng)應(yīng)用切換至后臺時，會自動卸載模型以節(jié)省內(nèi)存，再次打開應(yīng)用時，模型會自動重新加載，確保應(yīng)用流暢運行
• 自定義參數(shù)：用戶能夠調(diào)整系統(tǒng)提示、溫度、BOS 令牌和聊天模板等模型參數(shù)，獲得更個性化的對話體驗
• 實時性能分析：顯示每秒生成的令牌數(shù)量以及每個令牌的響應(yīng)時間，幫助用戶了解模型表現(xiàn)，以便根據(jù)需求調(diào)整設(shè)置。
• Hugging Face 集成：可在應(yīng)用內(nèi)直接搜索、收藏和下載 Hugging Face 上的 GGUF 格式模型，方便用戶獲取豐富的模型資源

使用方法

• 進(jìn)入菜單，點擊 Models，加載模型首次使用時需要添加模型，點擊右下角加號，可以“從 Hugging Face 添加”和“添加本地模型“
  * 從 Hugging Face 添加 需要連接國際網(wǎng)絡(luò)，否則可能無法加載內(nèi)容
• 模型名稱中，1.5B、7B、32B 表示模型的參數(shù)量，單位為 B（Billion，十億）。參數(shù)量越大，模型通常越復(fù)雜，能力越強(qiáng)，但計算資源需求也更高
• Q2、Q4 表示量化位數(shù)。例如，Q2 表示 2 位量化，Q4 表示 4 位量化。量化通過降低參數(shù)精度來減少模型大小和計算需求，但可能影響性能。XS、M、L 表示模型規(guī)模。例如，XS（Extra Small）可能是最小配置，M（Medium）為中等配置
• 這里提供一個 DeepSeek-R1-Distill-Qwen-7B-IQ3_M.gguf（基于 DeepSeek-R1 蒸餾的 Qwen 小模型）下載地址：https://hf-mirror.com/matrixportal/DeepSeek-R1-Distill-Qwen-7B-IQ3_M-GGUF/blob/main/deepseek-r1-distill-qwen-7b-iq3_m-imat.gguf
• 下載 gguf 文件后可以通過”Add Local Model”選擇此文件導(dǎo)入模型
• 模型文件添加完成（下載完成）后，點擊對應(yīng)模型的 Load 按鈕加載模型，等待加載后即可使用。受限于模型的參數(shù)量以及移動端性能等各種因素，響應(yīng)速度較慢，質(zhì)量不高。目前僅供娛樂

軟件截圖