量化LLM 的高效微調QLoRA

QLoRA 是華盛頓大學提出的一種有效的微調方法,可以減少內存使用量,足以在單個48GB GPU 上微調65B 參數模型,同時保留完整的16 位微調任務性能。 QLoRA 通過凍結的4 位量化預訓練語言模型將梯度反向傳播到低階適配器(LoRA)。項目團隊同時還發布了一個命名為Guanaco(原駝)的大語言模型,在Vicuna 基準測試中優於所有以前公開發布的模型,達到ChatGPT 性能水平的99.3%,同時只需要在單個GPU 上進行24 小時的微調。 … #量化LLM #的高效微調QLoRA

ChatFred首頁、文檔和下載- AI 模型工作流- 程式开发

ChatFred 是一個 Alfred 工作流,可使用ChatGPT、DALL·E 2 和其他模型進行聊天、圖像生成等。 設置 在Alfred Gallery 上安裝或通過GitHub 下載,並添加OpenAI API 密鑰。 用法 要開始與ChatGPT 的對話,請使用關鍵字 cf ,在Alfred 中將工作流設置為後備搜索,或者創建自定義熱鍵以直接將剪貼板內容髮送到ChatGPT。 只需像在ChatGPT 網站上一樣與ChatGPT 交談: 或者在Alfred 中使用ChatFred 作為後備搜索: #ChatFred首頁文檔和下載 #模型工作流 #程式开发

Alpaca Electron首頁、文檔和下載- 羊駝AI 本地GUI – 程式开发

Alpaca Electron 旨在成為與Alpaca 羊駝AI 模型聊天的最簡單方式,無需任何命令行或編譯。 功能+待辦事項 在您的計算機上本地運行,除下載模型外不需要互聯網連接 緊湊高效,因為它使用llama.cpp作為後端(也支持Alpaca & Vicuna) 在CPU 上運行,任何人都可以在沒有昂貴顯卡的情況下運行它 不需要外部依賴,一切都包含在安裝程序中 從流行的聊天AI “借來”的UI 支持Windows、MacOS 和Linux(未經測試) Docker化🐋 上下文記憶 聊天記錄 未完成 …

OCR 文本捕獲工具NormCap

NormCap 是由OCR 支持的屏幕截圖工具,但用於捕獲文本而不是圖像。特性多語言正常離線工作自動解析格式可跨多顯示器工作跨平台支持,適用於Linux、macOS 和Windows 快速開始安裝預構建版本: Windows: NormCap-0.4.2-x86_64-Windows.msi Linux: NormCap-0.4.2-x86_64.AppImage macOS (x86) ¹: NormCap-0.4.2-x86_64-macOS.dmg macOS (M1) ¹·²: NormCap-0.4.2-arm64-macOS.dmg 1:在macOS 上,首次啟動時允許… #OCR #文本捕獲工具NormCap

Capture2Text首頁、文檔和下載- 便攜式OCR 工具- 程式开发

Capture2Text 能夠使用鍵盤快捷鍵快速對屏幕的一部分進行OCR。 默認情況下,生成的文本將保存到剪貼板。支持中文、英文、法文、德文、日文、韓文、俄文、西班牙文等90多種語言。 Capture2Text 是便攜式工具,不需要安裝。 特徵 支持90 多種語言 高度可定制(鍵盤快捷鍵、輸出選項等) 谷歌翻譯支持 文字轉語音支持 GUI 和CLI 都支持 無需安裝 使用 按照以下步驟使用捕獲框執行標準OCR 捕獲: 將鼠標指針放在要進行OCR 的文本的左上角。 按OCR …

Frog首頁、文檔和下載- GNOME 文本提取工具- 程式开发

Frog 是GNOME 的直觀文本提取工具(OCR),可從幾乎任何來源抓取圖像並獲取文本:youtube、截屏視頻、PDF、網頁、照片等。 構建 建議使用 Builder 來開發應用程序。要構建該應用程序,只需在Builder 中打開項目文件夾並按“執行”(F5)。它將下載需求並構建應用程序。 #Frog首頁文檔和下載 #GNOME #文本提取工具 #程式开发

Textinator首頁、文檔和下載- macOS OCR 工具- 程式开发

Textinator 是一款簡單的macOS 狀態欄/菜單欄應用程序,用於對屏幕截圖執行自動文本檢測。 安裝 使用 安裝應用程序。然後,使用⌘ + ⇧ + 4 ( Cmd + Shift + 4 ) 截取屏幕區域的屏幕截圖。該應用程序將自動檢測屏幕截圖中的任何文本並將其複製到剪貼板。 安裝 從發布頁面下載並打開最新的安裝程序DMG,然後將Textinator 圖標拖到應用程序,然後按照下面的說明授予桌面訪問權限,並可選擇授予全盤訪問權限。 首次啟動Textinator,您需要右鍵單擊應用程序圖標並選擇“打開”,否則您可能會收到關於未知開發者的警告,因為該應用程序未使用Apple Developer ID 簽名。 #Textinator首頁文檔和下載 #macOS #OCR #工具 #程式开发

Exllama首頁、文檔和下載- Llama HF 轉換器重寫- 程式开发

Exllama 是對Llama 的HF 轉換器實現進行更高效的內存重寫,以用於量化權重。 設計用於量化權重 快速且節省內存的推理(不僅僅是注意力) 跨多個設備映射 內置(多)LoRA 支持 funky 採樣函數的配套庫 注意,該項目處於概念驗證&預覽階段,可能發生大型變更。 硬体/軟件要求 作者在RTX 4090 和RTX 3070-Ti 上進行開發。兩種卡都支持CUDA 內核,但可能與舊卡不兼容。 作者沒有更低的顯卡,所以不知道老顯卡行不行。 另外,不知道這是否適用於Windows/WSL。 依賴關係 此列表可能不完整: …

joshuto首頁、文檔和下載- Rust 編寫的終端文件管理器- 程式开发

joshuto 是一個用Rust 編寫的類似ranger 的終端文件管理器。 特性: Tabs Devicons 通過fzf 進行模糊搜索 Ctrl/Shift/Alt 支持 批量重命名 文件預覽 退出到當前目錄 異步文件IO(剪切/複製/粘貼) 自定義顏色/主題 行號 文件選擇器 Trash 支持 Dependencies cargo >= 1.55 rustc >= 1.55 xsel/xclip/wl-clipboard (可選,用於支持剪貼板) fzf …

前端后台管理框架fe-ent-core

Frontend Enterprise Core (fe-ent-core)是一個免費開源的中後台模版。使用了最新的vue3,vite4,TypeScript等主流技術開發,開箱即用的中後台前端解決方案,也可用於學習參考。 fe-ent-core是基於Vue Vben Admin為基礎封裝套的一套組件庫。保留了vben的核心功能,同時將非必要的功能作為擴展特性最新技術棧:使用Vue3/vite4 等前端前沿技術開發TypeScript: 應用程序級JavaScript 的語言主題:可配置的主題國際化:內置完… #前端后台管理框架feentcore

Keelung首頁、文檔和下載- 零知識證明編譯器- 程式开发

它是一個為快捷、隱私和安全應用發展而設計的領域特定語言(DSL)。經過多年對後量子零知識密碼的深入研究,我們為開發者創造了Keelung,幫助他們在沒有專業密碼學技能的背景下也能創建安全、可信的後量子零知識證明。 Keelung以及它的編譯器被安裝在Haskell上,有了Haskell的保護,開發者可以編寫高級的零知識證明,同時運用到haskell成熟的生態環境和工具作業。 和其他ZK DSL相比, Keelung具備幾項顯著的特點:首先,它支持移動證明和零知識證明的創建,允許zkApps在資源受限的設備上運行。其次,Keelung同時擁有前量子和後量子密碼原語和驗證系統的資源庫,為開發者提供了長期安全性和靈活性的保障。第三,Keelung被設計為開發者友好,即使非專家也能掌握,這得益於它更高等級的抽象和Haskell的嵌入式支持。最後,Keelung將於近期提供緊耦合硬件加速,這將為開發者帶來更快速,更有效的零知識證明創建體驗。 零知識程序發展遇到的問題 零知識程序還處在發展初期,工俱生態不夠成熟。以下是我們對於發展生態的一些觀察。 缺乏表達性 開發者要克服多數語言的低級抽象性,這需要他們有足夠的經驗來避免常見的錯誤。在低級語言中,開發者需要將他們的商業邏輯變成電平邏輯電路-這並不容易。推動開發者轉為新的思考模式使得零知識程序發展變得困難和触不可及。我們想改變這一點。 前量子驗證系統 許多團隊了解零知識但是少數思考過它的驗證系統的長遠安全性。大多數其他語言針對的是前量子驗證系統,他們的零知識證明容易受到量子計算機的攻擊。這無異於將“零”從零知識移除。在向後量子加密的遷移過程中零知識程序不應該被忽略。 沒有效率的編譯程序 一旦商業邏輯從經典程序轉換到零知識友好的模式,你需要編譯電路直至必要的源語來的產生證明。這個過程並非無關緊要但是需要大量的向量計算。 Keelung是如何解決這些問題的? 更高級的抽象 Keelung通過內置Haskell來避免速度和抽象之間的博弈。有了Haskell的保護,開發者可以編寫高級的零知識證明,同時運用到了Haskell成熟的生態環境和工具作業。 靈活的零知識證明 Keelung的模塊化設計允許開發者很容易得將零知識證明從前量子升級到後量子。幾個模塊證明系統(前-和後量子)同時運用以便你的電路可以即插即用。 跨鏈的相容性 Keelung賦予你靈活得改變證明驗證的目標環境。你可以使用Keelung來部署在任何區塊鏈環境下能運行零知識證明驗證的程序。 快速的編譯 Keelung能夠超級快速的產生零知識證明。我們利用Haskell的抽象能力來加速後量子加密的編譯源語。這是通過減少每個電路相關的限制數量實現的,這大幅減少了編譯時間需要的多量計算。 #Keelung首頁文檔和下載 #零知識證明編譯器 #程式开发

Fhex首頁、文檔和下載- 全功能十六進制編輯器- 程式开发

Fhex 是一款全功能的十六進制編輯器,兼容Linux/Windows/MacOS 。 Fhex 誕生的目的是開發一個輕量級但有用的工具,因為現有的十六進制編輯器有一些不同的局限性(例如依賴性太多,缺少十六進制著色功能等)。 該項目基於qhexedit2、capstone 和keystone 引擎。 特徵 塊加載器- 用於僅加載大文件的一部分而不會耗盡內存(使用alt + 左/右箭頭在塊之間移動)。請注意,在塊模式下,所有操作(例如搜索)僅適用於當前塊,除了文件保存(保存整個文件)。但是,每次編輯一個塊時,請在移動到另一個塊之前保存它,否則將丟失更改。 搜索和替換(支持UTF-8、十六進制、正則表達式、反向搜索)[ CTRL + F] 彩色輸出(空格、ASCII 字符、0xFF、UTF-8 和NULL 字節有不同的顏色) 將選定的字節解釋為整數、長整型、無符號長整型 [ CTRL + B] 複製並粘貼 [CTRL + C和 CTRL + V] …