Angel-SNIP首頁、文檔和下載- 高效機器學習模型壓縮套件- 科技資訊

SNIP 是一款基於python的集成“精調+蒸餾+模型加速”為一體的模型上線助力工具。用戶只需要提供預訓練模型和業務精調數據,並且修改3~8 行訓練代碼, SNIP就會自動輸出加速後的模型。工具效果方面,通過對多種量化與蒸餾算法的深度優化,我們相比業界方案實現了更高的加速效果,同時在多業務上都成功適配了行之有效的無損加速手段。 SNIP支持作為一個python包進行使用,同時對用戶環境的依賴程度低,易於部署並使用,兼顧了效果與靈活性。 SNIP適用場景 受限於現有的機器資源,需要對全精線上模型進行壓縮,可以通過SNIP對指定結構的模型進行量化、蒸餾以達到模型加速的效果。 對於需要精調模型的場景,可以單獨使用SNIP的蒸餾算法對模型進行效果調優。 SNIP算法方案 SNIP通過對用戶模型進行PTQ+QAT的量化處理,由此得到量化後的模型,但由於量化帶來的精度損失通常難以通過微調恢復,因此SNIP通過配套的自研蒸餾算法來輔助模型調優,由此達到無損量化的目的。 SNIP功能介紹 支持整套精調、蒸餾和模型量化的流程。 支持蒸餾與量化解耦的使用方式。 具備優秀的易用性,在用戶腳本上僅僅需要改動七行代碼即可實現量化訓練。 支持deepspeed和python啟動方式。 支持config或args初始化SNIP。 支持多種可控蒸餾方式。 SNIP易用性展示 SNIP具備優秀的易用性,對於用戶腳本的干擾性小,只需要簡單的幾行初始化操作以及forward和蒸餾操作,便可以輕鬆使用SNIP工具的精調、蒸餾與量化的流程,減少了用戶上線加速模型所需時間,同時做到了高效與易用性。 SNIP項目規劃 作為模型壓縮加速工具包,SNIP後續將會不斷在內部擴充算法、功能,並逐步增加開源內容,例如稀疏、裁剪、長句優化等應用場景廣泛的算法。針對不同的模型,不同的訓練環境做到多種多樣的壓縮策略,以滿足不同業務生態下的壓縮加速需求。 #AngelSNIP首頁文檔和下載 #高效機器學習模型壓縮套件 #科技資訊

CodeGeeX2首頁、文檔和下載- 更強大的多語言代碼生成模型- 科技資訊

CodeGeeX2 是多語言代碼生成模型 CodeGeeX (KDD’23) 的第二代模型。不同於一代CodeGeeX(完全在國產華為昇騰芯片平台訓練) ,CodeGeeX2 是基於 ChatGLM2 架構注入代碼實現,得益於ChatGLM2 的更優性能,CodeGeeX2 在多項指標上取得性能提升(+107% > CodeGeeX;僅60億參數即超過150億參數的StarCoder-15B 近10%),更多特性包括: 更強大的代碼能力:基於ChatGLM2-6B 基座語言模型,CodeGeeX2-6B 進一步經過了600B 代碼數據預訓練,相比一代模型,在代碼能力上全面提升,HumanEval-X 評測集的六種編程語言均大幅提升(Python +57%, C++ +71%, Java +54%, JavaScript +83%, Go +56%, Rust …

XL-LightHouse首頁、文檔和下載- 通用型流式大數據統計平台- 科技資訊

XL-LightHouse是針對互聯網領域繁雜的數據統計需求而開發的一套集成了數據寫入、數據運算、數據存儲和數據可視化等一系列功能,支持大數據量,支持高並發的【通用型流式大數據統計平台】。 XL-LightHouse目前已基本涵蓋了常見的流式數據統計場景,包括count、sum、max、min、avg、bitcount、topN/lastN等多種運算,支持多維度計算,支持分鐘級、小時級、天級多個時間粒度的統計,支持自定義統計週期的配置。 XL-LightHouse內置豐富的轉化類函數、支持表達式解析,可以滿足各種複雜的條件篩选和邏輯判斷。 XL-LightHouse是一套功能完備的流式大數據統計領域的數據治理解決方案,它提供了比較友好和完善的可視化查詢功能,並對外提供API查詢接口,此外還包括數據指標管理、權限管理、統計限流等多種功能。 XL-LightHouse支持時序性數據的存儲和查詢。 背景 以互聯網行業來說,在移動互聯網發展比較成熟的現在,流量見頂,紅利消失,企業競爭日趨慘烈,獲取新增用戶的成本日益增高。很多企業開始意識到不能一味的通過補貼、價格戰、廣告投放這種簡單粗暴的方式搶占市場,這樣的運作模式很難長時間維繫。而通過精細化和數據化運營來降低成本、提升效率、最大化單用戶價值的理念逐漸被越來越多的企業所接受。精細化和數據化運營的前提是要建立起一套完善的數據指標體系,借助這個數據指標體系企業可以有多方面的用途: 1、排查問題:數據化運營是讓企業業務進入到一種”可控”的狀態,幫助企業在業務運轉不正常的時候,能夠快速的判斷出問題所在。 2、業務洞察:數據化運營是讓業務運轉的各個環節更加透明,幫助企業更清晰的看到目前的”短板”是在什麼地方,輔助產品的優化迭代。 …

AI00 RWKV Server首頁、文檔和下載- 基於RWKV 模型的推理API 服務器- 科技資訊

AI00 RWKV Server是一個基於RWKV模型的推理API服務器。 支持VULKAN推理加速,可以在所有支持VULKAN的GPU上運行。不用N卡! ! ! A卡甚至集成顯卡都可加速! ! ! 無需臃腫的pytorch、CUDA等運行環境,小巧身材,開箱即用! 兼容OpenAI的ChatGPT API接口。 100% 開源可商用,採用MIT協議。 如果您正在尋找一個快速、高效、易於使用的LLM API服務器,那麼AI00 RWKV Server是您的最佳選擇。它可以用於各種任務,包括聊天機器人、文本生成、翻譯和問答。 特色 基於RWKV模型,具有高性能和準確性 支持VULKAN推理加速,不用該死的CUDA也能享受GPU加速!支持A卡、集成顯卡等一切支持VULKAN的GPU 無需臃腫的pytorch、CUDA等運行環境,小巧身材,開箱即用! 兼容OpenAI的ChatGPT API接口 用途 …

InvokeAI首頁、文檔和下載- 面向專業創意的生成式AI – 科技資訊

InvokeAI 是一個創意引擎,旨在使專業人士、藝術家和愛好者能夠使用最新的人工智能驅動技術生成和創建視覺媒體。該解決方案提供業界領先的WebUI,交互式命令行界面,並且還充當多個商業產品的基礎。 InvokeAI 是Stable Diffusion 的實現。它提供了一個具有各種新功能和選項的簡化流程,以幫助圖像生成過程。它可以在Windows、Mac 和Linux 機器上運行,並可在RAM 低至4 GB 的GPU 卡上運行。 特性 Web Server & UI InvokeAI 提供本地託管的Web 服務器和React 前端,具有行業領先的用戶體驗。基於Web 的UI 可實現簡單直觀的工作流程,並且可在訪問Web 服務器的移動設備和平板電腦上進行響應。 Unified Canvas Unified Canvas 是完全集成的畫布實現,支持所有核心生成功能、內/外繪製、畫筆工具等。這一創意工具讓藝術家能夠作為創意合作者使用AI 進行創作,並可用於增強AI …

Iggy首頁、文檔和下載- Rust 編寫的持久消息流平台- 科技資訊

Iggy是用Rust 編寫的持久消息流平台,支持QUIC、TCP(自定義二進制規範)和HTTP(常規REST API)傳輸協議。目前,它作為單個服務器運行,允許創建流、主題、分區和段,並向它們發送/接收消息。這些消息作為僅附加日誌存儲在磁盤上,並在重新啟動之間保留。 該項目的目標是建立一個分佈式流媒體平台(作為集群運行),它將能夠水平擴展並每秒處理數百萬條消息。 特性: 用於消息流的高性能、持久的僅附加日誌 寫入和讀取的吞吐量非常高 得益於Rust 編譯語言(無GC),低延遲和可預測的資源使用 支持多個流、主題和分區 支持多種傳輸協議(QUIC、TCP、HTTP) 完全可操作的RESTful API,可以選擇啟用 Rust 中可用的客戶端SDK(即將推出更多語言) 直接處理二進制數據(缺乏強制模式和序列化/反序列化) 可配置的服務器功能(例如緩存、段大小、數據刷新間隔、傳輸協議等) 可以在服務器上存儲消費者偏移量 輪詢消息的多種方式: …

回合製網絡遊戲ioGameMMO

ioGameMMO這是一個基於ioGame 網絡編程框架開發的MMO 類型的回合製網絡遊戲項目,這類型的遊戲涵蓋的點比較多,是ioGame 的最佳實踐。我們會盡可能的在項目中演示框架文檔中提及的理論特性。如果你對網絡編程感興趣,或許這是一個很好的入門機會。如果你是web 領域的開發者,但對網絡遊戲開發感興趣,或許這是一個很好的入門機會。該項目教學不會講解框架源碼相關的,更多的是偏應用的,就是教你如何使用。如果你能將項目… #回合製網絡遊戲ioGameMMO

Twenty首頁、文檔和下載- 現代開源CRM – 科技資訊

Twenty 是一個開源CRM,旨在構建Salesforce 的現代替代方案:使用愉快、易於擴展、與你的數據完美同步。目前項目正處於Alpha 開發階段。 對於用戶: 致力於完全透明 使用戶能夠通過貢獻或構建自己的工具成為路線圖的決定性參與者。 對於開發者社區: 提供可免費使用的自託管CRM 解決方案,並將你的數據保存在你自己的服務器上。 正在開發一系列可重複使用的組件,例如 tables 或kanban boards(即將推出)。 正在引入一種新的CRM 可擴展性方法,該方法可以由用戶的工程團隊進行管理,而不是依賴外部顧問(即將推出)。 已實現的功能 添加、過濾、排序、編輯和跟踪客戶: 為每家公司創造一個或多個機會: 在時間軸中顯示的豐富註釋(以及即將完成的任務): 使用鍵盤快捷鍵和搜索快速瀏覽應用程序: #Twenty首頁文檔和下載 #現代開源CRM #科技資訊

基於Tornado+Vue 的敏捷開發框架Tornado-Vue-Admin

Tornado-Vue-Admin 是一款Python 語言基於Tornado、Vue3.x、AntDesign、MySQL等框架精心打造的一款模塊化、高性能、企業級的敏捷開發框架,本著簡化開發、提升開發效率的初衷觸發,框架自研了一套個性化的組件,實現了可插拔的組件式開發方式:單圖上傳、多圖上傳、下拉選擇、開關按鈕、單選按鈕、多選按鈕、圖片裁剪等等一系列個性化、輕量級的組件,是一款真正意義上實現組件化開發的敏捷開發框架。項目特點模塊化、松耦合… #基於TornadoVue #的敏捷開發框架TornadoVueAdmin

TuGraph-DB首頁、文檔和下載- 分佈式圖數據庫- 科技資訊

TuGraph 是支持大數據容量、低延遲查找和快速圖分析功能的高性能分佈式圖數據庫。 主要功能 標籤屬性圖模型 完善的ACID 事務處理 內置34 圖分析算法 支持全文/主鍵/二級索引 OpenCypher 圖查詢語言 基於C++/Python 的存儲過程 性能和可擴展性 TuGraph 產品架構 上圖從功能模塊的角度,以TuGraph 為例,給出了企業級圖數據庫的整體架構,自下而上包括: 軟硬件環境。涉及圖數據庫的開發和使用環境。 TuGraph 主要基於底層的C++語言開發,能夠兼容市面上大部分操作系統和CPU。 …

迅排設計首頁、文檔和下載- 在線海報圖片設計器- 科技資訊

迅排設計是一款漂亮且功能強大的在線海報圖片設計器,適用於海報圖片生成、電商分享圖、文章長圖、視頻/公眾號封面等多種場景。 支持功能 導入PSD 設計稿,導出圖片下載 元素拖拽、組合、縮放、層級調整、對齊等操作。 圖片素材插入、替換、裁剪,圖片容器等功能。 SVG 素材顏色、透明度編輯,文字花字組合。 畫布自定義尺寸、滾輪縮放、自適應畫布 吸附對齊、輔助引導線、標尺功能。 鍵盤快捷鍵、右鍵菜單快捷操作,複製刪除等常用操作。 風格二維碼編輯,支持單色、漸變、自定義logo 等。 圖層操作,支持拖拽變更層級。 顏色調色板,原生級取色器顏色吸管(Chrome)。 #迅排設計首頁文檔和下載 #在線海報圖片設計器 #科技資訊

開源模擬器Dolphin 放棄上架Steam – 科技資訊

海豚模擬器(Dolphin) 是一款跨平台的開源模擬器,支持在Windows、Linux、macOS、Android 上模擬運行任天堂GameCube 和Wii 遊戲。 今年3 月,Dolphin 開發團隊宣布將於今年第2 季度登陸Steam 平台,但在5 月,團隊在收到任天堂的警告後,宣布無限期推遲上架到Steam 版本的計劃。 近日Dolphin 確認徹底放棄上架Steam 平台。 Dolphin 開發團隊在今天發布的博文中表示,任天堂官方並未向該團隊或者Valve 發送DMCA 通知,來阻止該軟件上架Steam 平台。 實際情況是當得知Dolphin 要上架Steam 後,Valve 法務部門聯繫了任天堂,詢問任天堂有關Dolphin 上架Steam 的消息。 作為回應,代表任天堂美國的律師稱,按DMCA 規定,Valve 需要阻止該模擬器登陸Steam,隨後Valve 把郵件轉發給了Dolphin。 …

TypeChat首頁、文檔和下載- 基於LLM 的自然語言構建UI 庫- 科技資訊

TypeChat 是基於LLM 的自然語言構建UI 庫,由微軟開源。它通過AI 在自然語言和應用程序模式(application schema),以及API 之間構建了一座“橋樑”。 簡單來說,TypeChat 是用“人話” 來構建類型安全UI 的工具庫。 使用示例 用戶要求將這句話「我可以要一份藍莓鬆餅和一杯特級拿鐵咖啡嗎?(Could I get a blueberry muffin and a grande latte?)」轉換成JSON,並只用JSON 格式進行回复: 上面的示例並沒指定類型,當指定類型後,TypeChat 的回復如下: TypeChat 支持通過多種不同的方式使用。目前微軟討論的方式主要是使用數據模式將用戶意圖轉換為結構化響應,事實上TypeChat 還可以使用API 模式來構建基本程序。 #TypeChat首頁文檔和下載 …

ApisixWeb首頁、文檔和下載- Apifix 的webui 接口- 科技資訊

ApisixWeb 是Apifix 的一個webui 接口。本項目使用API 的管理API(即數據平面API)來實現API實例的業務操作! 特性 添加、刪除、修改路由、流路由、SSL。 。 。基於Apifix管理API。 多個Apifix實例管理。 批量刪除規則。 一鍵清除所有規則。 原始數據導入和導出。 使用acme.sh實現DNS-01證書申請。 用acme4j實現HTTP-01證書申請。 自簽名證書管理。 自動續訂過期證書。 基於yaml文件部署管理。 #ApisixWeb首頁文檔和下載 …