ML 和LLM 的列式數據格式Lance 發佈於 2023-06-13 由 adnu87 Lance 是一種現代的列式數據格式,針對ML 工作流和數據集進行了優化。只需兩行代碼即可從parquet 轉換為100 倍更快的隨機訪問、向量索引、數據版本控制等。與pandas、duckdb、polars、pyarrow 兼容,並在進行更多集成。可以輕鬆快速地進行版本控制、查詢和訓練。它設計用於圖像、視頻、3D point clouds、音頻,當然還有表格數據。它支持任何POSIX 文件系統,以及AWS S3 和谷歌云存儲等雲存儲。 Lance 非常適合: 建立搜索…#和LLM #的列式數據格式LanceRelated posts:Indigo Engine Homepage, Documentation and Downloads- Scala Functional Game Engine- Development details WechatMomentScreenshot Homepage, Documentation and Downloads- Screenshot Generation Tool for Reposting Moments- Development details GeekDesk Homepage, Documentation and Downloads- Desktop Quick Start Tool- Development details BMTools Homepage, Documentation and Download- ChatGPT-Plugins Open Source Solution- Development details