ML 和LLM 的列式數據格式Lance

Lance 是一種現代的列式數據格式,針對ML 工作流和數據集進行了優化。只需兩行代碼即可從parquet 轉換為100 倍更快的隨機訪問、向量索引、數據版本控制等。與pandas、duckdb、polars、pyarrow 兼容,並在進行更多集成。可以輕鬆快速地進行版本控制、查詢和訓練。它設計用於圖像、視頻、3D point clouds、音頻,當然還有表格數據。它支持任何POSIX 文件系統,以及AWS S3 和谷歌云存儲等雲存儲。 Lance 非常適合: 建立搜索…

#和LLM #的列式數據格式Lance

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *