今日开源（2024-06-14）：哔哩哔哩Index-1.9B，2.8T中英文语料预训练

基座模型

①项目：Index-1.9B

★bilibili开源轻量级模型Index-1.9B，具有19亿参数，在2.8T中英文为主的语料上预训练，该系列模型在多个评测基准上与同级别模型相媲美。Index-1.9B系列包括基座模型、对照组模型、对话模型和角色扮演模型等。其中角色扮演在SFT和DPO的基础上引入了RAG来实现fewshots角色扮演定制。

②项目：table-transformer-detection

★微软开源基于Transformers的对象检测模型，专门针对文档中的表格提取进行了微调。该模型在PubTables1M数据集上进行了训练，旨在从非结构化文档中全面提取表格信息。模型采用了DETR（Detection Transformer）的架构，并且在自注意力和交叉注意力之前应用了layernorm，以提高模型性能。

③项目：Samba

★微软开源混合模型Samba，具有无限的上下文长度。它的架构非常简单：Samba = Mamba + MLP + 滑动窗口注意力 + MLP层级堆叠。最大的模型Samba-3.8B在Phi3数据集上训练了3.2万亿个token，大幅超越Phi3-mini在主要基准测试（如MMLU, GSM8K和HumanEval）上的表现。Samba还能够通过最小的指令调整实现完美的长上下文检索能力，同时保持其对序列长度的线性复杂度。这种能力使得Samba-3.8B-instruct在下游任务如长上下文摘要上表现出色。

必备工具

①项目：Open WebUI

★Open WebUI是一个支持LLM部署的可扩展、功能丰富、用户友好的自托管WebUI，旨在完全离线操作。它支持多种LLM，包括Ollama和兼容OpenAI的API。Open WebUI提供了简单的Docker或Kubernetes安装方式，支持ollama和cuda标记的镜像，并且可以无缝集成OpenAI兼容的API。

②项目：DiffusionKit

★DiffusionKit是一个支持在苹果硅片设备上进行扩散模型推理的工具包。它包含了一个Python包用于将PyTorch模型转换为Core ML格式，并使用MLX在Python中进行图像生成。同时，还有一个Swift包用于在设备上使用Core ML和MLX进行扩散模型的推理。

robotic开发

①项目：HumanPlus

★斯坦福大学AILab开源HumanPlus项目，致力于开发能够模仿人类动作的仿人机器人，例如仿拳击、弹钢琴、乒乓球、投掷和打字等动作。项目包含了Humanoid Shadowing Transformer (HST) 和 Humanoid Imitation Transformer (HIT) 的实现，并提供了全身姿态估计和相关硬件代码库的指导。HST基于legged_gym和rsl_rl进行模拟中的强化学习，而HIT则基于ACT和Mobile ALOHA仓库进行现实世界中的模仿学习。