共计 2094 个字符，预计需要花费 6 分钟才能阅读完成。
因为 LLM 的火爆，所以最近的论文都是和 LLM 相干的
论文
1、LongLoRA
https://arxiv.org/abs/2309.12307
LoRA 是人工智能中无效扩大预训练语言模型 (llm) 上下文大小的一种办法。LongLoRA 通过在训练期间利用稠密的部分注意力和在推理期间利用密集的全局注意力，容许进行经济无效的微调并放弃性能。LongLoRA 在各种工作上展现了令人印象粗浅的后果，并在 llm 中反对多达 10 万个令牌的上下文扩大。
2、Chain-of-Verification
https://arxiv.org/abs/2309.11495
Chain-of-Verification 缩小了大型语言模型中的幻觉。CoVe 能够无效地缩小基于语言模型的零碎中的幻觉。通过生成、验证和传递响应的零碎过程，CoVe 曾经证实了它在各种工作 (包含问答和文本生成) 中缩小幻觉。
3、Fast Feedforward Networks
https://arxiv.org/abs/2308.14711
疾速前馈网络 (FFF) 是一种以较小的神经网络作为叶子的二叉树构造，与 mix -of- experts 网络相比，它的性能要快得多。只管还有一些问题，比方树过深而导致的碎片化，然而 FFF 网络在须要疾速推理和小细节编码的场景中具备很大的前景。
4、Contrastive Decoding
https://arxiv.org/abs/2309.09117
比照解码进步了大型语言模型的推理能力。LLM 中的比照解码是一种弱小的推理方法。它超过了贪心解码和核采样，在 HellaSwag 和 GSM8K 等基准测试中表现出色。
5、PDFTriage
https://arxiv.org/abs/2309.08872
钻研人员开发了 PDFTriage，这是一种进步基于语言模型的结构化文档 (如 pdf) 问答零碎性能的解决方案。通过合并文档构造和内容，PDFTriage 在答复各种类别的简单问题方面优于现有模型。
6、CulturaX
https://arxiv.org/abs/2309.09400
CulturaX 是一个精心策划的用于 167 种语言的大型语言模型的多语言数据集，蕴含 6T 标记，专为 167 种语言的语言模型而设计。数据集通过彻底的清理阶段，以确保人工智能语言模型的高质量训练数据。
7、An Empirical Study of Scaling Instruct-Tuned Large Multimodal Models
https://arxiv.org/abs/2309.09958
钻研人员发现，在训练过程中进步图像分辨率和混合多模态语言数据能够进步 LLaVA 和 MiniGPT- 4 等多模态模型的性能。此外调整视觉指令能够进一步提高这些模型的语言能力。
8、EvoPrompt
https://arxiv.org/abs/2309.08532
EvoPrompt 是一个应用进化算法的新框架，它优化了 GPT-3.5 和 Alpaca 等语言模型的提醒生成。它超过了人类设计的提醒和以后的办法，证实了它在语言工作中的有效性。
9、Scaling Laws for Sparsely-Connected Foundation Models.
https://arxiv.org/abs/2309.08520
钻研人员发现了一个独特的标度定律，它显示了根底模型中权重稠密度、非零参数和训练数据量之间的关系。性能的最佳稠密级别随着数据的减少而减少。
值得关注的我的项目
1、vllm
https://github.com/vllm-project/vllm
vLLM 是一个为 llm 提供了卓越的速度和改良效率的开源引擎，它与 hug Face 无缝集成，反对高吞吐量服务与先进的算法。vLLM 在吞吐量方面优于 hug Face transformer 和 Text Generation Inference。
2、指标检测排行榜
https://huggingface.co/blog/object-detection-leaderboard
huggingface 又公布了指标检测排行榜，目前以基于 DETA 和 DETR 架构的模型得分最高
3、DALL·e3
https://openai.com/dall-e-3
OpenAI 正在推出 DALL·E 3
4、adobe 的 Firefly 要免费了
https://techcrunch.com/2023/09/13/adobes-firefly-generative-a…
Adobe 明天发表，测试版公布的 176 天后，Firefly 当初能够在其 Creative Cloud, Adobe Express 和 Adobe Experience Cloud 中应用。
还会将 Firefly 作为一款独立的 web 应用程序推出，而后就是免费：
每次点击“生成”来创立一个图像，你就会耗费一个积分，付费 Adobe 打算的人都将取得相当多生成积分，有人做了比照，大略是一张图片 5 美分，Dalle 便宜大略是 13 美分。
https://avoid.overfit.cn/post/10758ea42b314d6991b2dd1691cdb7a6