关于人工智能:9月人工智能论文和项目推荐

因为LLM的火爆，所以最近的论文都是和LLM相干的

论文

1、LongLoRA

https://arxiv.org/abs/2309.12307

LoRA是人工智能中无效扩大预训练语言模型(llm)上下文大小的一种办法。LongLoRA通过在训练期间利用稠密的部分注意力和在推理期间利用密集的全局注意力，容许进行经济无效的微调并放弃性能。LongLoRA在各种工作上展现了令人印象粗浅的后果，并在llm中反对多达10万个令牌的上下文扩大。

2、Chain-of-Verification

https://arxiv.org/abs/2309.11495

Chain-of-Verification缩小了大型语言模型中的幻觉。CoVe能够无效地缩小基于语言模型的零碎中的幻觉。通过生成、验证和传递响应的零碎过程，CoVe曾经证实了它在各种工作(包含问答和文本生成)中缩小幻觉。

3、Fast Feedforward Networks

https://arxiv.org/abs/2308.14711

疾速前馈网络(FFF)是一种以较小的神经网络作为叶子的二叉树构造，与mix -of- experts网络相比，它的性能要快得多。只管还有一些问题，比方树过深而导致的碎片化，然而FFF网络在须要疾速推理和小细节编码的场景中具备很大的前景。

4、Contrastive Decoding

https://arxiv.org/abs/2309.09117

比照解码进步了大型语言模型的推理能力。LLM中的比照解码是一种弱小的推理方法。它超过了贪心解码和核采样，在HellaSwag和GSM8K等基准测试中表现出色。

5、PDFTriage

https://arxiv.org/abs/2309.08872

钻研人员开发了PDFTriage，这是一种进步基于语言模型的结构化文档(如pdf)问答零碎性能的解决方案。通过合并文档构造和内容，PDFTriage在答复各种类别的简单问题方面优于现有模型。

6、CulturaX

https://arxiv.org/abs/2309.09400

CulturaX是一个精心策划的用于167种语言的大型语言模型的多语言数据集，蕴含6T标记，专为167种语言的语言模型而设计。数据集通过彻底的清理阶段，以确保人工智能语言模型的高质量训练数据。

7、An Empirical Study of Scaling Instruct-Tuned Large Multimodal Models

https://arxiv.org/abs/2309.09958

钻研人员发现，在训练过程中进步图像分辨率和混合多模态语言数据能够进步LLaVA和MiniGPT-4等多模态模型的性能。此外调整视觉指令能够进一步提高这些模型的语言能力。

8、EvoPrompt

https://arxiv.org/abs/2309.08532

EvoPrompt是一个应用进化算法的新框架，它优化了GPT-3.5和Alpaca等语言模型的提醒生成。它超过了人类设计的提醒和以后的办法，证实了它在语言工作中的有效性。

9、Scaling Laws for Sparsely-Connected Foundation Models.

https://arxiv.org/abs/2309.08520

钻研人员发现了一个独特的标度定律，它显示了根底模型中权重稠密度、非零参数和训练数据量之间的关系。性能的最佳稠密级别随着数据的减少而减少。

1、vllm

https://github.com/vllm-project/vllm

vLLM是一个为llm提供了卓越的速度和改良效率的开源引擎，它与hug Face无缝集成，反对高吞吐量服务与先进的算法。vLLM在吞吐量方面优于hug Face transformer和Text Generation Inference。

2、指标检测排行榜

https://huggingface.co/blog/object-detection-leaderboard

huggingface又公布了指标检测排行榜，目前以基于DETA和DETR架构的模型得分最高

3、DALL·e3

https://openai.com/dall-e-3

OpenAI正在推出DALL·E 3

4、adobe的Firefly要免费了

https://techcrunch.com/2023/09/13/adobes-firefly-generative-a...

Adobe明天发表，测试版公布的176天后，Firefly当初能够在其Creative Cloud, Adobe Express和Adobe Experience Cloud中应用。

还会将Firefly作为一款独立的web应用程序推出，而后就是免费：

每次点击“生成”来创立一个图像，你就会耗费一个积分，付费Adobe打算的人都将取得相当多生成积分，有人做了比照，大略是一张图片5美分，Dalle便宜大略是13美分。

https://avoid.overfit.cn/post/10758ea42b314d6991b2dd1691cdb7a6