HTH官网登录入口Transformer速查宝典：模型、架构、训练方法的论文都在这里了论文大合集，一篇文章就搞定。AI 发展迅速，这对于刚刚入门或是正想跟上「潮流」的新手们来说并不友好。如果有一份详细全面的知识列表可能会帮助他们更快走上「正途」。今天给大家带来一篇 Transformer 的综述文章，供大家了解 Transformer 的来龙去脉及相关技术。本篇综述涵盖了2

　　本文由站长之家合作伙伴自媒体作者“ 机器之心公众号”授权发布于站长之家平台，本平台仅提供信息索引服务。由于内容发布时间超过平台更新维护时间，为了保证文章信息的及时性，内容观点的准确性，平台将不提供完全的内容展现，本页面内容仅为平台搜索索引使用。需阅读完整内容的用户，请查看原文，获取内容详情。

　　11.11云上盛惠！海量产品 · 轻松上云！云服务器首年1.8折起，买1年送3个月！超值优惠，性能稳定，让您的云端之旅更加畅享。快来腾讯云选购吧！

　　Transformer架构已经在现代机器学习领域得到了广泛的应用。注意力是transformer的一大核心组件，其中包含了一个softmax，作用是产生token的一个概率分布。对于使用ReLU的S/8模型，这种门控机制会将实验所需的核心时间增多大约9.3%。

　　视觉Transformer成为各类视觉任务如物体识别和图片分类的有效架构。这是因为自注意力可以从图片中提取全局信息卷积核大小限制了卷积神经网络只能提取局部信息。他们的贡献有:1）提出了紧凑高效的视觉Transformer模型DualToken-ViT，通过卷积和自注意力的优势实现有效的注意力结构;2)提出位置感知全局令牌，通过图像位置信息来增强全局信息;3)DualToken-ViT在相同FLOPs下在多个视觉任务上表现最好。

　　Transformers成为了人工智能领域最重要的创新之一。这种神经网络架构于2017年推出，彻底改变了机器理解和生类语言的方式。这有望推动人工智能在多模态智能应用中的发展。

　　阿里巴巴达摩院模型开源社区ModelScope宣布开源法国人工智能初创公司MistralAI旗下新模型Mistral7B，可免费商用。Mistral7B在公开提供的指令数据集上进行了微调后的模型Mistral7BInstruct，在MT-Bench上超越了其他7B模型，并可与13B聊天模型相媲美。

　　MistralAI，一家法国人工智能初创公司，最近发布了一款性能优越的语言模型Mistral7B，并免费向所有人提供使用。图片来源:米斯特拉尔人工智能该模型基于Apache2.0许可证发布，除了归属之外，没有任何使用或复制的限制。对于对Mistral7B模型的开放性以及未来发布计划的一些疑问，我们已经联系了Mistral，并等待他们的回复。

　　StableSR是一种创新性的AI方法，旨在通过利用预训练扩散模型的威力来增强超分辨率任务。传统的SR方法通常需要大量的计算资源来从头开始训练扩散模型，这可能会损害它们的生成先验知识。通过利用预训练的扩散模型并结合创新技术，如时间感知编码器、可控特征包装模块和渐进聚合采样策略，StableSR为将扩散先验知识应用于图像恢复任务的未来研究提供了坚实的基础。

　　Meta、麻省理工学院和卡内基梅隆大学的研究人员最近发表的一篇新论文介绍了一项名为StreamingLLM的创新技术，旨在解决大型语言模型在长时间对话中性能下降的问题。LLMs如OpenAI的ChatGPT和Meta的Llama2在当今的人工智能领域备受关注，但它们都面临一个共同的挑战，即在与用户的对话中始终提供高质量的响应，无论对话持续多长时间或交换的对话数量如何。StreamingLLM技术为LLMs在长时间对话中保持高性能提供了创新的解决方案，有望在许多领域，特别是需要持续不断地与用户交互的应用中得到广泛应用。

　　OpenLM是一个旨在训练中等规模语言模型的PyTorch代码库，它强调了最大化GPU利用率和训练速度的设计。该库已经通过训练OpenLM-1B和OpenLM-7B两个语言模型，分别在1.6T和1.25T的文本标记上进行验证，取得了令人瞩目的成果。OpenLM的团队成员和致谢也在文章中列出，表明了该项目的合作性质和开源精神。

　　研究人员发现了一种改进语言模型性能的方法——Headless语言模型，即将输入嵌入与模型的其他嵌入在一起，并使用对比损失。通常情况下，语言模型的输入和输出嵌入层是分开的，但这种新方法通过它们，提高了模型的训练速度和准确性。这项工作为以对比学习取代交叉熵作为自监督预训练目标开辟了道路，为语言表示学习提供了一种高效可行的替代方案。

　　计算机视觉巅峰大会ICCV2023，在法国巴黎正式“开奖”!今年的最佳论文奖，简直是“神仙打架”。获得最佳论文奖的两篇论文中，就包括颠覆文生图AI领域的著作——ControlNet。来自MIT的TedAdelson教授则获得了终身成就奖。

　　EarningsDigest利用AI技术自动生成股票盈利电话摘要,帮助投资者节省时间,提高投资效率。用户可以在网站上查看主要上市公司的盈利电话内容摘要,包括关键财务指标、管理层指引、问答等部分。

　　MyChef是您手机上的AI驱动私人厨师，可按需从多种美食中获取食谱。该应用定价为US$1.99，适合所有人使用，数据安全，不会与第三方分享任何数据，也不会收集任何数据。

　　Covey Scout是一个AI驱动的人才发现和评估平台,可以根据招聘团队的需求,定制AI机器人来筛选简历和评估候选人。该产品可以极大提高招聘效率,缩短时间成本,并提升候选验。

　　Looti 是一款基于 AI 的预测营销工具，可以帮助您建立受众群体并发现超高质量的 B2B 潜在客户。通过 Looti，您可以在几次点击中生成 B2B 潜在客户，使用 20 多个筛选条件进行精细调整，并获取符合受众群体的超高质量潜在客户的联系信息。Looti 还提供强大的 AI 超级细分功能，让您能够像专业人士一样对数据进行细分华体会(HTH)官网登录入口。无需清洗数据，Looti 提供一切所需。支持与 Hubspot、Pipedrive、Lemlist、Emailable 和 Zero Bounce 等工具的内部集成。

　　Openlayer是一个评估工具，适用于您的开发和生产流程，帮助您自信地发布高质量的模型。它提供强大的测试、评估和可观察性，无需猜测您的提示是否足够好。支持LLMs、文本分类、表格分类、表格回归等功能。通过实时通知让您在AI模型失败时获得通知，让您自信地发布。

　　Hey there! 是一款创新的 AI 助手，通过优化你的工作效率、释放你的创造力，让工作变得纯粹愉快。它帮助你在不同场景中完成任务，提供高效沟通和智能协作，使你的工作事半功倍。无论是发送电子邮件、计划户外旅行、进行搜索引擎营销还是进行演讲，Hey there! 都会成为你最佳的助手。

　　ClipGlow是一个基于AI的视频剪辑和字幕制作网站,提供自动语音转文字、交互式编辑、动态字幕样式、一键导出等功能,让用户可以非常容易地为视频添加字幕和音频效果。

　　interviewsby.ai是一个面试准备工具，通过AI生成与特定职位相关的面试问题，帮助用户提升面试信心。用户可以将工作描述粘贴到网站上，即可收到与该职位相关的真实面试问题。用户可以录制自己的回答并获得AI反馈和改进的示例回答。产品适用于各种类型的工作面试，用户可以选择样本角色进行练习。

　　Freepik Pikaso是一个创意设计素材库，提供高质量的矢量图、照片、视频、模型等资源，帮助用户快速将创意转化为优秀设计。用户可以通过图片搜索、浏览推荐分类、探索热门合集等方式获取灵感和素材。同时，Freepik Pikaso也提供Premium会员服务，包括全库资源访问、无限下载、无广告界面等增值服务。

　　Chat2Invest是Slack上的一个机器人，可以阅读和总结任何网页、包括电子书在内的文档，甚至来自YouTube的视频。它可以通过语音与您交流，还可以作为您的个人导师，支持中文、英文、德文和日文。Chat2Invest每天都会发送最新的热点新闻并自动生成摘要，让您快速了解今日热点。

　　ChatGPT Wrapped 2023是一个非官方的网站,可以上传ChatGPT的聊天记录,生成一份数据驱动的聊天报告。报告内容包括聊天次数、阅读时间、最常用提示词等。功能简单,免费使用,无需注册。

　　Clous是一款帮助企业和公司提高招聘流程效率的软件。我们的产品ClousH是为招聘团队设计的。它可以帮助HR在数天内而不是数周内开始面试,通过避免不合格的候选人来减少复习数以千计的简历的工作,并允许与其他利益相关者共享结果以建立信任。

　　Ask AI 是一个智能问答助手，可通过引用您的档和视频来提供答案。它可以帮助您节省时间，快速准确地回答问题。它可以处理 PDF 文件、视频和网页，并提供准确的答案，具备可信度。您可以上传和存储您的文档，并逐步建立您的文库，增加 AI 的实用性。通过使用您的文档中的文字，答案更加准确可信。我们不会存储您的文件本身，只会存储文本、嵌入向量和元数据。Ask AI 符合 GDPR、DPA 2018 和 ISO 27001 的要求。

　　Ezcopy是一款微文案生成器和建议工具，可以快速轻松地生成简短的文案和改写，无需登录或注册。如果您觉得这个工具有帮助，我们接受捐赠。

　　Enif通过AI赋能你的整个业务,使每一个环节都更加高效——从运营到客户互动和销售。立即开始体验!

　　CGDream是一个免费的AI驱动的图像生成工具,允许用户为各种用例构建内容,如艺术、社交媒体、广告等。它可以通过文字描述生成图像,也可以对现有图像进行编辑。主要功能包括:基于文本的图像生成、图像编辑、3D模型、收藏功能等。其优势在于免费使用、操作简单。它可用于创作、娱乐、商业等多种场景。

　　InstaSalesAI是互联网上第一个文本到营销的平台。利用人工智能，将您的社交媒体账户转化为销售机器。保证能帮助您在接下来的30天内吸引更多销售。点击下方按钮立即开始。

　　ExperAI是一种新的知识分享方式，通过具有个性的聊天机器人来回答问题、表达情感和创造有趣体验。用户可以利用个性化的聊天机器人让内容更具吸引力，并通过一键分享与观众互动。ExperAI提供每24小时消息限制、2000+访客和服务于170个国家的功能。适用于个人和企业用户。

　　Bind是一个协作式的Generative AI应用开发平台,可帮助开发者快速构建和部署强大的语言模型应用。提供丰富的工具和功能,包括实时测试和调试LLM响应的提示场景,简易的部署LLM助手等应用到生产环境的平台。

　　Project E Ink将黑客新闻头条文章标题和摘要进行AI生成,输出高对比度的黑白图像,适合在数码墨水屏显示。该产品每4小时更新一次内容,用户可以订阅服务,也可以选择自建系统。