只需和chatgpt聊聊天，它就能帮你调用10万+个huggingface模型！
这是抱抱脸最新上线的功能huggingface transformers agents，一经推出就获得极大关注：
这个功能，相当于给chatgpt等大模型配备了“多模态”能力——
不限于文本，而是图像、语音、文档等任何多模态任务都能解决。
举个例子，你可以向chatgpt发出“对这幅图像进行说明”的请求，并给它一张海狸的照片。使用chatgpt，可以调用图像解释器并输出“一只海狸正在游泳中”
随后，chatgpt再调用文字转语音，分分钟就能把这句话读出来：
a beaver is swimming in the water音频：00:0000:01
它不仅能够支持 openai 的大型模型，如 chatgpt，还支持其他免费的大型模型，如 openassistant。
transformer agent负责“教会”这些大模型直接调用hugging face上的任意ai模型，并输出处理好的结果。
所以这个新上线的功能，背后的原理究竟是什么？
如何让大模型“指挥”各种ai？简单来说，transformers agents是一个大模型专属的“抱抱脸ai工具集成包”。
huggingface上各种大大小小的ai模型，都被收纳在这个包里，并被分门别类为“图像生成器”、“图像解释器”、“文本转语音工具”……
同时，每个工具都会有对应的文字解释，方便大模型理解自己该调用什么模型。
这样一来，只需要一段简单的代码+提示词，就能让大模型帮助你直接运行ai模型，并将输出结果实时返还给你，过程一共分为三步：
首先，设置自己想用的大模型，这里可以用openai的大模型（当然，api要收费）：
from transformers import openaiagentagent = openaiagent(model=text-davinci-003, api_key=<your_api_key>)
也可以用bigcode或openassistant等免费大模型：
from huggingface_hub import loginlogin(<your_token>)
然后，设置hugging transformers agents。这里我们以默认的agent为例：
from transformers import hfagent# starcoderagent = hfagent(https://api-inference.huggingface.co/models/bigcode/starcoder)# starcoderbase# agent = hfagent(https://api-inference.huggingface.co/models/bigcode/starcoderbase)# openassistant# agent = hfagent(url_endpoint=https://api-inference.huggingface.co/models/openassistant/oasst-sft-4-pythia-12b-epoch-3.5)
然后，您可以使用指令run()或chat()来运行transformers agents。
run()适合同时调用多个ai模型，执行比较复杂专业的任务。
可以调用单个ai工具。
例如执行agent.run(“draw me a picture of rivers and lakes.”)，它就能调用ai文生图工具帮你生成一张图像：
也可以同时调用多个ai工具。
例如执行agent.run(“draw me a picture of the sea then transform the picture to add an island”)，它就能调用“文生图”和“图生图”工具，帮你生成对应图像：
chat()则适合以聊天的方式“持续完成任务”。
例如，先调用文生图ai工具，生成一个河流湖泊图片：agent.chat(“generate a picture of rivers and lakes”)
再在这张图片的基础上做“图生图”修改：agent.chat(“transform the picture so that there is a rock in there”)
要调用的ai模型可以自行设置，也可以使用抱抱脸自带的一套默认设置来完成。
已设置一套默认ai模型目前，transformers agents已经集成了一套默认ai模型，通过调用以下transformer库中的ai模型来完成：
1、视觉文档理解模型donut。只要提供一个图片格式的文件（包括pdf转换成的图片），就能利用它来回答有关该文件的问题。
例如问“trrf科学咨询委员会会议将在哪里举行”，donut就会给出答案：
2、文字问答模型flan-t5。给定长文章和一个问题，它就能回答各种文字问题，帮你做阅读理解。
3、零样本视觉语言模型blip。它可以直接理解图像中的内容，并对图像进行文字说明。
4、多模态模型vilt。它可以理解并回答给定图像中的问题，
5、多模态图像分割模型clipseg。只需提供一个模型和提示词，该系统就能根据提示词分割出图像中指定的内容（mask）。
6、自动语音识别模型whisper。它可以自动识别一段录音中的文字，并完成转录。
7、语音合成模型speecht5。用于文本转语音。
8、自编码语言模型bart。除了可以自动给一段文字内容分类，还能做文本摘要。
9、200种语言翻译模型nllb。除了常见语言外，还能翻译一些不太常见的语言，包括老挝语和卡姆巴语等。
通过调用上面这些ai模型，包括图像问答、文档理解、图像分割、录音转文字、翻译、起标题、文本转语音、文本分类在内的任务都可以完成。
除此之外，抱抱脸还“夹带私货”，包含了一些transformer库以外的模型，包括从网页下载文本、文生图、图生图、文生视频：
这些模型不仅能单独调用，还可以混合在一起使用，例如要求大模型“生成并描述一张好看的海狸照片”，它就会分别调用“文生图”和“图片理解”ai模型。
当然，如果我们不想用这些默认ai模型，想设置一套更好用的“工具集成包”，也可以根据步骤自行设置。
对于transformers agents，也有网友指出，有点像是langchain agents的“平替”：
你试过这两个工具了吗？感觉哪个更好用？
参考链接：[1]https://twitter.com/huggingface/status/1656334778407297027[2]https://huggingface.co/docs/transformers/transformers_agents
以上就是让chatgpt调用10万+开源ai模型！huggingface新功能爆火：大模型可随取随用多模态ai工具的详细内容。