一夜之间，世界最强开源大模型falcon 180b引爆全网！
1800亿参数，falcon在3.5万亿token完成训练，直接登顶hugging face排行榜。
基准测试中，falcon 180b在推理、编码、熟练度和知识测试各种任务中，一举击败llama 2。
甚至，falcon 180b能够与谷歌palm 2不差上下，性能直逼gpt-4。
不过，英伟达高级科学家jim fan对此表示质疑，
- falcon-180b的训练数据中，代码只占5%。
而代码是迄今为止对提高推理能力、掌握工具使用和增强ai智能体最有用的数据。事实上，gpt-3.5是在codex的基础上进行微调的。
- 没有编码基准数据。
没有代码能力，就不能声称「优于gpt-3.5」或「接近gpt-4」。它本应是预训练配方中不可或缺的一部分，而不是事后的微调。
- 对于参数大于30b的语言模型，是时候采用混合专家系统（moe）了。到目前为止，我们只看到oss moe llm
一起来看看，falcon 180b究竟是什么来头？
世界最强开源大模型此前，falcon已经推出了三种模型大小，分别是1.3b、7.5b、40b。
官方介绍，falcon 180b是40b的升级版本，由阿布扎比的全球领先技术研究中心tii推出，可免费商用。
这次，研究人员在基底模型上技术上进行了创新，比如利用multi-query attention等来提高模型的可扩展性。
对于训练过程，falcon 180b基于亚马逊云机器学习平台amazon sagemaker，在多达4096个gpu上完成了对3.5万亿token的训练。
总gpu计算时，大约7,000,000个。
falcon 180b的参数规模是llama 2（70b）的2.5倍，而训练所需的计算量是llama 2的4倍。
具体训练数据中，falcon 180b主要是refinedwe数据集（大约占85%） 。
此外，它还在对话、技术论文，以及一小部分代码等经过整理的混合数据的基础上进行了训练。
这个预训练数据集足够大，即使是3.5万亿个token也只占不到一个epoch。
官方自称，falcon 180b是当前「最好」的开源大模型，具体表现如下：
在mmlu基准上，falcon 180b的性能超过了llama 2 70b和gpt-3.5。
在hellaswag、lambada、webquestions、winogrande、piqa、arc、boolq、cb、copa、rte、wic、wsc 及record上，与谷歌的palm 2-large不相上下。
另外，它在hugging face开源大模型榜单上，是当前评分最高（68.74分）的开放式大模型，超越了llama 2（67.35）。
falcon 180b上手可用与此同时，研究人员还发布了聊天对话模型falcon-180b-chat。该模型在对话和指令数据集上进行了微调，数据集涵盖了open-platypus、ultrachat和airoboros。
现在，每个人都可以进行demo体验。
地址：https://huggingface.co/tiiuae/falcon-180b-chat
prompt 格式基础模型没有prompt格式，因为它并不是一个对话型大模型，也不是通过指令进行的训练，所以它并不会以对话形式回应。
预训练模型是微调的绝佳平台，但或许你不该直接使用。其对话模型则设有一个简单的对话模式。
system: add an optional system prompt hereuser: this is the user inputfalcon: this is what the model generatesuser: this might be a second turn inputfalcon: and so on
transformers从transfomers 4.33开始，falcon 180b可以在hugging face生态中使用和下载。
确保已经登录hugging face账号，并安装了最新版本的transformers:
pip install --upgrade transformershuggingface-cli login
bfloat16
以下是如何在 bfloat16 中使用基础模型的方法。falcon 180b是一个大模型，所以请注意它的硬件要求。
对此，硬件要求如下：
可以看出，若想对falcon 180b进行全面微调，至少需要8x8x a100 80g，如果仅是推理的话，也得需要8xa100 80g的gpu。
from transformers import autotokenizer, automodelforcausallmimport transformersimport torchmodel_id = tiiuae/falcon-180btokenizer = autotokenizer.from_pretrained(model_id)model = automodelforcausallm.from_pretrained(model_id,torch_dtype=torch.bfloat16,device_map=auto,)prompt = my name is pedro, i live ininputs = tokenizer(prompt, return_tensors=pt).to(cuda)output = model.generate(input_ids=inputs[input_ids],attention_mask=inputs[attention_mask],do_sample=true,temperature=0.6,top_p=0.9,max_new_tokens=50,)output = output[0].to(cpu)print(tokenizer.decode(output)
可能会产生如下输出结果:
my name is pedro, i live in portugal and i am 25 years old. i am a graphic designer, but i am also passionate about photography and video.i love to travel and i am always looking for new adventures. i love to meet new people and explore new places.
使用8位和4位的bitsandbytes
此外，falcon 180b的8位和4位量化版本在评估方面与bfloat16几乎没有差别！
这对推理来说是个好消息，因为用户可以放心地使用量化版本来降低硬件要求。
注意，在8位版本进行推理要比4位版本快得多。要使用量化，你需要安装「bitsandbytes」库，并在加载模型时启用相应的标志:
model = automodelforcausallm.from_pretrained(model_id,torch_dtype=torch.bfloat16,**load_in_8bit=true,**device_map=auto,)
对话模型
如上所述，为跟踪对话而微调的模型版本，使用了非常直接的训练模板。我们必须遵循同样的模式才能运行聊天式推理。
作为参考，你可以看看聊天演示中的 [format_prompt] 函数:
def format_prompt(message, history, system_prompt):prompt = if system_prompt:prompt += fsystem: {system_prompt}\nfor user_prompt, bot_response in history:prompt += fuser: {user_prompt}\nprompt += ffalcon: {bot_response}\nprompt += fuser: {message}\nfalcon:return prompt
从上可见，用户的交互和模型的回应前面都有 user: 和 falcon: 分隔符。我们将它们连接在一起，形成一个包含整个对话历史的提示。这样，就可以提供一个系统提示来调整生成风格。
网友热评对于falcon 180b的真正实力，许多网友对此展开热议。
绝对难以置信。它击败了gpt-3.5，与谷歌的palm-2 large不相上下。这简直改变游戏规则！
一位创业公司的ceo表示，我测试了falcon-180b对话机器人，它并不比llama2-70b聊天系统好。hf openllm排行榜也显示了好坏参半的结果。考虑到它的规模更大，训练集也更多，这种情况令人惊讶。
举个栗子：
给出一些条目，让falcon-180b和llama2-70b分别回答，看看效果如何？
falcon-180b误将马鞍算作动物。而llama2-70b回答简洁，还给出了正确答案。
以上就是1800亿参数，世界顶级开源大模型falcon官宣！碾压llama 2，性能直逼gpt-4的详细内容。