用chatgpt写代码，已经是不少程序员的常规操作了。
△“至少提速3~5倍”但你有没有想过，chatgpt生成的代码，有不少只是“看起来准确”而已？
来自伊利诺伊大学香槟分校和南京大学的一项最新研究表明：
chatgpt和gpt-4生成代码的准确率，比之前评估的至少要降低13%！
有网友感叹，太多ml论文都在用一些有问题或有局限性的基准来评估模型，来短暂地达到“sota”，结果换个测评方法就现出原形了。
还有网友表示，这也说明大模型生成的代码仍然需要人工监督，“ai写代码的黄金时间还没到呢”。
所以，论文提出了一种怎样的新测评方法？
给ai代码考题加大难度这个新方法名叫evalplus，是一个自动化代码评估框架。
具体来说，它会通过改进现有评估数据集的输入多样性和问题描述准确性，来将这些评估基准变得更严格。
一方面是输入多样性。evalplus会先根据标准答案，用chatgpt生成一些种子输入样例（虽然要测chatgpt的编程能力，但用它生成种子输入似乎也不矛盾doge）
随后，用evalplus改进这些种子输入，将它们改得更难、更复杂、更刁钻。
另一方面是问题描述准确性。evalplus会将代码需求描述改得更精确，在约束输入条件的同时，补充自然语言问题描述，以提高对模型输出的精确度要求。
这里，论文选择了humaneval数据集作为示范。
humaneval是openai和anthropic ai一起制作的代码数据集，包含164个原创编程题，涉及语言理解、算法、数学和软件面试几种类型的题目。
evalplus会通过改进这类数据集的输入类型和功能描述，让编程问题看起来更清晰，同时用于测试的输入更“刁钻”或是更困难。
以其中的一道求并集编程题为例，要求ai写一段代码，找出两个数据列表中的共同元素，并给这些元素排序。
evalplus用它来测测chatgpt写的代码准确度。
在进行简单输入测试后，发现 chatgpt 能够输出准确的答案。但如果换个输入，就找出了chatgpt版代码的bug：
属实是给ai们加大了考题难度。
基于这套方法，evalplus还做了一个改进版humaneval+数据集，增加输入的同时，修正了一些humaneval里面答案就有问题的编程题。
那么，在这套“新考题”下，大语言模型们的准确率实际上要打几折？
llm代码准确率平均降低15%作者们测试了当前比较受欢迎的10种代码生成ai。
gpt-4、chatgpt、codegen、vicuna、santacoder、incoder、gpt-j、gpt-neo、polycoder、stablelm-α。
从表格中来看，经过严格测试后，这群ai的生成准确率都有所下降：
这里会通过一种名叫pass@k的方法评估准确率，其中k是允许大模型给问题生成的程序数量，n是用于测试的输入数量，c是正确的输入数量：
根据新的这套评估标准，大模型们的准确率平均下降了15%，其中比较广泛研究的codegen-16b更是下降了超过18%。
至于chatgpt和gpt-4生成代码的性能，也下降了至少13%。
不过，也有网友表示，大模型生成的代码效果没那么好，已经是“众所周知的事实”了，需要研究的是“为什么大模型写的代码不能用”。
以上就是chatgpt编程准确率暴降13%！uiuc&南大新基准让ai代码现原形了的详细内容。