标签:
2023年11月,受ChatGPT支持DALL-3功能中“make it more X”图像生成玩法的启发,BuzzFeed高级数据科学家Max Woolf尝试将此思路应用于代码生成。通过设计不同提示词并迭代模型输出,他实现了代码性能的百倍提升。实验选择Claude 3.5 Sonnet模型,设计了一个Python编码提示词,并记录了从基线代码到多次迭代优化的过程。
实验显示,尽管“速度快”是优化方向之一,但“好代码”的定义需更具体,包括算法、内存和性能的优化。通过提示工程,Claude能意识到使用numpy和numba等库进行优化。经过多次迭代,最终代码运行时间从657毫秒缩短至6毫秒,速度提升百倍。然而,LLM的优化能力虽强,但仍需人工干预解决部分bug,且难以完全取代程序员对“好代码”的判断。此外,实验设计也讨论了Python在性能优化上的局限性及未来可能的改进方向。