GPT-4 在用数字计算时有问题。我们研究一种技术来解决这个问题。
注意:运行此代码时使用的默认模型是OpenAI的文本
-davinci-003,而不是GPT-4
。可以通过更改src/engine/options.ts 和 src
/engine/settings.ts
中的设置来调整代码以针对任何完成 API 运行。在撰写此报告时,我们使用 GPT-4 私有版本的完成 API 评估了该技术。GPT-4 的公开版本目前仅提供“聊天”API。因此,所描述技术的某些方面可能需要因此而返工,但是我们提供代码和我们的调查以供参考。我们认为,尽管预计数字会有所不同,但评估结果仍然有效。
要求
sudo apt-get install npm
npm install
npm run build
例子
定义 API 密钥:
export OPENAI_API_KEY=...
尝试您自己的问题:
./gpte ask --question "What is sin(13.31) where the input is in degrees?"
./gpte ask --question "What is sin(13.31) where the input is in degrees?" --arith
./gpte ask --questionfile test/samples/number-years-grow-30.txt
./gpte ask --questionfile test/samples/number-years-grow-30.txt --arith
这些示例需要 GPT-4 令牌窗口大小、代码生成和推理:
./gpte ask --questionfile test/samples/msft-report-snippet.txt
./gpte ask --questionfile test/samples/msft-report-snippet.txt --arith
./gpte ask --questionfile test/samples/msft-goog-report-snippets-compared.txt
./gpte ask --questionfile test/samples/msft-goog-report-snippets-compared.txt --arith
./gpte ask --questionfile test/samples/gap-lulemon-financial-reports-compared.txt
./gpte ask --questionfile test/samples/gap-lulemon-financial-reports-compared.txt --arith
使用适当的模型,可以使用 评估整个问题集。./gpte eval