LLM API 비용 비교

author

devthanos

date

‣

slug

llm-price

status

Published

tags

summary

GPT-4 비싸도 너무 비싸다..

contentType

externalBlogLink

type

highlights

isCoverOnMain

isFitCoverImage

isNotice

isVerified

license

link

paymentTypes

price

coverRatio

lng

1000 token/input, 5000 token/output, 1000 API call 기준입니다.

역시 GPT-4 성능처럼 비용도 앞도적이네요, 사실상 GPT-4 는 고비용으로 인해 상업적으로 활용하기 어려운 모델입니다. 그럼에도 GPT-4 를 무료로 제공하는 국내 스타트업들을 보면, 투자받은 금액이 녹고 있을텐데 걱정아닌 걱정이 됩니다.

저희는 가난한 스타트업이라…😭 GPT-4 는 제공하지 않을 예정입니다. 대신 Mistral7X8B 그리고 Llama 2 70b 모델을 주력으로 제공할 예정입니다.

상대적으로 저렴한 Mistral 7X8B - mistral Small 모델은 GPT3.5 와 유사하거나 더 나은 성능을 보이며, Mistral Medium 모델은 GPT3.5 와 GPT4 사이 정도의 성능을 보여줍니다.

(물론 GPT4 의 성능을 앞도하는 모델은 아직 없습니다..)

GPT3.5/4, DallE 등 OpenAI 의 모델이 성능은 좋으나 API 비용도 높고 응답성도 좋지 않으며, 게다가 API 사용량에 따른 rate-limit 을 차등하기 때문에 초기에는 너무 느리죠..월 5,000$ 정도 써줘야 쓸만한 수준이 됩니다

Tier 4 정도는 되야 쓸만해집니다.

Free tier 는 정말.. 상업적으로는 쓸수가 없는 수준이죠.. GPT4 는 아에 되지도 않습니다..

🔥

결론은, 저희 Ohmybot 은 LLM 으로 Mistral Small(7X8B) 를 주력으로 GPT3.5/Llama 70B/Mistral Medium 등을 지원하며, 이미지 생성은 Stable Diffusion XL 을 주력으로 SD1.6, DallE2/3 등을 지원합니다. 한국어는 Mistral 기반 파인튜닝 버전을 준비 중에 있습니다. 그 외에도 새로운 모델들을 지속적으로 추가할 예정이니, 많은 관심 바랍니다🙏

데브타노스의 개발세발노트