1 token é igual a 4 caracteres.
Por exemplo, a seguinte frase "A inteligência artificial está transformando o mundo." tem 6 tokens.
Calculando os Tokens:
Os tokens são utilizados tanto pela entrada (o que é enviado ao modelo de IA) quanto pela saída (o que é recebido do modelo de IA).
Por exemplo, quando você treina um modelo de IA com o site www.reply.cx, veja quantos tokens seriam usados:
- Treinamento – Número total de caracteres extraídos do site (Contado uma vez, pois você só treina uma vez)
- Tokens de entrada – Todos os tokens usados para enviar a pergunta ao OpenAI são contados aqui. Eles incluem:
- Chunks – Quando uma pergunta é feita ao modelo de IA, o sistema buscaria um chunk que corresponda de perto à pergunta.
- Pergunta de entrada – Pergunta feita pelo usuário
- Prompt – Prompt do sistema e as instruções definidas
- Tokens de saída – Tamanho da resposta recebida do OpenAI.
O cálculo de tokens varia com base no tamanho do seu modelo de IA, na brevidade dos seus prompts/instruções e no comprimento das respostas do modelo de IA.