0
Tokens
0
Palavras
0
Parágrafos
0s
Leitura
Como funciona a tokenização?
Modelos de IA não lêem texto como humanos. Eles dividem o conteúdo em tokens — pedaços de palavras, palavras inteiras ou até espaços e pontuação. Em português, 1 token equivale a aproximadamente 3-4 caracteres. A contagem de tokens determina o custo de uso e o limite de contexto de cada modelo.
Esta ferramenta usa uma estimativa baseada no algoritmo BPE (Byte Pair Encoding), similar ao tokenizador cl100k_base usado pelo GPT-4. A precisão é de aproximadamente 95%.
