主题
tokens产品说明文档
模型部署
API地址:
通过点击某个模型详情查看:
API密钥
控制台-API key管理
定义
大模型API
大模型 API (应用程序编程接口)是基于大语言模型(LLM)构建的标准化编程接口,通过统一的协议(如 HTTP/REST、gRPC 等)对外暴露大模型的能力(包括文本生成、理解、推理、多模态交互等),开发者可通过编程方式发送请求、传递参数,获取模型处理后的结构化响应,无需关注模型底层训练、部署与运维,即可快速将大模型能力集成至各类应用系统中。
token(词元)
Token (词元)是大语言模型处理文本时的最小语义单元,是模型对自然语言进行编码的基础载体 —— 模型会将文本(文字、标点、空格等)切分为符合其训练范式的 token(单字、单词、子词或符号组合),并以 token 数量作为输入 / 输出长度计量、算力消耗与计费的核心单位。
计费方式
1. 文本生成模型:按Token计费
在调用模型推理服务的过程中,输入内容首先会被分词(tokenize),转换为模型可识别的Token。在调用模型时,将根据实际使用的Tokens数量进行计费。
计费公式:费用 = 输入Token数量 * 输入Token单价 + 输出Token数量 * 输出Token单价
2. 视频生成模型:按Token计费
统计模型进行实时推理服务时消耗的Token数量,按Token数量付费
计费公式:推理费用 = 按Token付费单价 × 视频Token用量
token 用量估算公式:(输入视频时长+输出视频时长) × 输出视频的宽 × 输出视频的高 × 输出视频的帧率/1024
- 部分模型支持开启样片模式(生成低画质 Draft 视频,用于快速验证效果),该模式下 token 用量更低,计算公式为token 用量估算公式结果 × 折算系数。折算系数与模型有关,Doubao-Seedance-1.5-pro 的 token 折算系数:无声 0.7;有声 0.6,其他模型暂不支持。
- 上述 token 用量均为估算值,准确 token 用量以调用 API 后返回的 usage.completion_tokens 字段为准。
3. 图片生成模型:按张计费
按照图片生成的张数计费
计费公式:费用 = 生成图片张数 * 单张费用
4. 视觉理解模型:按Token计费
调用视觉理解模型推理服务时,图片、画面等视觉输入会转为模型可识别 Token,结合文本输入、输出整体统计 Token 消耗量,按实际使用 Token 数量计费。
计费公式:费用 = 输入Token数量 * 输入Token单价 + 输出Token数量 * 输出Token单价
5. 多模态模型:按Token计费
多模态模型融合文本、图像等多种类型输入进行联合推理,输入内容统一转换为模型可识别 Token,按实际消耗的输入、输出 Token 数量计费。
计费公式:费用 = 输入Token数量 * 输入Token单价 + 输出Token数量 * 输出Token单价
补充说明:
推理输入:将推理输入的内容(包括但不限于文字、图片)转化为token数进行计费,对应 prompt_token
推理输出:将推理输出的内容(包括但不限于文字、图片)转化为token数进行计费,对应completion_token
分段计费:部分模型适用,不同的输入长度(和输出长度),token单价不同:
- 举例:请求输入 200k tokens,输出 14k tokens,满足 输入长度(128, 256] 条件,模型输入输出 token 按照:输入 2.4 元/百万 token,输出 24 元/百万 token 单价计费。
使用手册
操作流程
查看模型--进入控制台--选择模型API服务-API key管理--创建API key--模型部署
1. 可用模型查看
进入https://www.jygpu.com/models,根据标签类型选择需要的模型
2. API KEY创建
进入控制台/点击我的key/点击获取API key
三个入口都可进入控制台
进入模型API服务-APIKEY管理,添加APIKEY
添加API KEY,可自定义API key名称、选择分组、过期时间、数量、tokens额度、是否限制访问、IP白名单
3. 查看使用日志
进入控制台https://www.jygpu.com/console/log,模型API服务-调用明细 可以通过使用时间、模型名称、API key名称查看token的使用记录