PerfXCloud快速上手

printf("hello world!");printf("今天给大家带来PerfXCloud快速上手操作");

什么是PerfXCloud？

PerfXCloud是澎峰科技为开发者和企业量身打造的AI开发和部署平台。它专注于满足大型模型的微调和推理需求，为用户提供极致便捷的一键部署体验。

PerfXCloud为算力中心提供大模型AI、科学与工程计算的整体运营解决方案，助力算力中心升级成为“AI超级工厂”。

1、登录

访问PerfXCloud并点击控制台进行登录、注册
https://cloud.perfxlab.cn/

现在我们支持邮箱注册，后续将会支持手机号注册。

2、体验中心

在登录后，在导航栏中点击体验中心，在“选择模型”可以选择你想要体验的模型。然后可以根据自己需求设置以下参数

“stream”设置选项可以设置聊天对话是否使用流式输出。

“max tokens”选项可设置体验模型完成时要生成的最大token数量。

“temperature”选项可设置使用什么样的采样温度，介于0.0和2.0之间。

“history number”选项可设置可携带的聊天历史记录条数，最大设置为2条。携带历史记录可能会超出模型的max tokens,当超出时请减少历史记录的条数。

完成设置后，即可在输入框输入消息，点击右侧绿色按钮发送消息进行模型的体验。输入框左侧的“垃圾桶”图标，点击可以清空历史记录。

3、API调用

通过python等代码来调用PerfXCloud大模型服务，我们先要在“令牌”中获取我们的“api_key”，最后通过OpenAI进行调用PerfXCloud。

获取“api_key”

通过OpenAI接口调用

安装 Python 3.7.1 或更高版本并设置虚拟环境后，即可安装 OpenAI Python 库。从终端/命令行运行：

pip install --upgrade openai

通过 openai 的相关接口进行调用，目前平台兼容OpenAI大多数参数。

import osfrom openai import OpenAI            client = OpenAI(    base_url='https://cloud.perfxlab.cn/v1',   api_key="YOUR_API_KEY"    )            stream = client.chat.completions.create(    model="Qwen-14B-Chat-Int4",    messages=[{"role": "user",                        "content": "hello "}],    temperature=1,    max_tokens=16,            n=1,            presence_penalty=0,            frequency_penalty=0,            stream=True,        )            for chunk in stream:    if chunk.choices[0].delta.content is not None:        print(chunk.choices[0].delta.content, end="")

⚠️api_key为上一步创建的需要修改