仓库地址：https://github.com/josStorer/RWKV-Runner

预设配置已经开启自定义CUDA算子加速，速度更快，且显存消耗更少。如果你遇到可能的兼容性问题，前往配置页面，关闭 使用自定义CUDA算子加速

如果Windows Defender说这是一个病毒，你可以尝试下载 v1.3.7_win.zip ，然后让其自动更新到最新版，或添加信任

对于不同的任务，调整API参数会获得更好的效果，例如对于翻译任务，你可以尝试设置Temperature为1，Top_P为0.3

API并发压力测试

ab -p body.json -T application/json -c 20 -n 100 -l http://127.0.0.1:8000/chat/completions

Embeddings API 示例

import numpy as np
import requests
def cosine_similarity(a, b):
    return np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b))
values = [
    "I am a girl",
    "我是个女孩",
    "私は女の子です",
    "广东人爱吃福建人",
    "我是个人类",
    "I am a human",
    "that dog is so cute",
    "私はねこむすめです、にゃん♪",
    "宇宙级特大事件！号外号外！"
embeddings = []
for v in values:
    r = requests.post("http://127.0.0.1:8000/embeddings", json={"input": v})
    embedding = r.json()["data"][0]["embedding"]
    embeddings.append(embedding)
compared_embedding = embeddings[0]
embeddings_cos_sim = [cosine_similarity(compared_embedding, e) for e in embeddings]
for i in np.argsort(embeddings_cos_sim)[::-1]:
    print(f"{embeddings_cos_sim[i]:.10f} - {values[i]}")
RWKV-4-World: https://huggingface.co/BlinkDL/rwkv-4-world/tree/main
RWKV-4-Raven: https://huggingface.co/BlinkDL/rwkv-4-raven/tree/main
ChatRWKV: https://github.com/BlinkDL/ChatRWKV
RWKV-LM: https://github.com/BlinkDL/RWKV-LM
RWKV-LM-LoRA: https://github.com/Blealtan/RWKV-LM-LoRA
Preview

LoRA微调

    
十年开发经验程序员，离职全心创业中，历时三年开发出的产品《唯一客服系统》
 一款基于Golang+Vue开发的在线客服系统，软件著作权编号：2021SR1462600。一套可私有化部署的网站在线客服系统，编译后的二进制文件可直接使用无需搭开发环境，下载zip解压即可，仅依赖MySQL数据库，是一个开箱即用的全渠道在线客服系统，致力于帮助广大开发者/公司快速部署整合私有化客服功能。 
 
 开源地址：唯一客服（开源学习版） 
 
 官网地址：唯一客服官网