Endpoint de tokenisation

import requests
import os

# Récupérer la clé API et la base d'URL depuis l'environnement
api_key = os.getenv("PARADIGM_API_KEY")
base_url = os.getenv("PARADIGM_BASE_URL", "https://paradigm.lighton.ai/api/v2")

response = requests.post(
    url=f"{base_url}/tokenize",
    headers={
        'accept': "application/json",
        'Authorization': f"Bearer {api_key}"
    },
    json={
        "model": "alfred-4",
        "prompt": "Ceci est une chaîne de test"
    }
)

print(response.json())

{
    "id": "8c0d73b9-b18a-4893-a38e-a4338a7d4e0e",
    "tokens": [
        {"Ceci": 1234},
        {"Ġest": 567},
        {"Ġune": 890},
        {"Ġchaîne": 1122},
        {"Ġde": 345},
        {"Ġtest": 1318}
    ],
    "text": "Ceci est une chaîne de test",
    "n_tokens": 6,
    "model": "alfred-4"
}

curl --request POST \
  --url $PARADIGM_BASE_URL/tokenize \
  --header 'Authorization: Bearer <YOUR_API_KEY>' \
  --header 'content-type: application/json' \
  --data '{
  "model": "alfred-4",
  "prompt": "Ceci est une chaîne de test"
}'