> ## Documentation Index
> Fetch the complete documentation index at: https://docs.lighton.ai/llms.txt
> Use this file to discover all available pages before exploring further.

# Endpoint de tokenisation

> L'endpoint API de tokenisation vous permet de convertir facilement du texte en une liste de tokens pour un modèle spécifique.

Décomposez le texte en tokens individuels pour comprendre comment un modèle traitera votre entrée. C'est utile pour le débogage, le comptage de tokens, et comprendre le comportement du modèle.

<Warning>
  **Modèles d'embedding**

  Il n'est actuellement pas possible d'utiliser l'endpoint de tokenisation sur les modèles d'embedding.
  Seuls les Modèles de Langage de Grande Taille sont supportés.
</Warning>

## Prérequis

* Une **clé API Paradigm** : si vous n'en avez pas, rendez-vous sur votre profil Paradigm et générez une nouvelle clé API.
* Le **LLM désiré disponible dans Paradigm** : Si vous voulez utiliser un nouveau modèle, vous devez l'ajouter à Paradigm depuis l'interface d'administration.

## Méthodes d'utilisation

Il existe plusieurs façons d'appeler l'endpoint :

1. Avec le **package python `requests`** (recommandé)
2. Via une **requête curl** : pour des tests rapides ou une première utilisation

## Package python `requests`

Vous pouvez envoyer directement une requête à l'endpoint API via le package `requests`.

```python theme={null}
import requests
import os

# Récupérer la clé API et la base d'URL depuis l'environnement
api_key = os.getenv("PARADIGM_API_KEY")
base_url = os.getenv("PARADIGM_BASE_URL", "https://paradigm.lighton.ai/api/v2")

response = requests.post(
    url=f"{base_url}/tokenize",
    headers={
        'accept': "application/json",
        'Authorization': f"Bearer {api_key}"
    },
    json={
        "model": "alfred-4",
        "prompt": "Ceci est une chaîne de test"
    }
)

print(response.json())
```

Vous obtiendriez alors une réponse JSON sous forme de dictionnaire :

```json theme={null}
{
    "id": "8c0d73b9-b18a-4893-a38e-a4338a7d4e0e",
    "tokens": [
        {"Ceci": 1234},
        {"Ġest": 567},
        {"Ġune": 890},
        {"Ġchaîne": 1122},
        {"Ġde": 345},
        {"Ġtest": 1318}
    ],
    "text": "Ceci est une chaîne de test",
    "n_tokens": 6,
    "model": "alfred-4"
}
```

## Requête cURL

Si vous préférez envoyer une requête à Paradigm avec une simple commande cURL, voici un exemple :

```shell theme={null}
curl --request POST \
  --url $PARADIGM_BASE_URL/tokenize \
  --header 'Authorization: Bearer <YOUR_API_KEY>' \
  --header 'content-type: application/json' \
  --data '{
  "model": "alfred-4",
  "prompt": "Ceci est une chaîne de test"
}'
```