Academic AI
Academic AI
KI-Modelle auf einer abgeschotteten Instanz
Was ist ein KI-Modell?
Large Language Models (LLM) sind eine Art von „Künstlicher Intelligenz“, die mithilfe großer Datenmengen trainiert wird, um Texte zu erzeugen, die von Menschen geschriebenen Texten ähnlich sind, und andere komplexe Sprachaufgaben zu lösen. Sie verwenden fortschrittliche Algorithmen, insbesondere neuronale Netzwerke, um Kontext und Bedeutung in Texten zu verstehen und zu reproduzieren.
Derzeit werden Modelle von OpenAI und Mistral AI angeboten.
Was ist Academic AI?
Bereits 20 Hochschulen nehmen am ACOmarket-Projekt „Academic AI“ teil. Mit Academic AI macht ACOmarket KI-Modelle auf einer abgeschotteten Instanz von Microsoft Azure zugänglich. So können LLMs verwendet werden, ohne dass eingegebene Daten und hochgeladene Dokumente die „Azure Secure Landing Zone“ verlassen.
Ziel des Projekts ist die Bereitstellung einer generischen und skalierbaren Cloud-Plattform, auf der LLMs ohne Sicherheitsbedenken genützt werden kann.
Optional können in späteren Projektphasen verschiedenste Plugins und weitere AI-Services hinzukommen.
Wie kann ich Academic-AI nutzen?
Alle BOKU-Angehörigen (Mitarbeiter*innen und Studierende) können KI-Modelle via BOKU Single-Sign-On (SSO) über folgende Adresse nutzen:
Wie ist es um den Schutz meiner Daten und Eingaben bestellt?
Das Service läuft auf der Azure Plattform von Microsoft innerhalb der EU.
Daten und Eingaben von BOKU-Angehörigen werden von den Herstellern NICHT für das Trainieren der Modelle verwendet und bleiben innerhalb des akademischen Bereichs.
Ist die Nutzung im Umfang beschränkt?
Die Nutzung ist beschränkt. Es werden sämtliche Eingaben und Antworten des Modells pro User in Tokens abgerechnet.
Bei Tokens handelt es sich um Zeichenfolgen, in die ChatGPT und andere LLM Texte bei der Verarbeitung zerlegen bzw. aus denen LLM Texte bei der Verarbeitung zusammensetzen. Bei ChatGPT entspricht ein Wort unabhängig von der Sprache mindestens einem Token.
Die Tokenanzahl wird bei jeder Anfrage berechnet. Die Anzahl der Tokens pro Anfrage hängt von der Anfrage ab und kann variieren.
Die Tokenkosten pro Modell werden im ChatBot-Modul angezeigt.
API-Zugriff
Mit dem neuesten Update wurde die Möglichkeit geschaffen, auf die KI-Modelle via API (Application Programming Interface) zuzugreifen. API Zugriffe können den allgemeinen Chatbot oder eine Tailored AI abfragen. Die API-Zugriffe werden unabhängig vom Benutzerkonto abgerechnet.
Falls Sie einen Zugang zur API wünschen, schreiben Sie bitte an die BOKU-IT via boku-it(at)boku.ac.at
Anwendungsbeispiel für API-Zugriff
import os
import requests
class APIClient:
def __init__(self, api_key: str, api_secret: str, base_url: str = "https://ca-backend-bokai-prod.blackplant-d483a803.swedencentral.azurecontainerapps.io"):
self.api_key = api_key
self.api_secret = api_secret
self.base_url = base_url
def create_chat_completion(self, model: str, messages: list, **kwargs):
url = f"{self.base_url}/api/v1/llm/chat"
headers = {
"X-Client-ID": self.api_key,
"X-Client-Secret": self.api_secret,
"Content-Type": "application/json",
}
payload = {
"model": model,
"messages": messages,
**kwargs,
}
response = requests.post(url, headers=headers, json=payload, timeout=30)
response.raise_for_status()
return response.json()
# Load credentials from environment variables (recommended)
# Set these in your environment or .env file:
# CLIENT_ID=6ef66d3d-f518-43e9-8138-2266967a2952
# CLIENT_SECRET=your-secret-here
api = APIClient(
api_key=os.environ["CLIENT_ID"],
api_secret=os.environ["CLIENT_SECRET"],
)
response = api.create_chat_completion(
model="gpt-5",
messages=[{"role": "user", "content": "Hello, how can you help me?"}],
temperature=0.7,
maxTokens=1000,
)
print(f"Response: {response['data']['content']}")
print(f"Tokens used: {response['data']['usage']['totalTokens']}")
