Text und Bilder verarbeiten
Erfahre, wie deine Anwendung Fragen stellt, Antworten fortlaufend empfängt, Textdateien einliest und Bilder zur Analyse übergibt.
Technik
Nachvollziehbare Referenz statt Blackbox.
Hier stehen nur Eigenschaften, die im bisherigen Wiss-KI-Pur-System praktisch umgesetzt oder getestet wurden.
Gemessene Leistung
Referenzwerte
~50
Output-Token/s bei typischen Einzelaufgaben im Referenzbetrieb
~200
Output-Token/s Gesamtdurchsatz bei beobachtetem Mehrbenutzerbetrieb
4
parallele Chats in der Referenzkonfiguration
64k
reguläre Kontextkonfiguration
Die angegebenen Referenzwerte stammen aus einem Mischbetrieb typischer Nutzungsszenarien und sind keine garantierten Mindestwerte. Der zusammenfassenden Leistungsdarstellung liegt eine Mischkalkulation der beobachteten Nutzungsszenarien zugrunde. Bei großen Eingabekontexten entsteht wie bei LLM-Systemen üblich zunächst eine Prefill-Phase, bevor die eigentliche Token-Ausgabe beginnt.
| Modellklasse | Lokales Sprachmodell der 27B-Klasse, für Inferenzbetrieb optimiert |
|---|---|
| Runtime | vLLM-basierte -Runtime im Containerbetrieb |
| Referenz-GPU | 2 × NVIDIA GeForce RTX 5060 Ti, je 16 GB VRAM |
| Tensor Parallelism | 2 |
| KV-Cache | FP8 |
| Reguläre Kontextkonfiguration | 65.536 Tokens |
| Parallelität | 4 gleichzeitige Chats praktisch getestet |
| Tool Calling | ; strukturierte Tool Calls praktisch getestet |
| Reasoning | steuerbar; Standardbetrieb ohne möglich |
| API | OpenAI-kompatible API für Chat, Streaming und |
| Backend | Inferenz-Backend nicht direkt nach außen exponiert; Zugriff erfolgt über die vorgesehene API-Schicht |
Vision
Bildanalyse direkt über die lokale API.
Bilder lassen sich zusammen mit einer Frage direkt an die OpenAI-kompatible API übergeben. Die lokale KI kann den Bildinhalt auswerten und in Textform beantworten.
Erkennen und beschreiben
Das Modell kann sichtbare Objekte, Motive und Bildinhalte erkennen und sprachlich beschreiben.
Text im Bild einbeziehen
Beschriftungen und andere sichtbare Textinformationen können in die Bildanalyse einfließen.
Bildinhalte beanspruchen zusätzliches - und Prefill-Budget. Die praktische Kapazität hängt deshalb vom Bildinhalt, der Bildgröße und dem übrigen Textkontext ab.
Integration
In bestehende Software einbinden, oder als Basis für neue Software verwenden.
Wiss-KI-Pur stellt eine OpenAI-kompatible API bereit. Dadurch lässt sich die lokale KI in bestehende Software einbinden und ebenso als Basis für neue Anwendungen, Automatisierungen und Agenten verwenden. Benutzeroberfläche und Fachlogik können beim Kunden oder Integrationspartner bleiben; Wiss-KI-Pur übernimmt die lokale Inferenz.
OpenAI-kompatible API
Chat & Streaming
Tool Calling
Reasoning steuerbar
Bildanalyse
Lokaler LAN-Betrieb
API-Anleitung mit Beispielen
So verbindest du deine Software mit Wiss-KI-Pur.
Ob Textanfragen, Bildanalyse oder mehrstufige KI-Agenten: In unserer ausführlichen Anleitung siehst du Schritt für Schritt, wie Anwendungen mit Wiss-KI-Pur kommunizieren. Mit kopierbaren Beispielen und verständlichen Ablaufdiagrammen.
Hier beginnt die eigentliche API-Dokumentation.
Aufrufe zum Nachmachen, Anleitungen für Text- und Bildanfragen sowie Ablaufdiagramme für eigene KI-Agenten.
KI-Agenten und eigene Funktionen nutzen
Sieh dir an, wie die KI Informationen aus deinen Anwendungen anfordert und weiterverarbeitet, mit einem vollständigen Beispiel und zehn illustrierten Abläufen.
Die technischen Details, konkreten Aufrufe und Beispielprogramme stehen auf der verlinkten Dokumentationsseite.