TorchServe
Flexibles und produktionsreifes Model-Serving-Framework von PyTorch zur Bereitstellung von Deep-Learning-Modellen im großen Maßstab mithilfe von RESTful-APIs. Ziel ist es, das Hosten, Verwalten und Skalieren von PyTorch-Modellen mit Funktionen wie Multi-Model-Serving, Versionierung, Protokollierung und Metriken zu vereinfachen, die ideal für Echtzeit-Inferenz in Unternehmens- und Cloud-Umgebungen sind.