Changelog

Notes Texte zu Fehlermeldungen aus der ARD Core API werden nun je nach Default Locale vom Sophora Metadata Supplier auf deutsch oder englisch (default) als Feedback ausgegeben. Darüber hinaus ist es möglich, eigene Übersetzungen zu verwenden. Dazu müssen entsprechende "messages properties"-Datei(en) im "i18n"-Verzeichnis der Sophora Metadata Supplier Installation abgelegt werden. Weitere Information hierzu sind der Dokumentation zu entnehmen.

Notes Es wird nun SpringDataSophora 4.4.0 verwendet, u.a. mit der Erweiterung für das IPTC-Add-on an Bilddokumenttypen und korrekter Beachtung im OfflineDateCalculator, wenn "sophora:offlineAfterDays" auf "-" gesetzt ist (= "nie offline stellen").

Notes Der Metadata Supplier gibt nun die Version von spring-data-sophora-commons vor, so dass Mapper-Projekte diese einfach verwenden können.

Notes In Mapping-Projekten müssen JUnit-Abhängigkeiten nun ggf. explizit angegeben werden.

Notes In der RestTemplateFactory verwendet der RestTemplateBuilder nun die per RestTemplateFactory.createRequestFactory() erzeugte ClientHttpRequestFactory. Es reicht also, die Methode statt der ganzen Klasse zu überschreiben, wenn eine andere RequestFactory verwendet werden soll.

Notes Exceptions in IResourceMapper.accept(...) werden nun abgefangen und so behandelt, als ob es keinen Mapper für die Source gäbe. Eine entsprechende Feedbackmeldung wird zurückgegeben.

Notes Diverse Abhängigkeiten wurden aktualisiert

Notes Es gibt nun keine "Erfolgreich an die ARD Mediathek/Audiothek gesendet"-Feedbackmeldung mehr für Objekte vom Typ Publishable, da über diese keine Resourcen in der Mediathek angelegt oder inhaltlich aktualisiert werden können. Die Feedbackmeldungen "Erfolgreich in der ARD Mediathek/Audiothek veröffentlicht" bzw. "Erfolgreich aus der ARD Mediathek/Audiothek entfernt" erscheinen weiterhin.

Es gibt neue, zusätzliche Feedbackmeldungen, wenn Resourcen in der ARD Mediathek/Audiothek veröffentlicht/depubliziert werden sollten, die bereits veröffentlicht/depubliziert sind: "Ein (erneutes) Veröffentlichen in der ARD Mediathek/Audiothek war nicht notwendig" und "Ein (erneutes) Entfernen aus der ARD Mediathek/Audiothek war nicht notwendig".

Es gibt neue, zusätzliche Feedbackmeldungen, wenn Resourcen in der ARD Mediathek/Audiothek veröffentlicht/depubliziert werden sollten, die dort gar nicht existieren: "Ein Veröffentlichen in der ARD Mediathek/Audiothek war nicht möglich" bzw. "Ein Entfernen aus der ARD Mediathek/Audiothek war nicht möglich".

Notes JMX MBeans können nun per HTTP unter /actuator/jolokia/ verwendet werden. Ab Sophora 4 ist der Sophora Metadata Supplier damit auch im Sophora Admin Dashboard monitorbar.

Notes Behebt ein Maven-Enforcer-Plugin-Problem für SMS-Mapper-Plugin-Projekte bzgl. der verwendeten Sophora-Core-Version.

Notes Die verschiedenen Services der ARD Mediathek/Audiothek (wie Image-Service, Asset-API und Player-API) werden mittlerweile unter einer Delivery-API-URL zusammengefasst und bereitgestellt. Daher lauten die Standard-URL-Konfigurationen im SMS für Image-Service, Asset-API und Player-API nun jeweils https://deliver-test.ard.de/delivery-api statt https://deliver-test.ard.de/image-service, https://deliver-test.ard.de/asset-api und https://deliver-test.ard.de/player-api.
Bei bestehenden SMS-Installationen, die die ARD Mediathek/Audiothek Service-URLs in der application.yml eingetragen haben, müssen diese URLs für jeden der drei Services entsprechend angepasst werden: URL für das Testsystem der ARD Mediathek/Audiothek: https://deliver-test.ard.de/delivery-api bzw. URL für das Live-System der ARD Mediathek/Audiothek: https://deliver.ard.de/delivery-api

Notes Mapping-Plugin-Projekte können für einfacheres und konsistentes Dependency Management nun die "pom.xml" von "metadatasupplier-parent" importieren

Notes Alle Resourcen werden nur noch auf Trace-Level geloggt.

Notes Die Metriken zu Anzahl und Größe der "Used Sources" und "Mapped Resources" sind nun unter http://<host>:<port>/actuator/metrics/ abrufbar.

Notes Der JavaDoc an den Interfaces für Resourcen (IShow, ISeason, IEpisode, usw.) wurde aktualisiert.

Notes Über den VM-Parameter -Dspring.profiles.active=json-logs (oder über die Angabe in der application.yml) kann strukturiertes (Json-)Logging aktiviert werden.
Vorsicht: Fügt eine Abhängigkeit zu "net.logstash.logback" "logstash-logback-encoder" hinzu, die in Mapping-Projekten ggf. zu Abhängigkeitskonflikten mit Jackson führen kann.

Notes Publications können auch angelegt werden, ohne explizit Images hinzufügen zu müssen. In dem Fall werden in der ARD Mediathek/Audiothek die Bilder aus dem referenzierten Item verwendet.

Notes Wenn die <my-mapping>-jar-with-dependencies.jar eine META-INF/MANIFEST.MF mit Eintrag für "Implementation-Version" hat, wird die Versionsnummer der Mapper-Klassen geloggt.

Notes Die Metriken enthalten nun {application="Sophora Metadata Supplier for ARD Mediathek/Audiothek"}

Notes Bei AudioBinary und VideoBinary kann die TermId nun statt im CoreID-Format (z.B. "urn:ard:termid-video:9bb5a34d66e2ec19") auch im CcAvTermId-Format (z.B. "1.2.3.14.1") angegeben werden, z.B. IVideoBinary videoBinary = VideoBinary.builder().with...(...).withCcAvTermId(CcAvTermId.of("1.2.3.14.1")).build();

Notes Neben "CoreId createId(IResource resource)" gibt es jetzt auch "List<CoreId> createIds(Collection<? extends IResource> resources)"

Notes Die Klassen com.subshell.sophora.metadatasupplier.sds.commons.SdsArdNormDbUtil und com.subshell.sophora.metadatasupplier.sds.commons.TenantUtil aus dem neuen "metadata-supplier-spring-data-sophora-commons"-Artefakt bieten Methoden an, um aus SDS-MultiSelectValue-Objekten entsprechende CoreIds für (Sub)GenreCategories oder ThematicCategories bzw. die Tenants zu erhalten.

Notes IdUtils.createIdOrNull(Type type, ExternalId externalId) liefert die CoreId zu dem angegebenen Type und ExternalId. Falls keine ExternalId angegeben wurde, liefert die Methode null (im Gegensatz zu IdUtils.createId(Type type, ExternalId externalId), was eine Zufalls-Id liefert).

Notes Es gibt jetzt SophoraSourceDescriptor.create(ISophoraDocument), um den SourceDescriptor zu einem Sophora-Dokument zu erzeugen.
Das neue Artefakt "metadata-supplier-spring-data-sophora-commons" enthält DocumentEntitySourceDescriptor.create(SophoraDocumentEntity), womit SourceDescriptor-Objekte zu SophoraDocumentEntity-Objekten erzeugt werden können.
Zu beachten: Das neue Artefakt bringt die Abhängigkeit zu "metadata-supplier-sophora-commons" und zu "spring-data-sophora" mit.

Notes VideoBinary.isHasEmbeddedSubtitles() wurde entfernt. Es muss IVideoBinary.hasEmbeddedSubtitles() genutzt werden.
Der vollständige Fix ist erst ab Version 3.5.4 bzw. 4.5.4 enthalten.

Notes VideoBinary.isHasEmbeddedSubtitles() wurde entfernt. Es muss IVideoBinary.hasEmbeddedSubtitles() genutzt werden.
Der vollständige Fix ist erst ab Version 3.5.4 bzw. 4.5.4 enthalten.

Notes Beim Hinzufügen von Feedback-Einträgen zu Feedbacks werden bereits vorhandene Einträge nun ignoriert, so dass der gleiche Feedback-Eintrag nicht mehrfach im Feedback enthalten ist.

Notes Der ImageMapper bietet nun zusätzlich die Methode mapImagesToAspectRatioMap(IImageDataProvider imageDataProvider) an, welche Map<IAspectRatio, IImage> zurück liefert.

Notes Beim Auftreten eines LinkageError zwischen SMS und Mapping erscheint dieser nun in der Logdatei und das SMS wird mit Exitcode 192 beendet.

Notes ACHTUNG: Inkompatible Model-API-Änderung! Die Felder genreCategoryId, subgenreCategoryIds und thematicCategoryIds an Shows, Sections, Seasons usw. sind nun vom Typ CoreId statt String! Die Mapper-Projekte/-Klassen müssen dementsprechend angepasst werden, bevor diese Metadata Supplier Version produktiv eingesetzt wird, ansonsten funktioniert das Mapping nicht!
Dazu `String genreCategoryCoreId = "urn:ard:category-genre:myExternalIdHash";` ändern zu `CoreId genreCategoryCoreId = CoreId.create("urn:ard:category-genre:myExternalIdHash");` oder `CoreId genreCategoryCoreId = CoreId.create(Type.GENRE_CATEGORY.getCoreIdPrefix(), "myExternalIdHash");` bzw. `String genreCategoryId = CoreId.create(Type.GENRE_CATEGORY, "myExternalId").getId();` ändern zu `CoreId genreCategoryCoreId = CoreId.create(Type.GENRE_CATEGORY, "myExternalId");`.
Zum Lesen von List<CoreId> als List<String> (z.B. in Tests) kann CoreId.getStrings() verwendet werden, falls benötigt.

Notes Per IMetadataSupplier.supply(SourceDescriptor, Parameters) und über die REST-Schnittstelle können nun zusätzliche Parameter von außen ins Mapping reingereicht werden.
ACHTUNG: Inkompatible API-Änderung! IResourceMapper.accept(SourceDescriptor) wurde geändert zu IResourceMapper.accept(SourceDescriptor, Parameters), d.h. alle Mapper-Klassen müssen die neue Methodensignatur implementieren bevor diese Metadata Supplier Version produktiv eingesetzt wird, ansonsten funktioniert das Mapping nicht! In Tests kann Parameters.of() für den neuen Methodenparameter übergeben werden.
In IResourceMapper.mapToResources(SourceDescriptor, IMappingContext) kann über den IMappingContext auf die Parameter zugegriffen werden, falls benötigt.

Notes In "metadata-supplier-sophora-commons" gibt es nun einen com.subshell.sophora.metadatasupplier.sophora.commons.Iso8601Converter

Notes In com.subshell.sophora.metadatasupplier.sophora.commons.ArdNormDbUtil sind nun entsprechende Methoden enthalten

Notes Die Enums aus com.subshell.ardcore.model.types haben nun alle eine valuesOf(Collection<String> names)-Methode

Notes Der Metadata Supplier verwendet nun Sophora Core 3.9.4 bzw. 4.9.4. Mapper-Projekte mit Metadata Supplier 3.4.2 bzw. 4.4.2 und Spring-Data-Sophora 3.2.8 bzw. 4.0.14 müssen u.U. org.slf4j:slf4j-api:1.7.32 bzw. org.slf4j:jcl-over-slf4j:1.7.32 statt Version 1.7.30 einbinden.

Notes Bei Publications kann jetzt auch das Feld "originalClipExternalId" gesetzt werden.

Notes Das Projekt "metadata-supplier-sophora-commons" enthält nun nützliche Hilfsklassen und -methoden, um Sophora-Inhalte zu IResource-Objekten zu mappen. Z.B. ImageMapper, IImageVariantsProvider und IImageDataProvider, um Sophora-Bilddokumente zu mappen, wobei pro Seitenverhältnis aus einer Liste von Bildvarianten die erste Bildvariante des Bilddokumentes mit Binärdaten verwendet wird (Codebeispiel befindet sich im "metadata-supplier-plugin-example"). ArdNormDbUtil, um aus einem Auswahlwertdokument die ARD-Normdatenbank-Werte zu ermitteln. SophoraStringUtils, um z.B. aus dem "sophora:tags"-Property die einzelnen Tag-Einträge als Liste zu erhalten. Außerdem wurde Logging beim Hinzufügen von Feedback-Einträgen eingebaut und die IdUtils um eine Methode zum Erzeugen einer CoreId aus einer ExternalId erweitert.

Notes Per IMappingContext.setUnpublishPreviouslyMappedResources(true/false) können die Resourcen zum Mappingergebnis hinzugefügt werden, welche beim aktuellen Mappingdurchlauf depubliziert werden müssen, weil sie beim vorherigen Durchlauf in der ARD Mediathek/Audiothek erzeugt und publiziert wurden, nun aber z.B. nicht mehr in der Quelle enthalten sind und deswegen in der ARD Mediathek/Audiothek depubliziert sein sollen (sofern sie nicht auch zu einer anderen Source gemappt und veröffentlicht wurden).
Außerdem existiert per IMappingContext.getResourceProvider() Zugriff auf die gespeicherten Informationen zu den zuletzt erfolgreich gemappten Resourcen der gerade zu mappenden Source.

Notes Per "ardmedialibrary.retry.maxAttempts" und "ardmedialibrary.retry.delayInMillis" kann konfiguriert werden, wie häufig und in welchen Abständen versucht werden soll, eine Resource in der ARD Mediathek/Audiothek anzulegen bzw. zu aktualisieren, wenn eine "Resource does not exist"-Fehlermeldung auftritt.

Notes Neue Methode hinzugefügt: IMappingContext.getPreviousUsedSources()

Notes Über die neue IResource-Implementation "Publishable" lassen sich Resourcen in der ARD Mediathek/Audiothek (de)publizieren, ohne dass die komplette konkrete Resource (z.B. Show) gemappt werden muss.
Zusätzlich kann per IResource.createIfNotExisting() bestimmt werden, ob eine Resource in der ARD Mediathek/Audiothek erzeugt werden soll, wenn sie dort noch nicht existiert (Standard ist "true").

Notes Proxy-Einstellungen zur ARD Mediathek/Audiothek können nicht mehr in der application.yml über "ardmedialibrary.credentials.proxyUrl" und "ardmedialibrary.credentials.proxyPort" gesetzt werden. Stattdessen muss der Proxy über normale Systemproperties konfiguriert werden, z.B. in der Datei metadata-supplier-application-executable.conf.

Notes Das "metadata-supplier-plugin-example" enthält jetzt zusätzlich einen Beispiel-Mapper, der Spring-Data-Sophora nutzt. Außerdem wir ein "jar-with-dependencies" erstellt. GroupId: "com.subshell.sophora.metadatasupplier", ArtifactId: "metadata-supplier-plugin-example" bzw. "metadata-supplier-plugin-example-launcher".

Notes Die Operationen "unpublish" bzw. "republish" an der ARD Core API werden nur noch für veröffentlichbare Entitäten ausgeführt, bei denen der Sichtbarkeitszustand geändert werden muss.

Notes Der Metadata-Supplier verfügt nur noch über die Schnittstelle "supply(SourceDescriptor)". Die REST-Schnittstelle befindet sich bei /metadata-supplier/<source-type>/<source-id> ("put" und "get"). Die Mapper müssen bei Shows, Seasons, PermanentLivestreams und Publications nun per Builder.withPublished(true/false) angeben, ob die jeweilige Resource in der ARD Mediathek sichtbar sein soll oder nicht.

Notes Die Mapper können bei Shows, Seasons, PermanentLivestreams und Publications nun per Builder.withPublished(true/false) angeben, ob die jeweilige Resource in der ARD Mediathek sichtbar sein soll oder nicht.

Notes In der application.yml muss nun angegeben werden, welche Dokumentstatusänderungen bei welchen Dokumenttypen im Metadata Supplier behandelt werden sollen. Siehe Dokumentation für weitere Informationen.

Notes Die ausführbare metadata-supplier-application-<version>.jar wurde in metadata-supplier-application-<version>-executable.jar umbenannt. Start-/Stop-Skripte, die diese jar ausführen, müssen dementsprechend angepasst werden. Auch die metadata-supplier-application.conf muss in metadata-supplier-application-executable.conf umbenannt werden, sofern vorhanden. Bei der metadata-supplier-application-<version>.jar handelt es sich jetzt stattdessen nur um das einfache Artefakt der metadata-supplier-application, welche für die Plugin-Entwicklung in einem Launcher-Projekt genutzt werden kann.

Notes Per metadata-supplier-sophora:sync-at-startup:false in der application.yml kann die initiale Synchronisation der Inhalte aus dem Sophora-Server abgeschaltet werden