SISI 4

Changelog

Covered issues for this module.

Version 5.3.2

– 4/16/25

  • Fixed
    Dokumente, für die URLs generiert werden, müssen auch abhängige Dokumente sein – SISI-300 (medium)
Version 5.3.1

– 4/2/25

  • Changed
    Tomcat aktualisieren – SISI-301 (medium)
Version 5.3.0

– 3/25/25

  • Changed
    Umstellung auf neue SISI-spezifische API im Server – SISI-295 (medium)
  • Improved
    Deduplizierung für Events einbauen – SISI-285 (high)
Version 5.2.0

– 3/19/25

  • Fixed
    Die Multiplying-Eigenschaft soll auch bei Multiproperties mit nur einem Wert greifen – SISI-299 (medium)
  • Added
    URL-Generierung optional bei der Solr-Indexierung im Indexing Service ausführen – SISI-298 (critical)
    Notes Introduces a new configuration "sophora.url.use-url-library" (default false)
Version 5.1.2

– 2/13/25

  • Fixed
    Das Feld structureNode_path_s muss immer indexiert werden – SISI-290 (medium)
Version 5.1.1

– 2/3/25

  • Fixed
    Gruppierung von Solr-Commands darf bei Verwendung eines multiplying-Property nicht zu fehlenden Inhalten in der Collection führen – SISI-286 (high)
  • Fixed
    Elemente werden zu häufig als verwaist angesehen – SISI-289 (medium)
  • Changed
    Dependency Updates – SISI-291 (medium)
Version 5.1.0

– 8/15/24

  • Changed
    Sisi darf keine XPath-Queries mehr machen – SISI-278 (medium)
  • Changed
    Update auf Spring 6.1 und Spring Boot 3.2 – SISI-277 (medium)
Version 5.0.0

– 3/12/24

  • Fixed
    Bei großeren Queries bekommt SISI keine Daten – SISI-225 (critical)
  • Fixed
    Nutzung von DeleteByQueries muss auf ein Minimum reduziert werden – SISI-191 (critical)
  • Fixed
    Deaktiverte Dokumente dürfen nie in Live-Collections enthalten sein – SISI-117 (critical)
  • Fixed
    In Solr-Live-Collections soll der Live-Strukturknotenpfad stehen – SISI-115 (critical)
  • Fixed
    Index-Script-Hilfsmethoden nutzen fälschlicherweise Arbeitsstand auch bei Live-Cores – SISI-23 (critical)
  • Fixed
    Abhängige Dokumente werden in Indexingskripten des Childnodemappings nicht ermittelt – SISI-22 (critical)
  • Fixed
    Solr-Index-Vorgänge von Strukturknoten blockieren Indexierung von neuen Dokumenten – SISI-19 (critical)
  • Fixed
    Das Stoppen einer Sisi-Instanz darf nicht dazu führen, dass dauerhaft dev_shared_element_counter_document_in_queue-Einträge liegen bleiben – SISI-119 (high)
  • Fixed
    Counter-Elemente in Redis auf HashSet umbauen – SISI-101 (high)
  • Fixed
    Nach Abschluss der Initialen Synchronisierung sollte es keine verwaisten Elemente in der Queue mehr geben – SISI-84 (high)
  • Fixed
    Solr Collections zwischen Redis und Solr synchronisieren – SISI-83 (high)
  • Fixed
    Endlosschleifen in der Eventverabeitung verhindern – SISI-76 (high)
  • Fixed
    Die Ermittlung der abhängigen Dokumente muss vor der Queue geschehen – SISI-75 (high)
  • Fixed
    Nach Ausspielkanal-Änderungen in Strukturknoten muss in Solr-Cores mit Ausspielkanalzugehörigkeiten die notwendige Reindexierung ausgelöst werden – SISI-21 (high)
  • Fixed
    Metrik zur Bestimmung der Dokumente in Tasks ausbauen – SISI-163 (high)
  • Fixed
    Events sollten die Event-Queue nicht dauerhaft blockieren – SISI-154 (high)
  • Fixed
    Authentifizierung zu SolrCloud sollte Passwörter mit Sonderzeichen unterstützen – SISI-152 (high)
  • Fixed
    Die Skript-Metriken sollen zwischen Filter- und Feld-Skripten unterscheiden – SISI-252 (high)
    Notes This issue fixes the competing naming of two metrics: sophora_indexingservice_script_groovy_duration_seconds and sophora_indexingservice_filterscript_groovy_duration_seconds.
    Earlier both had the same name but only one was able to deliver metrics.
  • Fixed
    Reindex Query sollte initial nicht beachtet werden – SISI-221 (high)
  • Fixed
    Beim Absturz liegengebliebene Locks aufräumen – SISI-122 (medium)
  • Fixed
    Es müssen alle Events verarbeitet werden – SISI-97 (medium)
  • Fixed
    Durch einen Neustart dürfen nur die Dokumente neu indexiert werden, die sich zwischenzeitlich geändert haben – SISI-94 (medium)
  • Fixed
    An DerivedDocumentChangedEvents muss erkennbar sein, ob die Änderung für Live Collections relevant ist – SISI-81 (medium)
  • Fixed
    Indexierungsaufträge dürfen sich nicht überholen – SISI-77 (medium)
    Notes Important: This update requires a modification to your solr-configuration as described here:
    https://subshell.com/docs/4/indexingservice/indexingservice112.html#Adjusted-solrconfig-xml
  • Fixed
    Bei der Suche nach abhängigen Dokumenten soll paging verwendet werden – SISI-74 (medium)
  • Fixed
    RejectedExecutionException verhindern – SISI-29 (medium)
  • Fixed
    Alle SISI Properties sollen aus der IndexingServerProperties gelesen werden – SISI-181 (medium)
  • Fixed
    Bei mehreren SISI-Instanzen müssen alle Caches mindestens so aktuell wie die Queue-Einträge sein – SISI-160 (medium)
  • Fixed
    Metriken für geteilte Daten aus Redis sollten in Granfana nicht summiert werden – SISI-151 (medium)
  • Fixed
    Die Synchronisierung über mehrere SISI Instanzen muss auch bei längeren Vorgängen funktionieren – SISI-250 (medium)
  • Fixed
    Bei Applikationsstart oder Leader-Wechsel ohne verfügbare SolrCloud dürfen sich keine Threads anstauen – SISI-228 (medium)
  • Fixed
    Das Neuanlegen eines Knotens darf nicht zu Solr Indexierungen führen – SISI-215 (medium)
    Notes Caution: This update requires an empty redis database, otherwise you might encounter indexing tasks that cannot complete and are stuck in the "in progress" phase. To install this update do the following steps:
    * stop all SISI instances
    * stop all redis instances and delete their databases from disk
    * start redis
    * start sisi with the new version

    This is a safe operation. SISI will recreate all pending data in redis as soon as it is started.
  • Fixed
    Beim Stoppen dürfen keine Fehler auftreten – SISI-96 (low)
  • Fixed
    Tasks für default/default-live zuerst erzeugen – SISI-219 (low)
  • Changed
    Performanceoptimierung der Redis Queues – SISI-201 (critical)
    Notes This update replaces the previous single priority queue in Redis with multiple queues.
    To avoid unused data in Redis, we recommend to clear the Redis DB between updates. This is a safe operation. SISI will recreate all pending data in Redis as soon as it is started.
  • Changed
    Aufsynchronisierung von SISI via Change Registry – SISI-43 (high)
  • Changed
    DerivedDocumentChangedEvents müssen allen Clients geschickt werden – SISI-103 (medium)
  • Changed
    Kompatibilität mit SOAI-557 – SISI-92 (medium)
  • Changed
    SISI muss auf DerivedDocumentChangedEvents lauschen – SISI-78 (medium)
  • Changed
    Eine zentrale Queue – SISI-28 (medium)
  • Changed
    Lokale Entwicklung mit Solr Cloud – SISI-27 (medium)
  • Changed
    Indexierung der Solr Cloud über solrj – SISI-17 (medium)
  • Changed
    Konfiguration der Anwendung – SISI-16 (medium)
  • Changed
    Groovy-Indexfelder – SISI-13 (medium)
  • Changed
    Solr-Indexierung aus dem Server in den neuen Indexer übernehmen – SISI-4 (medium)
  • Changed
    Aktualisierung der Redisson-Dependency auf 3.17.4 – SISI-166 (medium)
  • Changed
    FilterSkripte für Offline-Collections brauchen die gleichen Bindings wie Custom Fields – SISI-148 (medium)
  • Changed
    Sisi sollte sich an die Dependencies aus der Basepom halten – SISI-142 (medium)
  • Changed
    ContentManager-Aufrufe für Live-Indexierungen modifizieren – SISI-132 (medium)
  • Changed
    Info und Doku: "Remove After Days" wird nicht mehr unterstützt / Webapps müssen ggf. angepasst werden – SISI-126 (medium)
  • Changed
    Sisi soll sich auf die LiveDocumentActivationChangedEvent vom Server verlassen – SISI-272 (medium)
  • Changed
    Anpassung an Methoden, die mit SOCI-1559 entfernt wurden – SISI-267 (medium)
  • Changed
    Zookeeper ACL Credentials müssen über Umgebungsvariablen konfigurierbar sein – SISI-210 (medium)
  • Changed
    Nutzung von nested documents für die Indexierung von ChildNodes – SISI-192 (medium)
  • Improved
    Duplikatsprüfung soll zwischen High- und Low-Priority-Tasks unterscheiden – SISI-180 (critical)
  • Improved
    Document Cache konfigurierbar machen – SISI-71 (high)
  • Improved
    Verbesserte Ausnahmebehandlung bei fehlenden Solr Instanzen – SISI-41 (high)
  • Improved
    Datenstrukturen in Redis sollen die SISI-Version beinhalten – SISI-254 (high)
  • Improved
    Grafana Dashboard und Metriken erweitern – SISI-118 (medium)
  • Improved
    Bei reconnect-Event: Indexierung ab dem zuletzt gespeicherten Datum triggern – SISI-60 (medium)
  • Improved
    "Aufsynchronisieren" nach dem Wechsel des Leaders – SISI-45 (medium)
  • Improved
    Solr-Commit-Zeiten festlegen – SISI-37 (medium)
  • Improved
    Sophora 5: Entfernung der Reindex-Query – SISI-158 (medium)
  • Improved
    Das letzte Synchronisationsdatum soll periodisch bestimmt und in SolrCloud indexiert werden – SISI-144 (medium)
  • Improved
    Die Solr-Collection sophora-indexing-meta soll initial angelegt werden – SISI-143 (medium)
  • Improved
    Der SolrClient soll HTTP POST für Queries gegen die SolrCloud verwenden – SISI-140 (medium)
  • Improved
    Solr-Indexe sollten gecached werden – SISI-136 (medium)
  • Improved
    Sisi soll beim Start prüfen, ob der verwendete Nutzer die neue System-Permission READ_ALL hat – SISI-264 (medium)
  • Improved
    Verwendung von XPath Query anstelle der IQueries – SISI-217 (medium)
  • Improved
    Das Aufsynchronisieren soll Paging für Dokumentsuchen verwenden – SISI-211 (medium)
  • Improved
    Update auf Spring Boot 2.7.10, Spring 5.3.26, Micrometer 1.9.2 – SISI-199 (medium)
  • Improved
    Strukturiertes Logging – SISI-98 (low)
    Notes Über das Spring-Profil "json-logs" können strukturierte Logausgaben im JSON-Format aktiviert werden. Das ist besonders hilfreich, wenn Log-Aggregationssysteme wie bspw. Grafana Loki o.ä. genutzt werden.
    Das Profil kann bspw. über das VM-Argument "-Dspring.profiles.active=json-logs" aktiviert werden.
  • Improved
    Präzision der Groovy-Skriptmetriken erhöhen – SISI-253 (low)
  • Added
    Maven Sub-Projekte einführen – SISI-236 (medium)
    Notes This version changes the internal project structure, which should not affect your deployments with two exceptions:
    * The application is now located under com.subshell.sophora.indexing-service.sophora-indexing-service-app. If you use our docker image, you can ignore this change.
    * The redis json codec is now located under com.subshell.sophora.indexingservice.core.codec.SISIJsonJacksonCodec. The old location is still valid in 4 but is marked as deprecated and will be removed in version 5. Please change the codec in your SISI configuration spring.redis.redisson.config accordingly to:
    codec: !<com.subshell.sophora.indexingservice.core.codec.SISIJsonJacksonCodec> {}
  • Added
    Neue Metriken für die Anzahl der HIGH- und LOW-Prio Tasks – SISI-200 (medium)
  • Added
    Index-Mappings sollen Basis-Mapping steuern können – SISI-135 (medium)
  • Added
    Offline-Indexe sollen durch ein Property im Indexkonfigurationsdokument konfiguriert werden – SISI-134 (medium)
  • Added
    Automatische Live-Collections – SISI-79 (medium)
  • Added
    Micrometer-Metriken anbieten – SISI-26 (medium)
  • Added
    Neue Methode für Neuindexierungen in API anbieten – SISI-8 (medium)
Version 4.7.4

– 4/2/25

  • Changed
    Tomcat aktualisieren – SISI-301 (medium)
Version 4.7.3

– 3/19/25

  • Fixed
    Die Multiplying-Eigenschaft soll auch bei Multiproperties mit nur einem Wert greifen – SISI-299 (medium)
Version 4.7.2

– 2/3/25

  • Fixed
    Gruppierung von Solr-Commands darf bei Verwendung eines multiplying-Property nicht zu fehlenden Inhalten in der Collection führen – SISI-286 (high)
  • Fixed
    Elemente werden zu häufig als verwaist angesehen – SISI-289 (medium)
  • Changed
    Dependency Updates – SISI-291 (medium)
Version 4.7.1

– 10/21/24

  • Changed
    SolrJ auf Version 9 anheben – SISI-184 (medium)
  • Changed
    Info und Doku: "Remove After Days" wird nicht mehr unterstützt / Webapps müssen ggf. angepasst werden – SISI-126 (medium)
Version 4.7.0

– 9/6/23

  • Added
    Ausspielkanalzugehörigkeiten in alle Collections eintragen – SISI-251 (medium)
    Notes Channel affiliations defined in any Solr mapping document will be ignored. All channels are always taken into account, regardless of the Solr index and mapping document.
Version 4.6.1

– 6/20/23

  • Changed
    Unterstützung für Single-Solr entfernen – SISI-226 (medium)
    Notes The configuration sophora.solr.url is no longer supported. Use sophora.solr.zk-hosts instead.
  • Improved
    tryGetDocuments-Methoden im Indexing-Script-Client implementieren – SISI-255 (medium)
Version 4.6.0

– 5/9/23

  • Changed
    Anpassungen für Java 17 – SISI-159 (medium)
    Notes All upcoming docker images (including for this version) use java 17 as their base image.
  • Improved
    Datenstrukturen in Redis sollen die SISI-Version beinhalten – SISI-254 (high)
  • Improved
    Präzision der Groovy-Skriptmetriken erhöhen – SISI-253 (low)
  • Added
    Maven Sub-Projekte einführen – SISI-236 (medium)
    Notes This version changes the internal project structure, which should not affect your deployments with two exceptions:
    * The application is now located under com.subshell.sophora.indexing-service.sophora-indexing-service-app. If you use our docker image, you can ignore this change.
    * The redis json codec is now located under com.subshell.sophora.indexingservice.core.codec.SISIJsonJacksonCodec. The old location is still valid in 4 but is marked as deprecated and will be removed in version 5. Please change the codec in your SISI configuration spring.redis.redisson.config accordingly to:
    codec: !<com.subshell.sophora.indexingservice.core.codec.SISIJsonJacksonCodec> {}
  • Added
    Cleanup für Gelöschtes-Dokument-Platzhalter – SISI-223 (medium)
Version 4.5.0

– 4/12/23

Sophora API: 4.17.1. Sophora Client: 4.17.1.

  • Improved
    Update auf Spring Boot 2.7.10, Spring 5.3.26, Micrometer 1.9.2 – SISI-199 (medium)
Version 4.4.6

– 4/3/23

Sophora Client: 4.16.0.

  • Fixed
    Die Skript-Metriken sollen zwischen Filter- und Feld-Skripten unterscheiden – SISI-252 (high)
    Notes This issue fixes the competing naming of two metrics: sophora_indexingservice_script_groovy_duration_seconds and sophora_indexingservice_filterscript_groovy_duration_seconds.
    Earlier both had the same name but only one was able to deliver metrics.
Version 4.4.5

– 4/3/23

Sophora Client: 4.16.0.

  • Fixed
    Die Synchronisierung über mehrere SISI Instanzen muss auch bei längeren Vorgängen funktionieren – SISI-250 (medium)
  • Fixed
    Bei Applikationsstart oder Leader-Wechsel ohne verfügbare SolrCloud dürfen sich keine Threads anstauen – SISI-228 (medium)
Version 4.4.4

– 3/29/23

Sophora Client: 4.16.0.

  • Fixed
    Das Neuanlegen eines Knotens darf nicht zu Solr Indexierungen führen – SISI-215 (medium)
    Notes Caution: This update requires an empty redis database, otherwise you might encounter indexing tasks that cannot complete and are stuck in the "in progress" phase. To install this update do the following steps:
    * stop all SISI instances
    * stop all redis instances and delete their databases from disk
    * start redis
    * start sisi with the new version

    This is a safe operation. SISI will recreate all pending data in redis as soon as it is started.
Version 4.4.3

– 2/27/23

Sophora API: 4.15.1. Sophora Client: 4.15.1.

  • Fixed
    SolrMapping ist nicht Thread-Safe – SISI-231 (critical)
  • Fixed
    Abstürze durch unbegrenzten Anstieg der geladenen Klassen – SISI-229 (critical)
  • Fixed
    Hilfsmethode getDocumentUrl(UUID) in Indexfeld-Skripten gibt fälschlicherweise Live-URL bei Working-Collections zurück – SISI-230 (medium)
  • Fixed
    Tasks für default/default-live zuerst erzeugen – SISI-219 (low)
Version 4.4.2

– 2/2/23

Sophora API: 4.14.6. Sophora Client: 4.14.6.

  • Fixed
    Bei großeren Queries bekommt SISI keine Daten – SISI-225 (critical)
  • Fixed
    Veröffentlichung einer Index-Konfiguration aktualisiert nicht die zugehörige Live-Collection – SISI-224 (high)
Version 4.4.1

– 1/30/23

Sophora API: 4.14.6. Sophora Client: 4.14.6.

  • Fixed
    Reindex Query sollte initial nicht beachtet werden – SISI-221 (high)
  • Fixed
    Es darf immer nur eine Leaderin geben – SISI-216 (medium)
  • Improved
    Verwendung von XPath Query anstelle der IQueries – SISI-217 (medium)
Version 4.4.0

– 1/19/23

Sophora API: 4.14.6. Sophora Client: 4.14.6.

  • Fixed
    DuplicateChecker soll Dokumente nicht über die Indexierung hinaus tracken – SISI-212 (high)
  • Fixed
    Grafana Metriken sollen auch mit der lokalen Implementierung funktionieren – SISI-213 (medium)
  • Changed
    Zookeeper ACL Credentials müssen über Umgebungsvariablen konfigurierbar sein – SISI-210 (medium)
Version 4.3.5

– 12/16/22

Sophora API: 4.14.4. Sophora Client: 4.14.4.

  • Improved
    Das Aufsynchronisieren soll Paging für Dokumentsuchen verwenden – SISI-211 (medium)
Version 4.3.4

– 11/7/22

Sophora API: 4.14.3. Sophora Client: 4.14.3.

  • Added
    Neue Metriken für die Anzahl der HIGH- und LOW-Prio Tasks – SISI-200 (medium)
Version 4.3.3

– 11/2/22

Sophora API: 4.14.3. Sophora Client: 4.14.3.

  • Changed
    Performanceoptimierung der Redis Queues – SISI-201 (critical)
    Notes This update replaces the previous single priority queue in Redis with multiple queues.
    To avoid unused data in Redis, we recommend to clear the Redis DB between updates. This is a safe operation. SISI will recreate all pending data in Redis as soon as it is started.
Version 4.3.2

– 10/20/22

Sophora API: 4.14.2. Sophora Client: 4.14.2.

  • Fixed
    Nach Verbindungsabbruch zum Zookeeper/SolrCloud muss ein Reconnect erfolgen – SISI-198 (medium)
  • Fixed
    Bei mehreren SISI-Instanzen müssen alle Caches mindestens so aktuell wie die Queue-Einträge sein – SISI-160 (medium)
  • Changed
    Nutzung von nested documents für die Indexierung von ChildNodes – SISI-192 (medium)
  • Improved
    Detailliertere Task- und Eventqueue Metriken für die Dokumentenindizierung bereitstellen – SISI-196 (medium)
Version 4.3.1

– 7/21/22

Sophora API: 4.12.2. Sophora Client: 4.12.2.

  • Fixed
    Nutzung von DeleteByQueries muss auf ein Minimum reduziert werden – SISI-191 (critical)
Version 4.3.0

– 7/20/22

Sophora API: 4.12.2. Sophora Client: 4.12.2.

  • Improved
    Duplikatsprüfung soll zwischen High- und Low-Priority-Tasks unterscheiden – SISI-180 (critical)
  • Added
    Konfigurierbarkeit der Shards und Replicas einer Collection – SISI-171 (high)
  • Added
    Für das Anlegen von Collections soll ein ConfigSet-Name angegeben werden können – SISI-189 (medium)
    Notes Es ist mit dieser Änderung möglich über die neue Konfigurationsoption ein einheitliches ConfigSet in Solr für alle Sophora Collections zu verwenden. Damit ist eine einheitliche Konfiguration der Collections besonders einfach möglich.
Version 4.2.1

– 6/28/22

Sophora Client: 4.12.0.

  • Changed
    Aktualisierung der Redisson-Dependency auf 3.17.4 – SISI-166 (medium)
Version 4.2.0

– 6/13/22

Sophora Client: 4.11.0.

  • Fixed
    Alle SISI Properties sollen aus der IndexingServerProperties gelesen werden – SISI-181 (medium)
  • Fixed
    Indexierungsaufträge dürfen sich nicht überholen – SISI-77 (medium)
    Notes Important: This update requires a modification to your solr-configuration as described here:
    https://subshell.com/docs/4/indexingservice/indexingservice112.html#Adjusted-solrconfig-xml
Version 4.1.2

– 3/15/22

Sophora API: 4.9.2. Sophora Client: 4.9.2.

  • Fixed
    Metrik zur Bestimmung der Dokumente in Tasks ausbauen – SISI-163 (high)
Version 4.1.1

– 3/3/22

Sophora API: 4.9.2. Sophora Client: 4.9.2.

  • Fixed
    Authentifizierung zu SolrCloud sollte Passwörter mit Sonderzeichen unterstützen – SISI-152 (high)
  • Fixed
    Counter-Elemente in Redis auf HashSet umbauen – SISI-101 (high)
  • Fixed
    Solr-Verbindungsmetrik darf nicht einen falschen Status angeben – SISI-168 (medium)
Version 4.1.0

– 2/2/22

Sophora Client: 4.8.0.

  • Fixed
    Der root Ordner für die solr Konfiguration in Zookeeper muss konfigurierbar sein – SISI-161 (high)
  • Fixed
    Events sollten die Event-Queue nicht dauerhaft blockieren – SISI-154 (high)
  • Fixed
    Metriken für geteilte Daten aus Redis sollten in Granfana nicht summiert werden – SISI-151 (medium)
  • Improved
    Das letzte Synchronisationsdatum soll periodisch bestimmt und in SolrCloud indexiert werden – SISI-144 (medium)
  • Improved
    Solr-Indexe sollten gecached werden – SISI-136 (medium)
Version 4.0.0

– 12/1/21

Sophora Client: 4.7.0.

  • Changed
    FilterSkripte für Offline-Collections brauchen die gleichen Bindings wie Custom Fields – SISI-148 (medium)

Last modified on 7/3/23

The content of this page is licensed under the CC BY 4.0 License. Code samples are licensed under the MIT License.

Icon