Merge pull request #39 from PCJones/develop

Release 0.6

README.md

@@ -1,15 +1,14 @@
 # UmlautAdaptarr
 
-## English description coming soon
+ A tool to work around Sonarr, Radarr, Lidarr and Readarrs problems with foreign languages.
+
+## Detailed English description coming soon
 
 ## Beschreibung
-Wer möchte kann den UmlautAdaptarr jetzt gerne testen! Über Feedback würde ich mich sehr freuen!
-
-Es sollte mit allen *arrs funktionieren, hat aber nur bei Sonarr, Readarr und Lidarr schon Auswirkungen (abgesehen vom Caching).
 
 UmlautAdaptarr löst mehrere Probleme:
-- Releases mit Umlauten werden grundsätzlich nicht korrekt von den *Arrs importiert
+- Releases mit Umlauten werden grundsätzlich nicht korrekt von den *arrs importiert
-- Releases mit Umlauten werden oft nicht korrekt gefunden (*Arrs suchen nach "o" statt "ö" & es fehlt häufig die korrekte Zuordnung zur Serie/zum Film beim Indexer)
+- Releases mit Umlauten werden oft nicht korrekt gefunden (*arrs suchen nach "o" statt "ö" & es fehlt häufig die korrekte Zuordnung zur Serie/zum Film beim Indexer)
 - Sonarr & Radarr erwarten immer den englischen Titel von https://thetvdb.com/ bzw. https://www.themoviedb.org/. Das führt bei deutschen Produktionen oder deutschen Übersetzungen oft zu Problemen - falls die *arrs schon mal etwas mit der Meldung `Found matching series/movie via grab history, but release was matched to series by ID. Automatic import is not possible/` nicht importiert haben, dann war das der Grund.
 - Releases mit schlechtem Naming (z.B. von der Group TvR die kein "GERMAN" in den Releasename tun) werden korrigiert, so dass Sonarr&Radarr diese korrekt erkennen (optional)
 - Zusätzlich werden einige andere Fehler behoben, die häufig dazu führen, dass Titel nicht erfolgreich gefunden, geladen oder importiert werden.
@@ -24,21 +23,20 @@ Einige Beispiele finden sich [weiter unten](https://github.com/PCJones/UmlautAda
 
 | Feature                                                           | Status        |
 |-------------------------------------------------------------------|---------------|
-| Prowlarr & NZB Hydra Support                                                    | ✓|
+| Prowlarr & NZB Hydra Support                                      |✓              |
-| Sonarr Support                                         | ✓             |
+| Sonarr Support                                                    |✓              |
-| Lidarr Support                                                    | ✓|
+| Lidarr Support                                                    |✓              |
-| Readarr Support                                                   | ✓       |
+| Readarr Support                                                   |✓              |
-| Releases mit deutschem Titel werden erkannt   | ✓             |
+| Releases mit deutschem Titel werden erkannt                       |✓              |
-| Releases mit TVDB-Alias Titel werden erkannt  | ✓             |
+| Releases mit TVDB-Alias Titel werden erkannt                      |✓              |
-| Korrekte Suche und Erkennung von Titel mit Umlauten                            | ✓             |
+| Korrekte Suche und Erkennung von Titel mit Umlauten               |✓              |
-| Anfragen-Caching für 12 Minuten zur Reduzierung der API-Zugriffe   | ✓             |
+| Anfragen-Caching für 12 Minuten zur Reduzierung der API-Zugriff   |✓              |
-| Usenet (newznab) Support                                          |✓|
+| Usenet (newznab) Support                                          |✓              |
-| Torrent (torznab) Support                                         |✓|
+| Torrent (torznab) Support                                         |✓              |
-| Support von mehreren *arr-Instanzen des gleichen Typs (z.B. 2x Sonarr)                               | ✓             
+| Support von mehreren *arr-Instanzen des gleichen Typs (z.B. 2x Sonarr)|✓          |             
-| Releases mit mit schlechtem Naming werden korrekt umbenannt (optional) | in Arbeit             |
+| Releases mit mit schlechtem Naming werden korrekt umbenannt (optional) | in Arbeit|
 | Radarr Support                                                    | in Arbeit     |
 | Webinterface                                                      | Geplant       |
-| Prowlarr Unterstützung für "DE" SceneNZBs Kategorien              | Geplant       |
 | Unterstützung weiterer Sprachen neben Deutsch                     | Geplant       |
 | Wünsche?                                                          | Vorschläge?   |
 
@@ -48,13 +46,14 @@ Momentan ist Docker dafür nötig, wer kein Docker nutzt muss sich noch etwas ge
 
 [Link zum Docker Image](https://hub.docker.com/r/pcjones/umlautadaptarr)
 
-Nicht benötigte Umgebungsvariablen, z.B. wenn Readarr oder Lidarr nicht benötigt werden, können entfernt werden.
+Nicht benötigte Umgebungsvariablen, z.B. falls Readarr oder Lidarr nicht genutzt werden, können entfernt werden.
 
 ### Konfiguration in Prowlarr (**empfohlen**)
 Das ist die **empfohlene** Methode um den UmlautAdaptarr einzurichten. Sie hat den Vorteil, dass es, sofern man mehrere Indexer nutzt, keinen Geschwindigkeitsverlust bei der Suche geben sollte.
 
-1) In Prowlarr: Settings>Indexers bzw. Einstellungen>Indexer öffnen
+1) Setze die benötigten [Docker Umgebungsvariablen](https://hub.docker.com/r/pcjones/umlautadaptarr) in deiner docker-compose Datei bzw. in deinem docker run Befehl
-2) Lege einen neuen HTTP-Proxy an:
+2) In Prowlarr: Settings>Indexers bzw. Einstellungen>Indexer öffnen
+3) Lege einen neuen HTTP-Proxy an:
 
 ![Image](https://github.com/PCJones/UmlautAdaptarr/assets/377223/b97418d8-d972-4e3c-9d2f-3a830a5ac0a3)
 
@@ -63,19 +62,20 @@ Das ist die **empfohlene** Methode um den UmlautAdaptarr einzurichten. Sie hat d
 - Tag: `umlautadaptarr`
 - Host: Je nachdem, wie deine Docker-Konfiguration ist, kann es sein, dass du entweder `umlautadaptarr` oder `localhost`, oder ggf. die IP des Host setzen musst. Probiere es sonst einfach aus, indem du auf Test klickst.
 - Die Username- und Passwort-Felder können leergelassen werden.
-3) Gehe zur Indexer-Übersichtsseite
+4) Gehe zur Indexer-Übersichtsseite
-4) Für alle Indexer/Tracker, die den UmlautAdaptarr nutzen sollen:
+5) Für alle Indexer/Tracker, die den UmlautAdaptarr nutzen sollen:
 
 ![grafik](https://github.com/PCJones/UmlautAdaptarr/assets/377223/3daea3f1-7c7b-4982-84e2-ea6a42d90fba)
 
   - Füge den `umlautadaptarr` Tag hinzu
   - **Wichtig:** Ändere die URL von `https` zu `http`. (Dies ist erforderlich, damit der UmlautAdaptarr die Anfragen **lokal** abfangen kann. **Ausgehende** Anfragen an den Indexer verwenden natürlich weiterhin https).
-5) Klicke danach auf `Test All Indexers` bzw `Alle Indexer Testen`. Falls du irgendwo noch `https` statt `http` stehen hast, sollte in den UmlautAdaptarr logs eine Warnung auftauchen. Mindestens solltest du aber noch ein zweites Mal alle Indexer durchgehen und überprüfen, ob überall `http` eingestellt ist - Indexer, bei denen noch `https` steht, werden nämlich einwandfrei funktionieren - allerdings ohne, dass der UmlautAdaptarr bei diesen wirken kann.
+6) Klicke danach auf `Test All Indexers` bzw `Alle Indexer Testen`. Falls du irgendwo noch `https` statt `http` stehen hast, sollte in den UmlautAdaptarr logs eine Warnung auftauchen. Mindestens solltest du aber noch ein zweites Mal alle Indexer durchgehen und überprüfen, ob überall `http` eingestellt ist - Indexer, bei denen noch `https` steht, werden nämlich einwandfrei funktionieren - allerdings ohne, dass der UmlautAdaptarr bei diesen wirken kann.
 
 ### Konfiguration in Sonarr/Radarr oder Prowlarr ohne Proxy
 Falls du kein Prowlarr nutzt oder nur 1-3 Indexer nutzt, kannst du diese alternative Konfigurationsmöglichkeit nutzen.
 
-Dafür musst du einfach nur alle Indexer, bei denen der UmlautAdaptarr greifen soll, bearbeiten:
+1) Setze die benötigten [Docker Umgebungsvariablen](https://hub.docker.com/r/pcjones/umlautadaptarr) in deiner docker-compose Datei bzw. in deinem docker run Befehl
+2) Bearbeite alle Indexer, bei denen der UmlautAdaptarr greifen soll, wie folgt:
 
 Am Beispiel von sceneNZBs:
 
@@ -132,3 +132,7 @@ Für andere Spendenmöglichkeiten gerne auf Discord oder Telegram melden - danke
 - TV Metadata source: https://thetvdb.com
 - Movie Metadata source: https://themoviedb.org
 - Licenses: TODO
+
+## Star History
+
+[![Star History Chart](https://api.star-history.com/svg?repos=pcjones/umlautadaptarr&type=Date)](https://star-history.com/#pcjones/umlautadaptarr&Date)

UmlautAdaptarr/Program.cs

@@ -1,7 +1,6 @@
 using System.Net;
 using Serilog;
 using Serilog.Filters;
-using UmlautAdaptarr.Options;
 using UmlautAdaptarr.Routing;
 using UmlautAdaptarr.Services;
 using UmlautAdaptarr.Services.Factory;
@@ -17,16 +16,7 @@ internal class Program
         // add option to sort by nzb age
         var builder = WebApplication.CreateBuilder(args);
         var configuration = builder.Configuration;
-
+        ConfigureLogger(configuration);
-        // TODO workaround to not log api keys
-        Log.Logger = new LoggerConfiguration()
-            .ReadFrom.Configuration(configuration)
-            .WriteTo.Console(outputTemplate: "[{Timestamp:yyyy-MM-dd HH:mm:ss} {Level:u3}] {Message:lj}{NewLine}{Exception}")
-            .Filter.ByExcluding(Matching.FromSource("System.Net.Http.HttpClient"))
-            .Filter.ByExcluding(Matching.FromSource("Microsoft.Extensions.Http.DefaultHttpClientFactory"))
-            //.Enrich.With(new ApiKeyMaskingEnricher("appsettings.json")) // TODO - Not working currently
-            .CreateLogger();
-
 
         builder.Services.AddSerilog();
 
@@ -99,4 +89,24 @@ internal class Program
             new { t = new TRouteConstraint("search") });
         app.Run();
     }
+
+    private static void ConfigureLogger(ConfigurationManager configuration)
+    {
+        Log.Logger = new LoggerConfiguration()
+            .ReadFrom.Configuration(configuration)
+            .WriteTo.Console(outputTemplate: "[{Timestamp:yyyy-MM-dd HH:mm:ss} {Level:u3}] {Message:lj}{NewLine}{Exception}")
+
+#if RELEASE
+                .Filter.ByExcluding(Matching.FromSource("Microsoft.AspNetCore.Mvc"))
+                .Filter.ByExcluding(Matching.FromSource("Microsoft.AspNetCore.Routing"))
+                .Filter.ByExcluding(Matching.FromSource("Microsoft.AspNetCore.Diagnostics"))
+                .Filter.ByExcluding(Matching.FromSource("Microsoft.AspNetCore.Hosting"))
+#endif
+
+            // TODO workaround to not log api keys
+            .Filter.ByExcluding(Matching.FromSource("System.Net.Http.HttpClient"))
+            .Filter.ByExcluding(Matching.FromSource("Microsoft.Extensions.Http.DefaultHttpClientFactory"))
+            //.Enrich.With(new ApiKeyMaskingEnricher("appsettings.json")) // TODO - Not working currently
+            .CreateLogger();
+    }
 }

UmlautAdaptarr/Services/HttpProxyService.cs

@@ -12,11 +12,13 @@ namespace UmlautAdaptarr.Services
         private readonly IHttpClientFactory _clientFactory;
         private readonly HashSet<string> _knownHosts = [];
         private readonly object _hostsLock = new();
+        private readonly IConfiguration _configuration;
         private static readonly string[] newLineSeparator = ["\r\n"];
 
-        public HttpProxyService(ILogger<HttpProxyService> logger, IHttpClientFactory clientFactory)
+        public HttpProxyService(ILogger<HttpProxyService> logger, IHttpClientFactory clientFactory, IConfiguration configuration)
         {
             _logger = logger;
+            _configuration = configuration;
             _clientFactory = clientFactory;
             _knownHosts.Add("prowlarr.servarr.com");
         }
@@ -91,7 +93,10 @@ namespace UmlautAdaptarr.Services
                     }
                 }
 
-                var modifiedUri = $"http://localhost:5005/_/{uri.Host}{uri.PathAndQuery}";  // TODO read port from appsettings?
+                var url = _configuration["Kestrel:Endpoints:Http:Url"];
+                var port = new Uri(url).Port;
+
+                var modifiedUri = $"http://localhost:{port}/_/{uri.Host}{uri.PathAndQuery}";
                 using var client = _clientFactory.CreateClient();
                 var httpRequestMessage = new HttpRequestMessage(HttpMethod.Get, modifiedUri);
                 httpRequestMessage.Headers.Add("User-Agent", userAgent);

UmlautAdaptarr/Services/TitleMatchingService.cs

@@ -196,9 +196,9 @@ namespace UmlautAdaptarr.Services
                     // Workaround for the rare case of e.g. "Frieren: Beyond Journey's End" that also has the alias "Frieren"
                     if (expectedTitle!.StartsWith(variation, StringComparison.OrdinalIgnoreCase))
                     {
-                        // See if we already matched the whole title by checking if S01E01 pattern is coming next to avoid false positives
+                        // See if we already matched the whole title by checking if S01E01/S2024E123 pattern is coming next to avoid false positives
                         // - that won't help with movies but with tv shows
-                        var seasonMatchingPattern = $"^{separator}S\\d{{1,2}}E\\d{{1,2}}";
+                        var seasonMatchingPattern = $"^{separator}S\\d{{1,4}}E\\d{{1,4}}";
                         if (!Regex.IsMatch(suffix, seasonMatchingPattern))
                         {
                             logger.LogWarning($"TitleMatchingService - Didn't rename: '{originalTitle}' because the expected title '{expectedTitle}' starts with the variation '{variation}'");
@@ -314,7 +314,7 @@ namespace UmlautAdaptarr.Services
             {
                 return "book";
             }
-            else if (category == "3000" || category.StartsWith("Audio"))
+            else if (category == "3000" || category.StartsWith("Audio", StringComparison.OrdinalIgnoreCase))
             {
                 return "audio";
             }

UmlautAdaptarr/Validator/GlobalInstanceOptionsValidator.cs

@@ -38,13 +38,34 @@ public class GlobalInstanceOptionsValidator : AbstractValidator<GlobalInstanceOp
         {
             try
             {
-                var request = WebRequest.Create(url);
+                // TODO use HttpClient here
+                var request = (HttpWebRequest)WebRequest.Create(url);
+                request.AllowAutoRedirect = false;
                 request.Timeout = 3000;
                 using var response = (HttpWebResponse)request.GetResponse();
                 reachable = response.StatusCode == HttpStatusCode.OK;
                 if (reachable)
+                {
                     break;
                 }
+                // If status is 301/302 (Found), follow the redirect manually
+                else if (response.StatusCode == HttpStatusCode.MovedPermanently || response.StatusCode == HttpStatusCode.Found)
+                {
+                    var redirectUrl = response.Headers["Location"];  // Get the redirect URL
+                    if (!string.IsNullOrEmpty(redirectUrl))
+                    {
+                        // Create a new request for the redirected URL
+                        var redirectRequest = (HttpWebRequest)WebRequest.Create(redirectUrl);
+                        redirectRequest.Timeout = 3000;
+                        using var redirectResponse = (HttpWebResponse)redirectRequest.GetResponse();
+                        reachable = redirectResponse.StatusCode == HttpStatusCode.OK;
+                        if (reachable)
+                        {
+                            break;
+                        }
+                    }
+                }
+            }
             catch
             {
 

docker-compose.yml

@@ -23,3 +23,12 @@ services:
       - LIDARR__ENABLED=false
       - LIDARR__HOST=http://localhost:8686
       - LIDARR__APIKEY=APIKEY
+      ### example for multiple instances of same type
+      #- SONARR__0__NAME=NAME 1 (optional)
+      #- SONARR__0__ENABLED=false
+      #- SONARR__0__HOST=http://localhost:8989
+      #- SONARR__0__APIKEY=APIKEY
+      #- SONARR__1__NAME=NAME 2 (optional)
+      #- SONARR__1__ENABLED=false
+      #- SONARR__1__HOST=http://localhost:8989
+      #- SONARR__1__APIKEY=APIKEY