AI en Live TV-tests voor een toonaangevende telecomprovider
Uitdaging
Duizenden dagelijkse Live TV-tests zorgden voor veel handmatige werkzaamheden, waarbij zelfs een klein foutenpercentage vertragingen veroorzaakte en afhankelijk was van specialistische kennis.
Aanpak
Wij AI is toegepast om opnames automatisch te analyseren, boeken en screenshots, die duidelijke en bruikbare inzichten bieden voor elke test.
Resultaten
Het systeem verwerkt nu 350 tot 400 tests per dag met een nauwkeurigheid van 95 procent, snel en efficiënt. identificeren Gedegen oorzaken en het verminderen van handmatige inspanningen.
Uitdaging: Testfouten vertragen QA
Toonaangevende telecom- en mediabedrijf
Een toonaangevende aanbieder van telecommunicatie en media biedt live-tv en on-demand diensten via mobiele apparaten en verbonden apparaten. Om de kwaliteit van deze ervaring te waarborgen, voert de organisatie grootschalige geautomatiseerde tests uit op alle platforms.
Een kritische uitdaging ontstond bij het testen Live TV afspelen op Android-apparaten. Af en toe verscheen er op het apparaat een foutmelding in plaats van videocontent. Het grootste probleem was niet één enkel type storing, maar de enorme hoeveelheid resultaten die moesten worden gevalideerd. Duizenden geautomatiseerde uitvoeringen worden dagelijks uitgevoerd, en zelfs een laag foutenpercentage betekent een aanzienlijke hoeveelheid handmatige inspanning.
Fouten kunnen voortkomen uit verschillende oorzaken, waaronder onverwachte inhoud, nieuwe applicatieversies, updates van het DRM-systeem (Digital Rights Management), wijzigingen in het account of visuele discrepanties. Het onderzoeken van deze fouten vereiste dat ingenieurs handmatig logs doorzochten, van USB-opnames naar camerabeelden wisselden en onnauwkeurige beelden interpreteerden. Dit proces was tijdrovend en was sterk afhankelijk van specialistische kennis, waardoor het beheer van grootschalige validatie de grootste uitdaging was.
Onze aanpak: testanalyse met AI-ondersteuning
Resillion heeft zijn dienstverlening verbeterd Test-as-a-Service (TaaS) platform met Analyseren van testresultaten met behulp van AI, Op basis van eerdere innovatiewerkzaamheden met Google.
De oplossing combineert:
- Geautomatiseerde interactie met echte apparaten via USB
- Extern camera-opname voor het observeren van DRM-geproteerde afspeelactiviteiten
- AI-analyse van opnames, screenshots, logs en tijdlijnen
Een AI-geactiveerde analyse-laag Deze functie maakt het mogelijk om gefaalde testuitvoeringen automatisch te interpreteren en duidelijke, handvatbare inzichten te presenteren.
Belangrijke functies zijn onder andere:
Stapbeschrijvingen die door AI zijn gegenereerd
Elke teststap wordt samengevat om de verwachte versus de werkelijke werking te bevestigen.
Dynamische foutdetectie
In dit geval detecteerde en extrahierte de AI de foutmelding op het scherm uit de camerabeelden:
Duidelijke rationale en bewijzen
Relevante tijdstempels, foutmeldingen en de redenen hiervoor worden getoond onmiddellijk, waarmee gebruikers direct naar de juiste artefacten worden geleid.
Vergelijking van de resultaten van de twee producten
Het oorspronkelijke automatiseringsresultaat wordt gepresenteerd naast de analyse van de AI, waardoor ambiguïteit wordt weggenomen en de validatie wordt versneld.
Voorbeelden
Echte mislukkingen
DRM-licentiefouten, afspeelfouten, laadtijden, geblokkeerde flows
Milieuproblemen
Network probleem, geluid van het apparaat, OS-problemen
Automatiseringsfouten
Element niet gevonden, losse tests, scriptfouten, validatieproblemen, ontbrekende aannames
Problemen met gegevens
Fout in gebruikersstatus, onjuiste configuratie, ongeldig/niet herkendsEd Live-gegevens
Foutieve positieven
Foutmeldingen bij bewegingsdetectie, navigatieproblemen, Onjuiste KPI-metingen, mislukte aannames
Foutieve negatieve resultaten
Vermiste beweringen, verkeerd geïnterpreteerde afspeelopties
Wat vroeger een onduidelijke mislukking was, is nu een duidelijk succes. nu veranderde binnen enkele seconden in een duidelijke diagnose.
Resultaten: Sneller detectie van de oorzaak
De analyse van de testresultaten vindt nu plaats op Nauwkeurigheid van 95%, Met Resillion worden monitoring, training en AI-mogelijkheden geïntegreerd in de werkstromen van de klant en wordt het team hierbij ondersteund.
De AI-gebaseerde oplossing biedt duidelijke operationele en zakelijke voordelen:
Snellere onderzoek naar storingen
Technici gaan rechtstreeks naar de oorzaak in plaats van handmatig. controle opnames en logboeken.
Verminderde afhankelijkheid van specialistische kennis
Duidelijke AI-verklaringen toestaan Het bredere team om te ondersteunen met de Testanalyse zonder uitgebreide training of overdrachten.
Snellere probleemoplossing
Iedereen fouten zijn gespot onmiddellijk, Helping Teams richten zich op de juiste systemen en eigenaren.
Zeer schaalbaar en kostenefficiënt
- De dagelijkse analyse verwerkt gemiddeld 350 tot 400 testresultaten, en op druktere dagen kan dit oplopen tot 600.
- De analyse is voltooid in minuten door horizontale schaalverdeling.
- De operationele kosten bedragen ongeveer £20 per dag., met potentieel voor verdere kostenverlaging naarmate de modeloptimalisaties doorgaan.
Menselijke validatie is nog steeds Een onderdeel van de workflow vandaag de dag, met een zicht op automatische in de toekomst.
Waarom Resillion
Resillion beschikt over ruime ervaring met het testen van mediakwaliteit, omgevingen met DRM-bescherming en grootschalige automatisering. Deze expertise stelt ons in staat om problemen op te lossen die traditionele testautomatisering niet aankan.
Door onze Test-as-a-Service-platform, AI-gebaseerde analyse en cloudgebaseerde schaalbaarheid te combineren, helpen we klanten om snel hoogwaardige en betrouwbare services te leveren — zelfs wanneer platforms en DRM-beschermingen veranderen.
