Hoe u de beste testtool voor automatisering en testbeheertool selecteert

In het artikel Verbetering van het testproces , heb je de verbeterpunten geleerd van het project Guru99 Bank. Het gebruikt geautomatiseerd testen in plaats van: Handmatig testen . Maar teamleden kunnen je vragen...

Het antwoord op deze vraag is een uitdaging omdat er veel factoren zijn waarmee rekening moet worden gehouden:

  • U wilt uw testactiviteiten ondersteunen door middel van een softwaretool, maar u kent geen tools die momenteel op de markt beschikbaar zijn
  • Welk type tool past het beste bij de behoefte en het projectbudget?
  • Wie in het team heeft de vaardigheden om de tool te gebruiken nadat je deze hebt gekocht

Deze tutorial helpt je de bovenstaande vragen te beantwoorden

Het belang van de selectie van softwaretesttools

Succes in elke testautomatisering hangt af van het identificeren van de juiste tool voor automatisering. Het selecteren van de juiste testtool voor uw project is een van de beste manieren om het projectdoel te bereiken. Het volgende voorbeeld laat u het voordeel zien van de selectie van testtools:

In het project Guru99 Bank heeft het projectteam, om de moeite van het testen te besparen, besloten om een ​​geautomatiseerde testtool te gebruiken voor de uitvoering van de test. Na veel overleggen heeft uw team een ​​geschikte tool voor het project gekozen.

Een maand later kreeg je het rapport van het projectteam over deze tool

De resultaten zijn geweldig. De nieuwe geautomatiseerde tool verdubbelde de testproductiviteit. Het betekent dat we hebben gered vijftig% kosten van testuitvoering

Dit is een voorbeeld van het voordeel van het gebruik van de testtool in het project. Door de juiste testtool te selecteren, kunt u de projectproductiviteit verbeteren en projectkosten besparen.

Type testtools

Er zijn veel soorten testtools waarmee Test Manager rekening kan houden bij het selecteren van de testtools.

Open source-tools

Open source-tools zijn het programma waarin de broncode is openlijk gepubliceerd voor gebruik en/of wijziging van het oorspronkelijke ontwerp, gratis.

Open-sourcetools zijn beschikbaar voor bijna elke fase van het testproces, van: Testgeval management om Defect volgen. Vergeleken met commerciële tools hebben Open source-tools mogelijk minder functies.

Commerciële hulpmiddelen

Commerciële tools zijn de software die wordt geproduceerd voor verkoop of voor commerciële doeleinden.

Commerciële tools hebben meer ondersteuning en meer functies van een leverancier dan open source-tools.

Aangepaste hulpmiddelen

In sommige testprojecten hebben de testomgeving en het testproces speciale kenmerken. Geen enkele open-source of commerciële tool kan aan de eis voldoen. Daarom moet de testmanager rekening houden met de ontwikkeling van de aangepaste tool.

Voorbeeld: U wilt een testtool vinden voor het project Guru99 Bank. U wilt dat deze tool aan een aantal specifieke vereisten van het project voldoet.

Analyse haalbaarheid automatisering

Terug naar het bovenstaande voorbeeld, het projectteam besloot een aangepaste tool te ontwikkelen die aan de projectvereisten kan voldoen. Stel dat ze 100 testgevallen hebben gekregen om te automatiseren en ze schatten dat ze 5 dagen nodig hebben om een ​​tool te ontwikkelen die kan automatiseren alle van die testgevallen.

Hier is het resultaat van hun werk

Net als in het bovenstaande scenario is het probleem dat de testtool niet alle testgevallen van testspecificatie kan automatiseren. Het betekent dat Niet alles toepassingsfuncties kunnen zijn: diepgaand getest met de testtool.

Als de functionaliteit van de te testen applicatie verandert vaak of is ook ingewikkeld , is het moeilijk om testautomatisering te creëren voor alle de toepassingsfuncties, omdat elke tool zijn eigen heeft beperkingen .

Als u niet in een dergelijke situatie wilt komen, moet u, voordat u de testtool selecteert, de testgevallen analyseren en beslissen welke testgevallen moeten worden geautomatiseerd en welke niet. Dit is de Analyse haalbaarheid automatisering werkzaamheid.

Automatisering Haalbaarheidsanalyse is de zeer belangrijke bijdrage aan het testen. In deze analyse moet u controleren of de te testen applicatie is gekwalificeerd voor geautomatiseerde testen.

Enkele factoren waarmee u rekening moet houden:

Om meer te weten over deze factoren, kunt u een checklist gebruiken die in dit artikel is opgenomen

Selectieproces gereedschap

Om de meest geschikte testtool voor het project te selecteren, moet de testmanager het onderstaande selectieproces voor tools volgen:

Stap 1) Identificeer de vereiste voor gereedschappen

Hoe kun je een testtool selecteren als je niet weet wat je zoekt?

U kunt uw vereisten voor testtools nauwkeurig identificeren. Alle vereisten moeten zijn: gedocumenteerd en beoordeeld door projectteams en het bestuur.

Beschouw het volgende voorbeeld: U wilt de testtool voor het Guru99 Bank-project vinden. Wat verwacht je van het hulpmiddel?

A) De tool kan de testgevallen automatisch genereren

B) De tool kan het testresultaat in het gewenste formaat genereren

C) De tester kan selecteren welke testgevallen moeten worden uitgevoerd met de gegeven set testgegevens

D) De tool kan de testcase automatisch uitvoeren

E) De tool kan testoutputvalidatie beoordelen en uitvoeren en testgevallen als geslaagd of niet beoordelen

F) Alle boven de items:


Niet correct
Juist

Stap 2) Evalueer de tools en leveranciers

Nadat de vereisten van de tool zijn vastgesteld, moet de testmanager:

  • Analyseer de commerciële en open source-tools die op de markt beschikbaar zijn, op basis van de projectvereiste.
  • Maak een gereedschapslijst die het beste aan uw criteria voldoet
  • Een factor waarmee u rekening moet houden, is: verkoper . Houd bij het nemen van uw beslissing rekening met de reputatie van de leverancier, de ondersteuning na verkoop, de frequentie van het bijwerken van het gereedschap, enz.
  • Evalueer de kwaliteit van de tool door de proefgebruik & starten van een pilot . Veel leveranciers stellen vaak proefversies van hun software beschikbaar om te downloaden

Stap 3) Schat kosten en baten

Om ervoor te zorgen dat de testtool nuttig is voor het bedrijfsleven, moet de testmanager: evenwicht de volgende factoren:

TOT kosten-batenanalyse moet worden uitgevoerd voordat u een tool aanschaft of bouwt

Voorbeeld: na veel tijd te hebben besteed aan het onderzoeken van testtools, vond het projectteam de perfecte testtool voor de project Guru99 Bank-website. De evaluatieresultaten concludeerden dat deze tool:

  • Dubbele de huidige productiviteit van testuitvoering
  • Verminderen de managementinspanning met 30%

Na overleg met de softwareleverancier ontdekte u echter dat de kosten van deze tool is te hoog in vergelijking met de waarde en voordeel dat het kan bijdragen aan het teamwerk.

In een dergelijk geval is de evenwicht tussen kosten en baten van de tool kan de uiteindelijke beslissing beïnvloeden.

Stap 4) Neem de definitieve beslissing

Om de definitieve beslissing te nemen, moet de testmanager beschikken over:

  • Heb een sterk bewustzijn van het gereedschap. Het betekent dat je moet begrijpen wat de sterk punten en de zwak punten van het gereedschap
  • Evenwicht kosten en baten.

Zelfs als u uren besteedt aan het lezen van softwarehandleidingen en leveranciersinformatie, moet u de tool misschien nog steeds in uw werkelijke werkomgeving uitproberen voordat u de licentie koopt.

U moet de vergadering hebben met het projectteam, consultants om de diepere kennis van de tool te krijgen.

Uw beslissing kan een negatief effect hebben op het project, het testproces en de bedrijfsdoelen; je zou een goede tijd moeten besteden om er goed over na te denken.

Dingen om te overwegen bij het kiezen van een testbeheertool

Met het brede scala aan beschikbare keuzes, is het gemakkelijk om in de war te raken tijdens het winkelen voor een testbeheertool. Dit is een onpartijdige gids om u te helpen de beste tool te vinden als per je behoeften.

In deze gids geef ik u de 5 belangrijkste maar vaak genegeerde parameters bij het selecteren van uw testbeheertool. Maar voordat ik begin, laat me herhalen-

Vergelijk Apple en Sinaasappels niet

Het heeft geen zin om een ​​SaaS-tool van $ 30 per maand te vergelijken met een commerciële tool van $ 6000 als je budget dit niet toelaat. Het is belangrijk dat u uw tool filtert met een lijst op basis van: BEGROTING eerst. Als er een budget is, open source is een goede optie. Hoewel commerciële tools duur zijn, bieden ze geweldige ondersteuning en zijn ze gemakkelijk te gebruiken met veel trainingsmateriaal.

Het volgende dat u moet berekenen, zijn de kosten voor uw licentie. Daarvoor moet je een schatting maken van de duur voor het voltooien van de test en welke methode je kiest voor het testen, dit zal je helpen om erachter te komen welk model in je budget past, zoals of je wilt betalen als per geregistreerde gebruiker, gelijktijdige gebruiker of permanente gebruiker . Gewoonlijk zijn aanhoudende of eenmalige kosten hoger vanwege de kapitaaluitgaven. Voor bepaalde software heeft u een runtime-licentie nodig. Niet alle leveranciers ondersteunen runtime-licenties, dus u moet ook rekening houden met de kosten van runtime-licenties als u overweegt om op verschillende machines te installeren.

Zodra u uw keuzes hebt gedestilleerd op basis van budget, zijn hier 5 zeer belangrijke parameters om uw testbeheertools te vergelijken:

Tip #1 Testbeheertool moet de productiviteit verbeteren

Testteams worden geconfronteerd met grote uitdagingen om gelijke tred te houden met snelle technologische veranderingen en de noodzaak van testen op meerdere platforms (zowel browsers als apparaten). Aangezien handmatig testen het grootste deel van de testtijd in beslag neemt, is een manier om met deze uitdaging om te gaan het opvoeren van de automatisering. Maar er zijn nog andere gebieden om de efficiëntie van een tool te verbeteren, waaronder effectief testlab/gegevensbeheer, releasebeheer en inzichtelijke rapportage. ChoIt met de juiste testbeheertool kan enorm helpen bij het verbeteren van deze parameters.

Laten we eens kijken wat er vanuit productiviteitsoogpunt vereist is van een testbeheertool:

Granulariteit van testinformatie

De testbeheertool moet gedetailleerde informatierapporten bevatten met betrekking tot het testproces. Bij het mislukken van een testcase is het bijvoorbeeld altijd handig om te weten bij welke stap de test is mislukt, in plaats van te weten dat de testcase als geheel is mislukt. Welke kleine wijzigingen er ook zijn aangebracht tijdens het testen, de testbeheertool moet de desbetreffende teamleden informeren over de wijzigingen. Voor een gemakkelijke follow-up en snelle actie moet het ook een auditspoor van wijzigingen bijhouden, inclusief volledige versiebeheer van testgevallen. De testbeheertool moet ook de testresultaten opslaan als een sessie en moet de mogelijkheid hebben om de testrunresultaten te vergelijken. De andere functies die van een standaard testbeheertool worden verwacht, zijn: documenteren van teststrategie, plannen van testuitvoering, creëren van defecten, koppelen van verhalen, enz. Een video-uploadfunctie en API-ondersteuning zou een kers op de taart zijn.

Releasebeheer volgen (DevOps)

Softwarereleases zijn complex met meerdere activiteiten (zoals het volgen van de buildversie, coördinatie van het team en transparantie van releases) die allemaal tegelijkertijd plaatsvinden. Een goede tool voor testbeheer moet een robuuste traceerfunctie voor releasebeheer hebben die de lijst bijhoudt van de software die wordt getest en vrijgegeven, zodat deze niet in conflict komt met andere testartefacten. Het moet ook in staat zijn om alle projectartefacten in één omgeving te beheren.

De testmanagementtool moet een eenduidig ​​beeld van de eisen bieden voor alle belanghebbenden. Samenwerking met stakeholders garandeert dat de juiste eisen worden vastgelegd. De tool moet de verbanden tussen andere ontwikkelmiddelen en -vereisten kunnen traceren.

Voor gedistribueerde teams moet het een enkele gedeelde repository bieden om samen te werken en vereisten te delen, gekoppelde defecten te evalueren en hun relatie met tests te begrijpen.

Voor kwaliteit en consistentie moet uw testbeheertool standaardisatie afdwingen.

Rapportage

Het is een chaos als uw testteam weet hoeveel defecten er in de release openstaan, maar niet hoe lang het gaat duren om het op te lossen. Om de testactiviteiten te bewaken, zijn testingenieurs sterk afhankelijk van de rapporten die worden gegenereerd door de testbeheertool. Een betrouwbare tool voor testbeheer zou de volgende informatie in hun rapporten moeten leveren, zoals: voortgang van het testplan, ontwerpstatus van testcase, testcase mislukt en geslaagd, teststatus per suites, teststatus per gebied, te automatiseren testcase, enzovoort.

Uw testbeheertool moet volledig inzicht bieden in de activiteiten van ontwikkelaars en levenscyclusprocessen, van vereistenbeheer tot het testen en oplossen van defecten.

Een goede tool voor testbeheer moet de volgende kenmerken bevatten:

  • Grafiek en dashboard moeten inzicht geven in hoeveel van uw geautomatiseerde tests zijn uitgevoerd of in afwachting van uitvoering
  • Moet gemeenschappelijke testkenmerken benadrukken, zoals het aantal testgevallen dat is geslaagd/mislukt/overgeslagen, gebruikersbelasting, enz.
  • Beslis over de gereedheid van elke release
  • Bekijk uw geautomatiseerde testruns samen met handmatige testresultaten

Tip #2 Agile Ondersteuning

De vraag naar agile in de huidige markt neemt toe en wordt elke dag groter. Het is belangrijk dat je testmanagementtool de agile methodiek ondersteunt. In Agile zijn de vereisten veranderlijk en worden ze stapsgewijs ingevuld, uw testbeheertool moet aan dergelijke vereisten kunnen voldoen. De agile testmanagementtool van uw keuze moet een diepgaand partnerschap tussen ontwikkelaars, testers en andere belanghebbenden bevorderen (basisprincipe van agile).

De Agile-tool voor testbeheer zou moeten ondersteunen:

  • Verhalen maken
  • Schatting
  • Sprint backlog planning
  • Snelheidsgrafieken en andere rapporten enz.
  • Scrum en Kanban

In een Agile-omgeving zou het vergelijken van testruns door testbeheertool productief zijn als u kijkt naar veranderingen in defectpercentages per iteratie. Ook voor Agile moet de testbeheertool de productrelease bijhouden voor elke iteratie en achterstand

Tip #3 Externe integratie

Geautomatiseerde uitvoering van testcases kan veel last van testingenieurs verminderen. U moet een testbeheertool selecteren die gemakkelijk kan worden geïntegreerd met: automatiseringstools . Zoek naar de mogelijkheid om testscripts te beheren en test zowel lokaal als op de externe host te plannen en te starten. Ook de mogelijkheid om automatiseringstestresultaten op te slaan in de testbeheertool is wenselijk. Uw testbeheertool moet ondersteunen continue integratie. Het grote voordeel van de testmanagementtool met CI is dat tests automatisch worden gestart. De lancering kan worden geactiveerd door iets als een broncode-commit van een ontwikkelaar of een testcase met onderliggende testautomatisering of een geplande taak voor een specifieke tijd. De continue Integratie verschilt in tijd, detail, richting en granulariteit.

Voor elk QA-team, integratie van tool voor het volgen van bugs maakt hun testproces zeer eenvoudig. Een standaard testbeheertool die naadloos integreert met de SDLC-app of andere bugtrackingtools zoals JIRA, BugZilla en Mantis voegt meer waarde toe aan de tool. Het zou gebruikers in staat moeten stellen om bugs te koppelen, om een ​​testcase te draaien, voor gecentraliseerd beheer van uw softwaretestproces. Het moet ook het hele projectteam in staat stellen om tegelijkertijd aan één probleem samen te werken.

De integratie van uw support desk systeem is een belangrijke functie die elke testbeheertool moet bieden. Een supportdesk-software of ook wel bekend als ticketsysteem helpt de gebruikers om direct een oplossing voor hun probleem te krijgen. Het helpt klanten om een ​​overzicht te krijgen van alle open en gesloten problemen.

VUUR Ondersteuning voor aangepaste integraties is wenselijk.

Tip #4 Mobiel

Uw testbeheertool moet mobiele apparaten en tablets ondersteunen.

Mobiele ondersteuning is uiterst nuttig voor teams die zich op de locatie van de klant bevinden, niet aan de balie, of voor managers die met teams op verschillende geografische locaties werken.

De tool voor testbeheer moet een volledige (niet beperkte) functieset hebben die beschikbaar is op mobiel.

Ondersteuning voor meerdere apparaten en mobiele besturingssystemen is belangrijk omdat met de toename van het aantal apparaten er meer complexiteiten zijn zoals locatie, gebaren, versnellingsmeters en oriëntatieproblemen. U koopt tenslotte nooit een telefoon met het idee dat deze compatibel is met uw testbeheertool!

Tip #5 Ondersteuning

Het ondersteuningsteam van de leverancier van testbeheertools moet zich inzetten om hun klanten op alle mogelijke manieren te helpen. Veel testbeheertools zijn meer gericht op het maken van glanzende websites en advertenties om meer klanten aan te trekken. Maar voor continue en herhaalde zaken moeten ze zich concentreren op het leveren van de beste helpdeskondersteuning.

De beste tool voor testbeheer zou functies moeten hebben zoals: live chat, telefoongesprek, FAQ's & online gebruikershandleidingen, productdocumentatie-informatie, kennisbank, helpdeskticket inzamelen, enz. om hun klanten te helpen.

Veel testbeheertools vergemakkelijken ook: live videoconferentie met gereedschapsexperts om vragen van klanten op te lossen. Als de live conferentie niet haalbaar is, moeten demo's of opgenomen video's met betrekking tot de testbeheertool altijd ter plaatse beschikbaar zijn en op elk moment toegankelijk zijn. Voor ontwikkelaars geldt dat als de tool API- of aangepaste integratieondersteuning biedt, een demoscript en gedetailleerde documentatie moeten worden verstrekt.

Hoewel alle bovenstaande ondersteuningskanalen mogelijk niet voor alle tools beschikbaar zijn, moet u een tool selecteren die uw ' voorkeur ' ondersteuningskanaal.

Nog een belangrijke en vaak vergeten parameter is of de leverancier van het gereedschap Klantgericht ? Hier zijn een paar dingen waarmee u rekening moet houden bij het selecteren van uw testbeheertool:

  • De tool-interface moet gebruiksvriendelijk zijn en een functie voor klantintegratie bevatten
  • Het moet geschikt zijn voor meerdere talen en meerdere tijdzones
  • Het moet een geavanceerde zoekmogelijkheid hebben

Ik hoop dat deze gids helpt bij het selecteren van een tool die het beste bij uw testbehoeften past!

Dit artikel is een bijdrage van - Sanjay Zalavadia is de VP Client Services voor Zephyr, die een realtime, volledig testbeheersysteem biedt. Meer informatie over Zephyr hier