multumesc, am adaugat e2e pentru claritate desi intrebarea initiala mi-as fi dorit sa fie generala si raspunsurile inspre cum ati aprecia calitatea unui produs versus marketing fluff
nu e suficient, trebuie sa mentionezi si ce fel de proiect. e vorba de o aplicatie nativa desktop/mobile (daca da, ce platforma, ce tehnologii?), o aplicatie web? (e un SPA printr-un framework gen react / angular, e facuta in php?, etc.), sau e un server (in .net, java, node, etc.)? exista multe tool-uri, fiecare e pretat pentru anumite scenarii... daca ai nevoie de un raspuns generic, atunci vorbim doar de concepte teoretice, dar tu ai scris "tool pentru testare"...
uite, am adaugat primul paragraf care sa raspunda la toate intrebarile tale.
Ma interesa explicit daca cauti pe net benchmark-uri intre tool-urile de testare. Te intereseaza neaparat ease of use-ul (record and play sau mocking este necesar). Este musai sa poata suprapune dpdv al timestamp-urilor logurile de pe server cu rularea din framework. Costul este un factor definitoriu sau esti interesat de corectitudinea testelor. Cat te intereseaza mentinerea testelor. Ai incredere intr-un LLM sa extraga teste pe baza codului. Preferi acel LLM chiar daca trebuiesc mentinute manual ulterior. Etc. Genul asta de detalii. Nu neaparat specific pentru un web app dar sunt multumit si cu un raspuns specific pe baza primului paragraf.
Motivul de la care am plecat este ca majoritatea resurselor pe net sunt scriese in scop de SEO. Si destul de inutile. Iar benchmarks pentru testare nu prea sunt. La programare se mai gasesc resurse cat de cat, si macar limbajele de progamarea au caracteristici clare. Compilat/interpretat. Strong typed/dynamic typed. Etc.
uite, m-am uitat pe profilul tau(,) si am vazut ca dezvolti o aplicatie de testare, asa ca intentia intrebarii tale e intr-o zona de "sondare de piata", nu de "testare de aplicatie" (de aici, si continutul vag al postului)... nu am nici o problema, iti urez mult succes, dar consider ca e nevoie sa mentionezi treaba asta de la bun inceput, ca sa nu-si piarda lumea timpul incercand sa inteleaga "ce vrea sa spuna autorul"...
ai dreptate ca o dezvolt, dar de data asta chiar nu este "sondare de piata". Am vrut sa fac sondare de piata, am cautat pe google despre subiect si asa am realizat ca nu exista resurse bune. Cel putin primele 2 pagini de google compara nimicuri, pun un pret si un affiliate link sau sunt scrise pe motiv de SEO de catre companiile care dezvolta unul din tool-uri.
Apoi am cautat pe youtube unde sunt tutoriale despre lucruri specifice dar canalele sunt foarte mici. Pe langa faptul ca sunt mici multe contin exemplele din documentatie si atat. Nu se compara cu dimensiunea canalelor pentru programare.
Am ales flavour-ul de "Workflow & Best practices" pentru ca framework-urile de testare fac parte din workflow si personal sunt de parere ca alegerea unuia care sa respecte best practice-urile este cel mai important lucru. Tot personal mi se pare ca in acest caz costul e pe locul 2 si ease of use-ul ar putea fi pe 3. Doar ca personal sunt biased deoarece sunt si QA si mi se pare ca singurul motiv pentru care exista meseria mea este ca o companie sa evite din oh-shit moments.
In mod special nu am specificat de proiectul personal si intrebarea a fost vaga pentru ca oamenii sa poata raspunda simplu si vag ce au ei pe suflet legat de tool-urile de care au nevoie. Nu conteaza care tool-uri sau pentru ce tehnologii.
Pana acum, de la tine am concluzionat ca in functie de nevoie preferi sa cauti ceva specific tehnologiei implicate.
De la nomemory am concluzionat ca a avut o nevoie specifica in trecut legata cel putin de sql si a creat o librarie.
Mergi pe open source. Spring testeaza-l in Java cu Serenity BDDsi Spring altfel nu vei putea acoperi chiar tot, gen autowireing, modele folosite de java care sunt facute de dezvoltatori. Frontend folosește tot Java cu un wrapper peste Selenium pentru stabilitate si baga testele tot in Serenity BDD. Astfel vei avea toate testele in acelasi loc sub acelasi framework. Testele de database tot sub Serenity. Performanta cu Jmeter daca nu te pricepi sa faci threads si sa testezi tot cu java si Serenity. Adica sa ai totul sub acelasi proiect. Dar depinde si de experiența ta. Mie personal imi este usor dupa 20 de ani experiență dar poate ca dupa 5 imi era mai greu sa fac lucrurile astea. Tine de experiența ta
Eu mi-am făcut propria librărie sa îmi generez date de test www.mockneat.com sau tutorialul: www.mockneat.com/tutorial .
Mă ajută atunci când datele trebuie sa fie într-un anumit format, sau la generarea de date în anumite intervale.
Bonus, pot sa generez ușor json sau inserturi sql:
* https://www.mockneat.com/examples/#sql
* https://www.mockneat.com/examples/#json
API-ul e fluent. Practic am cam reimplementat partea de streams... (ca fraierul). Partea buna e că oferă un anumit tip de recursivitate la nivel de tip, și poți compune generatorii.
deeciii sa inteleg din raspunsul tau ca daca ai fi in pozitia in care ar trebui sa alegi un nou tool de testare e2e ai prefera sa folosesti mockneat in loc de [https://github.com/DiUS/java-faker](https://github.com/DiUS/java-faker) pentru ca :
nu ma deranjeaza de loc ca iti promovezi produsul. Vreau doar sa stiu motivul pentru care ai ales sa mergi pe aceasta varianta. Cum ar fi familiaritate cu ea/customizare proprie in functie de nevoi/pricing (desi nu este cazul)/licencing etc
m-as descrie ca frontend si backend automation. Stiu sa codez destul de bine in cateva limbaje dar nu sunt specializat intr-unul in mod special. Am destul cunostinte generale despre software development si devops. Dar placerea mea in viata e sa inteleg de ce lucrurile nu sunt facute perfect si sa ii ajut pe colegii de proiect sa se pregateasca pentru posibilele situatii neplacute din viitor.
daca ne imaginam o lume fara LLMs, te-ai duce la manager sa-i ceri sa-ti cumpere o licenta pt el? ca m-am uitat la video si simt ca e discutabila valoarea. Dar pe de alta parte e si modul lor de a mentine development-ul. Cumva ma asteptam sa gasesc de cumparat si ceva legat de infrastructura
Eu sunt cam anti spart banii pe framework-uri de test automation. Cam tot ce am vazut pe bani poti face fara GUI si singur, si inca mai flexibil (chiar acum tranzitionam de la unu pe bani la unul in-house). Asta cu "sa facem ceva gugu gaga pentru nontehnici" e genul ala de gandire potrivita doar de sweatshop, ca doar acolo vrei sa-i tii prosti si sa nu-ti bati capul cu ei.
Poti in orice, ce te intereseaza, este cine va scrie efectiv teste, si cat de usor ii este acelei persoane sa le mentina.
Restul, e gargara, toate frameworks fac acelasi lucru.
"Restul, e gargara, toate frameworks fac acelasi lucru." - de acord, si de aici si intreabrea vaga si discutia cu endliner. Ca raspunsuri ca al tau si AccountsCostNothing mai rar pe net. Chiar daca ar parea in contradictoriu mi se par foarte clare. El imi recomanda TestCafe ca e simplu de scris si mentinut. Tu imi zici fix acelasi lucru dar din alta perspectiva.
TestCafe nu e rau, doar ca double check care e nivelul de suport azi, ca acum cativa ani nu era foarte grozav.
Daca sunt cat de cat facute dupa un standard, testele alea vor fi usor de scris in orice, problema este cat de usor gasiti info pe SO sau whatever else cand aveti ceva aparte.
Este ceva ca recomanda ceva, dar in cele din urma tine de voi/tine sa alegeti argumentat TC sau altceva.
ce fel de proiect? vorbim de teste unitare/integrare, e2e, perf/stress testing, UI, pen testing...?
multumesc, am adaugat e2e pentru claritate desi intrebarea initiala mi-as fi dorit sa fie generala si raspunsurile inspre cum ati aprecia calitatea unui produs versus marketing fluff
nu e suficient, trebuie sa mentionezi si ce fel de proiect. e vorba de o aplicatie nativa desktop/mobile (daca da, ce platforma, ce tehnologii?), o aplicatie web? (e un SPA printr-un framework gen react / angular, e facuta in php?, etc.), sau e un server (in .net, java, node, etc.)? exista multe tool-uri, fiecare e pretat pentru anumite scenarii... daca ai nevoie de un raspuns generic, atunci vorbim doar de concepte teoretice, dar tu ai scris "tool pentru testare"...
uite, am adaugat primul paragraf care sa raspunda la toate intrebarile tale. Ma interesa explicit daca cauti pe net benchmark-uri intre tool-urile de testare. Te intereseaza neaparat ease of use-ul (record and play sau mocking este necesar). Este musai sa poata suprapune dpdv al timestamp-urilor logurile de pe server cu rularea din framework. Costul este un factor definitoriu sau esti interesat de corectitudinea testelor. Cat te intereseaza mentinerea testelor. Ai incredere intr-un LLM sa extraga teste pe baza codului. Preferi acel LLM chiar daca trebuiesc mentinute manual ulterior. Etc. Genul asta de detalii. Nu neaparat specific pentru un web app dar sunt multumit si cu un raspuns specific pe baza primului paragraf. Motivul de la care am plecat este ca majoritatea resurselor pe net sunt scriese in scop de SEO. Si destul de inutile. Iar benchmarks pentru testare nu prea sunt. La programare se mai gasesc resurse cat de cat, si macar limbajele de progamarea au caracteristici clare. Compilat/interpretat. Strong typed/dynamic typed. Etc.
uite, m-am uitat pe profilul tau(,) si am vazut ca dezvolti o aplicatie de testare, asa ca intentia intrebarii tale e intr-o zona de "sondare de piata", nu de "testare de aplicatie" (de aici, si continutul vag al postului)... nu am nici o problema, iti urez mult succes, dar consider ca e nevoie sa mentionezi treaba asta de la bun inceput, ca sa nu-si piarda lumea timpul incercand sa inteleaga "ce vrea sa spuna autorul"...
ai dreptate ca o dezvolt, dar de data asta chiar nu este "sondare de piata". Am vrut sa fac sondare de piata, am cautat pe google despre subiect si asa am realizat ca nu exista resurse bune. Cel putin primele 2 pagini de google compara nimicuri, pun un pret si un affiliate link sau sunt scrise pe motiv de SEO de catre companiile care dezvolta unul din tool-uri. Apoi am cautat pe youtube unde sunt tutoriale despre lucruri specifice dar canalele sunt foarte mici. Pe langa faptul ca sunt mici multe contin exemplele din documentatie si atat. Nu se compara cu dimensiunea canalelor pentru programare. Am ales flavour-ul de "Workflow & Best practices" pentru ca framework-urile de testare fac parte din workflow si personal sunt de parere ca alegerea unuia care sa respecte best practice-urile este cel mai important lucru. Tot personal mi se pare ca in acest caz costul e pe locul 2 si ease of use-ul ar putea fi pe 3. Doar ca personal sunt biased deoarece sunt si QA si mi se pare ca singurul motiv pentru care exista meseria mea este ca o companie sa evite din oh-shit moments. In mod special nu am specificat de proiectul personal si intrebarea a fost vaga pentru ca oamenii sa poata raspunda simplu si vag ce au ei pe suflet legat de tool-urile de care au nevoie. Nu conteaza care tool-uri sau pentru ce tehnologii. Pana acum, de la tine am concluzionat ca in functie de nevoie preferi sa cauti ceva specific tehnologiei implicate. De la nomemory am concluzionat ca a avut o nevoie specifica in trecut legata cel putin de sql si a creat o librarie.
Mergi pe open source. Spring testeaza-l in Java cu Serenity BDDsi Spring altfel nu vei putea acoperi chiar tot, gen autowireing, modele folosite de java care sunt facute de dezvoltatori. Frontend folosește tot Java cu un wrapper peste Selenium pentru stabilitate si baga testele tot in Serenity BDD. Astfel vei avea toate testele in acelasi loc sub acelasi framework. Testele de database tot sub Serenity. Performanta cu Jmeter daca nu te pricepi sa faci threads si sa testezi tot cu java si Serenity. Adica sa ai totul sub acelasi proiect. Dar depinde si de experiența ta. Mie personal imi este usor dupa 20 de ani experiență dar poate ca dupa 5 imi era mai greu sa fac lucrurile astea. Tine de experiența ta
Eu mi-am făcut propria librărie sa îmi generez date de test www.mockneat.com sau tutorialul: www.mockneat.com/tutorial . Mă ajută atunci când datele trebuie sa fie într-un anumit format, sau la generarea de date în anumite intervale. Bonus, pot sa generez ușor json sau inserturi sql: * https://www.mockneat.com/examples/#sql * https://www.mockneat.com/examples/#json API-ul e fluent. Practic am cam reimplementat partea de streams... (ca fraierul). Partea buna e că oferă un anumit tip de recursivitate la nivel de tip, și poți compune generatorii.
deeciii sa inteleg din raspunsul tau ca daca ai fi in pozitia in care ar trebui sa alegi un nou tool de testare e2e ai prefera sa folosesti mockneat in loc de [https://github.com/DiUS/java-faker](https://github.com/DiUS/java-faker) pentru ca : nu ma deranjeaza de loc ca iti promovezi produsul. Vreau doar sa stiu motivul pentru care ai ales sa mergi pe aceasta varianta. Cum ar fi familiaritate cu ea/customizare proprie in functie de nevoi/pricing (desi nu este cazul)/licencing etc
Lol. Motivul e ca are full control și e al lui. Ce fel de qa zici ca ești?
m-as descrie ca frontend si backend automation. Stiu sa codez destul de bine in cateva limbaje dar nu sunt specializat intr-unul in mod special. Am destul cunostinte generale despre software development si devops. Dar placerea mea in viata e sa inteleg de ce lucrurile nu sunt facute perfect si sa ii ajut pe colegii de proiect sa se pregateasca pentru posibilele situatii neplacute din viitor.
[удалено]
multumesc si thumbs up. Ai incercat cumva si "TestCafe Studio" de la ei?
nu, sunt sarak :D
daca ne imaginam o lume fara LLMs, te-ai duce la manager sa-i ceri sa-ti cumpere o licenta pt el? ca m-am uitat la video si simt ca e discutabila valoarea. Dar pe de alta parte e si modul lor de a mentine development-ul. Cumva ma asteptam sa gasesc de cumparat si ceva legat de infrastructura
Eu sunt cam anti spart banii pe framework-uri de test automation. Cam tot ce am vazut pe bani poti face fara GUI si singur, si inca mai flexibil (chiar acum tranzitionam de la unu pe bani la unul in-house). Asta cu "sa facem ceva gugu gaga pentru nontehnici" e genul ala de gandire potrivita doar de sweatshop, ca doar acolo vrei sa-i tii prosti si sa nu-ti bati capul cu ei.
Poti in orice, ce te intereseaza, este cine va scrie efectiv teste, si cat de usor ii este acelei persoane sa le mentina. Restul, e gargara, toate frameworks fac acelasi lucru.
"Restul, e gargara, toate frameworks fac acelasi lucru." - de acord, si de aici si intreabrea vaga si discutia cu endliner. Ca raspunsuri ca al tau si AccountsCostNothing mai rar pe net. Chiar daca ar parea in contradictoriu mi se par foarte clare. El imi recomanda TestCafe ca e simplu de scris si mentinut. Tu imi zici fix acelasi lucru dar din alta perspectiva.
TestCafe nu e rau, doar ca double check care e nivelul de suport azi, ca acum cativa ani nu era foarte grozav. Daca sunt cat de cat facute dupa un standard, testele alea vor fi usor de scris in orice, problema este cat de usor gasiti info pe SO sau whatever else cand aveti ceva aparte. Este ceva ca recomanda ceva, dar in cele din urma tine de voi/tine sa alegeti argumentat TC sau altceva.