Mobiele games automatiseren met een robotarm

My Singing Monsters is een van die mobiele titels die individuen gemakkelijk games spelen om munten te maken, evenals edelstenen op de typische manier. [Anykey] ontdekte dat zijn kind een fan van het spel was, maar dat het in sommige gevallen een beetje opgetuigd voelde. Aldus, in plaats van het spelen van zichzelf, stelde hij een robot op om de taak voor hen te doen. (Super-boring video, hieronder ingebed.)

De speler moet een fundamenteel echter tijdrovend geheugenspel zijn. Bij het winnen krijgt de speler een prijs uit 17 geheime kaarten. De bovenste prijs van 1.000 diamanten leek altijd onder een meer kaart te worden verborgen, wat leidde tot de eerder genoemde frustratie.

In aankoop om te testen of het spel is opgetuigd, [Anykey] een UARM SWIFT-PRO opgezet om het spel te spelen, met de robotarm die een beetje stylus over de iPad het spel beweegt. De video van de iPad werd door HDMI naar een pc geleid, in een Camlink-vangstkaart. Een Python-script met behulp van OpenCV werd vervolgens geproduceerd om het spel automatisch te spelen, evenals het logboek van de resultaten van prijzen die onderweg zijn opgedaan. Alle code is op Github.

Na meer dan 100 pogingen behandelde de robot nooit om de juiste kaart te kiezen om 1.000 diamanten te scoren. Op voorwaarde dat er slechts 17 kaarten zijn om uit te kiezen, zou men verwachten dat de 1000 diamantprijs een aantal keren in die vele selecties zou vinden.

Het lijkt erop dat de prijskeuze voor het voltooien van het geheugenspel misschien niet echt down is om de juiste kaart te kiezen. In plaats daarvan wordt de verstrekte prijs gekozen door een andere berekening volledig.

We houden van een robot spelen in Hackaday, zelfs als het net zo eenvoudig is als TIC-TAC-TOE. video na de pauze.