Videocamera ITS in una scatola

Android Camera Image Test Suite (ITS) fa parte di Android Compatibility Test Suite (CTS) Verifier e include test che verificano il contenuto delle immagini. CTS Verifier supporta l'automazione dei test ITS con Camera ITS-in-a-box; il supporto per i test manuali copre tutti i fattori di forma dei dispositivi Android.

ITS-in-a-box offre i seguenti vantaggi:

• Automazione. Non è necessario alcun intervento umano durante il test.
• Risoluzione dei problemi semplice. La coerenza dell'ambiente di test riduce gli errori di configurazione e aumenta la riproducibilità.
• Efficienza. La possibilità di riprovare per singola videocamera/scena migliora l'efficienza dell'esecuzione del test.

Selezione del rig

ITS-in-a-box è costituito da una scatola di plastica tagliata al laser da disegni di progettazione assistita da computer (CAD), un tablet con grafico e un dispositivo in fase di test (DUT). La tabella seguente descrive le funzionalità e le specifiche dei diversi rig ITS-in-a-box disponibili. Per selezionare il rig appropriato, considera il campo visivo specifico e la distanza di messa a fuoco minima del DUT. Per i sistemi di videocamere con un campo visivo da 60 a 110 gradi e una distanza di messa a fuoco minima da 22 a 31 cm, consigliamo un rig di base modulare per la sua adattabilità. Se il sistema di fotocamere include un teleobiettivo con una distanza minima di messa a fuoco compresa tra 31 cm e 110 cm, consigliamo un rig di base modulare con un'estensione tele che corrisponda da vicino alla distanza di messa a fuoco dell'obiettivo. Le estensioni telescopiche sono disponibili in lunghezze da 50 cm a 90 cm.

Rig	Distanza del grafico	Intervallo del campo visivo della fotocamera del dispositivo in test (circa)	Funzionalità
Modular base rig	22 cm	60° - 120°	Ingombro ridotto Ampio ritaglio nell'anteriore che consente di testare il sistema multi-camera senza ritaglio che blocca le videocamere secondarie Il rig può essere ruotato di 90°
Supporto modulare e supporto per telecamera con estensione	22 cm - 110 cm*	10° - 120°	Ampio foro per l'obiettivo nella parte anteriore Supporta il test di fotocamere con una distanza minima di messa a fuoco maggiore (la maggior parte dei teleobiettivi) La lunghezza del rig dell'estensione può essere regolata per diverse distanze del grafico.
WFoV ITS-in-a-box	22 cm	60° - 120°	Ampia impronta che consente molte posizioni di montaggio del DUT Supporto per DUT di grandi dimensioni, come i tablet
RFoV ITS-in-a-box	31 cm	60° - 90°	Tablet per grafici Sistema di illuminazione interna
Gen2 ITS-in-a-box	31 cm	60° - 90°	Grafico cartaceo Sistema di illuminazione interna

Distanza del grafico	Percentuale di scalabilità della scena	Immagine
31 cm	33%
50 cm	50%
80 cm	100%

Per iniziare a utilizzare il sistema ITS-in-a-box della videocamera:

1. Acquista o crea un ITS-in-a-box modulare, WFoV o RFoV e sensor Fusion.
2. Configura un tablet con il software Camera ITS.
3. Esegui test.
4. Ottieni i risultati dal DUT.

Configurare il tablet

Questa sezione fornisce istruzioni passo passo per configurare un tablet da utilizzare con i test ITS della fotocamera che si trovano nella directory CameraITS. Queste istruzioni utilizzano Pixel C come tablet di esempio. Per informazioni sui requisiti e sui consigli per i tablet, consulta la sezione Requisiti per i tablet.

Nota:gli script Python ITS della fotocamera impostano automaticamente le seguenti opzioni sul tablet:
Impostazioni > Display > Sospensione > Dopo 30 minuti di inattività
Luminosità adattiva > OFF

1. Carica il tablet e accendilo. Se ti viene chiesto di configurare un account, salta questo passaggio (Camera ITS non richiede alcun account associato al tablet).
2. Aggiorna il tablet ad Android 7.0 o versioni successive. Android 6.x e versioni precedenti non supportano Camera ITS.
3. Attiva la modalità sviluppatore.
4. Torna a Impostazioni e seleziona Opzioni sviluppatore.

   Attiva opzioni	On Rimani attivo Debug USB (consente all'host di eseguire il tablet in modalità di debug. Quando colleghi il tablet all'host per la prima volta, il tablet ti chiede Consentire il debug USB? Se il tablet non visualizza la richiesta di debug, scollega e ricollega il tablet.)
   Disattiva opzioni	Aggiornamenti di sistema automatici Verifica app tramite USB

5. Determina gli ID DUT e grafici eseguendo $ adb devices per elencare i dispositivi disponibili. Per determinare device_id e chart_id, collega e scollega i dispositivi e osserva quelli che si connettono e si disconnettono.
6. Esegui tre test per eliminare i suggerimenti e le richieste agli utenti che possono oscurare i grafici sullo schermo del tablet.
   1. Posiziona il tablet con lo schermo rivolto verso l'alto su un tavolo (non collegare il tablet al pannello posteriore della scatola).
   2. Esegui questo comando:

      python tools/run_all_tests.py device=$device_id camera=0 chart=$chart_id scenes=2,3
      

      Le scene 2 e 3 richiedono che il tablet visualizzi un'immagine, quindi il tablet chiede Consentire a Drive di accedere a foto, contenuti multimediali e file sul dispositivo?. Cancella questo prompt (e impedisci i prompt futuri) premendo Consenti.
   3. Esegui di nuovo il comando. Il tablet chiede Vuoi conservare una copia di questo file? e suggerisce Google Drive. Cancella questo prompt (e impedisci i prompt futuri) premendo l'icona di Drive, quindi Annulla per il caricamento su Drive.
   4. Infine, esegui tools/run_all_tests.py e verifica che le scene cambino automaticamente man mano che lo script scorre le diverse scene. Anche se la maggior parte dei test non va a buon fine (perché la videocamera non è puntata sul grafico), puoi verificare che il tablet scorra correttamente le scene senza visualizzare prompt o altri popup sullo schermo.

Esegui test

Prima di eseguire ITS-in-a-box, assicurati che la configurazione del test includa l'hardware e il software seguenti:

• Un (1) ITS-in-a-box
• Un (1) tablet da 10" ad alta risoluzione per la visualizzazione delle scene, numero di serie: 5811000011
• Un (1) DUT con l'app CTS Verifier 7.0_8+ installata. Esempio di DUT:
  • Uno (1) Pixel NOF26W per il test della fotocamera posteriore(0), S/N: FA6BM0305016. Per installare l'app CTS Verifier, decomprimi android-cts-verifier.zip e poi esegui

    adb -s FA6BM0305016 install -r -g android-cts-verifier/CtsVerifier.apk
    

Eseguire scene basate su tablet

Per eseguire le scene da 0 a 4, 6 e scene_change sulla fotocamera posteriore:

cd android-cts-verifier/CameraITS
. build/envsetup.sh
python tools/run_all_tests.py camera=0

Esempio:

Riprova scene

Puoi riprovare a creare scene per una singola videocamera:

• Per riprovare a creare scene su una singola videocamera:

  python tools/run_all_tests.py device=FA6BM0305016 camera=0 scenes=3,4
  

Esegui scena 5

La scena 5 richiede una configurazione speciale con un'illuminazione specifica (per i dettagli, consulta CameraITS.pdf in CTS Verifier, che puoi scaricare da Download di Compatibility Test Suite). Devi eseguire la scena 5 separatamente (al di fuori della scatola) e con il TEST_BED_MANUAL testbed.

Per eseguire la scena 5 per le fotocamere anteriore e posteriore su un singolo dispositivo:

python tools/run_all_tests.py device=FA6BM0305016 camera=0 scenes=5
python tools/run_all_tests.py device=FA6BM0305016 camera=1 scenes=5

Ottenere risultati

Puoi visualizzare i risultati durante il test e salvare quelli completati come report.

• Visualizza risultati. Per salvare i risultati del test ITS della videocamera come report:
  1. Premi Supera e salva il report.
     
     Figura 3. Report ITS della videocamera
  2. Estrai i report dal dispositivo:

     adb -s FA6BM0305016 pull /sdcard/verifierReports
     

  3. Decomprimi il file del report e visualizza test_result.xml.
     
     Figura 4. Report ITS della videocamera
     

Requisiti del tablet

Per Android 15 e versioni successive, i tablet utilizzati come display del grafico ITS devono essere inclusi nel seguente elenco consentito di tablet. Per un elenco dei tablet che supportano i test per scene in condizioni di scarsa illuminazione, consulta Tablet supportati per scene in condizioni di scarsa illuminazione. Per Android 14 o versioni precedenti, consulta Requisiti dei tablet per Android 14 e versioni precedenti.

I tablet nella lista consentita vengono scelti in base ai seguenti criteri:

• Dimensioni del display di circa 10 pollici con una risoluzione dello schermo superiore a 1920 x 1200 pixel.
• Non deve presentare sfarfallio misurato causato dall'attenuazione dello schermo controllata dalla modulazione di larghezza di impulso (PWM).
• In grado di eseguire i comandi adb inviati dai test ITS e di visualizzare le immagini dei grafici con la luminosità dello schermo indicata.

Il valore di brightness deve essere impostato in config.yml in base al modello del tablet. Per determinare se il modello di tablet corrisponde a un nome dispositivo nell'allowlist, stampa il valore ro.product.device eseguendo il comando adb adb shell getprop | grep 'ro.product.device'.

Tablet supportati per scene con scarsa illuminazione

Requisiti per i tablet per Android 14 e versioni precedenti

I tablet devono avere una dimensione del display di circa 10 pollici con una risoluzione dello schermo superiore a 1920 x 1200 pixel. Il tablet non deve utilizzare la modulazione di larghezza di impulso (PWM) per impostare il livello di luminosità. Il valore di brightness deve essere impostato in config.yml in base al modello di tablet. La tabella seguente elenca i tablet consigliati per i test ITS insieme alle versioni di rilascio di Android per il DUT con cui funzionano i tablet.

Domande frequenti

D1: Come faccio a determinare quali test rig mi servono per il mio dispositivo?

I test RFoV ITS-in-a-box revisione 1 testano le videocamere RFoV per i test delle scene del tablet nella directory CameraITS/tests. Il campo visivo ridotto è definito come 60° < FoV < 90°. Per le videocamere con un campo visivo più ampio, le luci potrebbero apparire nelle immagini o i grafici potrebbero coprire un'area troppo piccola nel campo visivo, influendo sui risultati del test.

Il test WFoV ITS-in-a-box revisione 2 esegue test sulle videocamere WFoV per le scene di test del tablet nella directory CameraITS/tests. Il campo visivo ampio è definito come FoV >= 90°. Il banco di prova della revisione 2 è funzionalmente identico alla revisione 1, ma più grande. Il banco di prova della revisione 2 può testare le videocamere RFoV e WFoV in Android 9 e versioni successive. Data l'impronta più grande, la revisione 2 è ideale se il DUT è un tablet

Il rig di base modulare esegue test delle scene per tablet per le videocamere WFoV nella directory CameraITS/tests. Il campo visivo ampio è definito come FoV >= 90°. Il rig di base modulare può testare le fotocamere RFoV e WFoV per i dispositivi con Android 9 e versioni successive. Supporta anche il rig di estensione tele che può essere collegato per testare le telecamere con una distanza minima di messa a fuoco maggiore. La base modulare è funzionalmente identica all'ITS-in-a-box WFoV ma è più piccola.

La scatola di fusione dei sensori testa l'offset di sincronizzazione della videocamera/del giroscopio e la sincronizzazione dei frame dei sistemi multi-videocamera con test in scenes=sensor_fusion. Per il flag funzionalità REALTIME è necessario un offset di temporizzazione della videocamera/del giroscopio inferiore a 1 ms.

I dispositivi multi-fotocamera possono essere testati con un singolo rig per i test ITS statici e con un rig di fusione dei sensori se la fotocamera ha il flag della funzionalità REALTIME.

Nella tabella seguente è riportato un insieme di configurazioni di esempio.

D2: Come faccio a indicare quale banco di prova è in uso?

Per designare il banco di prova corretto, assicurati che il parametro della distanza del grafico sia corretto. Il banco di prova rev1 (RFoV) ha una distanza dal grafico di 31 cm, mentre il banco rev2 (WFoV) ha una distanza dal grafico di 22 cm. Per impostazione predefinita, la distanza del grafico è impostata su 31 cm.

Da Android 10 ad Android 11

python tools/run_all_tests.py ... chart=# dist=22

Android 12 e versioni successive

edit config.yml
chart_distance: 31.0 → chart_distance: 22.0

D3: Come faccio a controllare la luminosità del tablet?

Per impostazione predefinita, la luminosità del tablet è impostata su 96.

Per modificare la luminosità sui tablet con Android 7.0-9, esegui:

edit tools/wake_up_screen.py
DISPLAY_LEVEL=96 → DISPLAY_LEVEL=192

Per modificare la luminosità sui tablet con Android 10-11, il valore può essere modificato dalla riga di comando aggiungendo il flag brightness:

python tools/run_all_tests.py device=# camera=# chart=# brightness=192

Per modificare la luminosità sui tablet con Android 12 e versioni successive, esegui:

edit config.yml
brightness: 96 → brightness: 192

D4: Come faccio a eseguire il debug di un singolo test?

I test possono essere eseguiti singolarmente a scopo di debug, ma i risultati non vengono comunicati a CtsVerifier.apk a meno che non venga eseguita l'intera scena.

Per eseguire una singola scena su Android 11 e versioni precedenti:

1. Carica una scena aggiungendo il flag scenes in tools/run_all_tests.py:

   python tools/run_all_tests.py device=# camera=# chart=# scenes=#
   

2. Premi Ctrl+C per interrompere i test dopo che la scena è stata registrata come caricata in stdout.

   Se la scena corretta è già sullo schermo, riattivalo:

   python tools/wake_up_screen.py screen=#
   

3. Esegui un singolo test.

   python tests/scene#/test_*.py device=# camera=#

   I grafici vengono quindi generati nella directory locale e stdout e stderr vengono stampati sullo schermo.

   Per ulteriori informazioni per il debug, aggiungi istruzioni print allo script. Per aumentare l'output di test per il debug, aggiungi il flag debug=True.

   python tests/scene#/test_*.py device=# camera=# debug=True

I risultati vengono stampati sullo schermo locale e le immagini vengono salvate nella directory locale anziché nella directory /tmp/tmp### generata quando viene eseguito tools/run_all_tests.py.

Per eseguire una singola scena in Android 12 e versioni successive:

1. Modifica il file config.yml.

   edit config.yml
   camera: <camera-id> → camera:  0
   scene: <scene-name> → scene: scene1_1

2. Esegui il test individuale.

   python tools/run_all_tests.py -c config.yml --test_bed TEST_BED_TABLET_SCENES
   

I risultati vengono stampati nella directory /tmp/logs/mobly/TEST_BED_TABLET_SCENES/ ordinati in base al tempo di esecuzione.

D5: Perché devo eseguire i test non riusciti come un'intera scena anziché ripeterli singolarmente?

I test possono essere eseguiti singolarmente a scopo di debug, ma i risultati non vengono comunicati a CtsVerifier.apk a meno che non venga eseguita l'intera scena.

Camera ITS garantisce che le app di terze parti abbiano un'interfaccia della fotocamera compatibile. Analogamente a un test delle unità, ogni test mette alla prova una singola specifica della videocamera. Per rilevare comportamenti inaffidabili, questi test devono superare un gruppo per un'intera scena. Ad esempio, anche se un singolo test non affidabile può superare la ripetizione di un'intera scena, è difficile che più test non affidabili superino il test.

Come esempio estremo, considera il caso in cui in una scena ci sono 10 test che hanno ciascuno il 50% di probabilità di restituire PASS. Eseguendo ogni test singolarmente, è molto probabile che un operatore riesca a far superare alla videocamera il test ITS della videocamera. Tuttavia, se i test vengono eseguiti in aggregato come scena, la probabilità che la scena superi il test è solo dello 0,1%.

D6: Come faccio a eseguire una singola scena o a riordinare le scene della corsa?

Per impostazione predefinita, lo script tools/run_all_tests.py esegue tutte le scene in ordine. Tuttavia, le scene possono essere eseguite singolarmente o in un ordine specifico e essere segnalate a CtsVerifier.apk.

Per eseguire una singola scena (ad esempio, la scena 2) o più scene in un ordine specifico in Android 11 o versioni precedenti:

python tools/run_all_tests.py device=# camera=# chart=# scenes=2

python tools/run_all_tests.py device=# camera=# chart=# scenes=3,2

Per eseguire una singola scena o più scene in un ordine specifico in Android 12 e versioni successive:

python tools/run_all_tests.py scenes=2

python tools/run_all_tests.py scenes=3,2

I parametri aggiuntivi sono impostati nel file config.yml.

D7: Una serie di test della scena 1 non riesce con la configurazione del tablet, ma riesce con una tabella cartacea. Qual è il problema?

Assicurati che il tablet e l'ambiente di test soddisfino le seguenti specifiche.

Specifiche del tablet

Assicurati che il tablet soddisfi le seguenti specifiche:

• Dimensioni del display (pollici): 10 pollici
• Dimensioni del display (pixel): maggiori di 1920 x 1200 pixel

Per maggiori dettagli, vedi Requisiti per i tablet.

Luminosità del tablet

I test potrebbero non ottenere risultati corretti se la luminosità del display del tablet è troppo bassa.

Per ulteriori dettagli, vedi Come si controlla la luminosità del tablet?

Livello di illuminazione della scatola (richiede un luxmetro)

Assicurati che il valore di lux target all'apertura del tablet sia compreso tra 100 e 300.

Se il livello di lux è troppo alto, scene1/test_param_flash_mode.py restituisce FAIL. Se il livello di lux è troppo basso, più test non riescono.

D8: Come faccio a eseguire il debug dei test di fusione dei sensori?

1. Assicurati di appartenere a un gruppo dialout.

   groups | egrep ‘dialout'

2. Assicurati che il controller di fusione dei sensori sia connesso verificando se Microchip Technology è connesso alla porta USB.

   lsusb
   …
   Bus 003 Device 004: ID 04d8:fc73 Microchip Technology, Inc.
   …
   

3. Esegui il test più volte per ottenere una distribuzione dei tentativi di test con i seguenti comandi.

   In Android 11 o versioni precedenti:

   python tools/run_sensor_fusion_box.py device=A camera=0 num_runs=10 rotator=default
   

   In Android 12 e versioni successive:

   python tools/run_sensor_fusion_box.py num_runs=10
   

   I parametri aggiuntivi sono impostati nel file config.yml.

   Gli output dell'esecuzione si trovano nella cartella /tmp/tmp### creata nelle cartelle sensor_fusion_#, dove # è il numero di esecuzione. I motivi più comuni per il mancato completamento sono:

   1. Lo smartphone non è centrato correttamente.
   2. Nell'immagine non vengono trovate caratteristiche sufficienti (spesso un problema di campo visivo o illuminazione).
   3. Il valore FAIL restituito è valido e l'offset di sincronizzazione tra la videocamera e il giroscopio deve essere corretto.

D9: Quali informazioni devo includere quando segnalo un bug di test?

Quando segnali un bug di test, includi i file e le immagini generati per il test.

1. Se hai eseguito il test tramite tools/run_all_tests.py, allega una directory /tmp/ compressa al bug.
2. Se hai eseguito il test da solo, allega al bug tutti gli output dello schermo e le immagini generate.

Includi anche una segnalazione di bug. Dopo il test in questione non va a buon fine, utilizza il seguente comando per generare una segnalazione di bug e allegare il file zip generato al bug.

adb -s device_id bugreport

D10: Come faccio a eseguire una scena di test sensor_fusion con una videocamera che ha una distanza minima di messa a fuoco che crea immagini sfocate a una distanza di 25 cm dal grafico?

Se la videocamera non riesce a mettere a fuoco a una distanza di 25 cm, rimuovi il pannello di montaggio del grafico della scatola di fusione dei sensori. Posiziona il grafico a una distanza in cui il dispositivo in test può mettere a fuoco e modifica chart_distance in config.yml con la distanza misurata tra il dispositivo in test e il grafico. La figura 5 mostra un esempio di come misurare la distanza del grafico in questa situazione.

  edit config.yml
chart_distance: 25 → chart_distance: DISTANCE_BETWEEN_DUT_AND_CHART

D11: Come faccio a eseguire le scene di test del tablet per una videocamera con una distanza minima di messa a fuoco che crea immagini sfocate a una distanza del grafico di 31 cm?

Se la videocamera non riesce a produrre immagini sufficientemente nitide durante il test a 31 cm (la profondità del banco di prova RFoV), montala davanti al banco a una distanza tale da consentire alla scena del grafico di riempire circa il 60% del campo visivo della videocamera con immagini più nitide. Questa distanza può essere inferiore alla distanza minima di messa a fuoco della videocamera. Lascia chart_distance in config.yml a 31 cm. La scalabilità del grafico sul tablet è determinata dal campo visivo della videocamera, come mostrato nella tabella seguente:

D12: Con l'API multi-camera logica, quali test vengono eseguiti su quali videocamere?

Se la videocamera utilizza REQUEST_AVAILABLE_CAPABILITIES_LOGICAL_MULTI_CAMERA, tutti i test ITS supportati vengono eseguiti sulla videocamera logica di primo livello. Un sottoinsieme dei test ITS viene eseguito sulle sottocamere fisiche e questi test sono elencati in tools/run_all_tests.py nella costante SUB_CAMERA_TESTS.