Telecamera Raspberry Pi

Che cos’è

Una piccola scheda sensore connessa tramite un nastro piatto alla porta CSI del Raspberry Pi, un’interfaccia dedicata alle telecamere anziché USB. Questa distinzione è l’unico motivo della sua esistenza. Il Pi di un robot di solito trasporta già Wi-Fi, un collegamento seriale a un controllore dei motori ed eventualmente un dispositivo di archiviazione sul bus USB; è proprio quando una telecamera spinge 1080p attraverso lo stesso bus che il sistema smette di funzionare.

Per un robot la telecamera è il sensore che cambia ciò che è possibile. Ogni altro sensore presente in questo sito restituisce un numero: una distanza, un angolo, una riflettanza. Una telecamera restituisce una scena ed è questo che permette a un robot di riconoscere che cosa sia un oggetto, anziché soltanto che un oggetto è presente.

Come funziona

La luce colpisce il sensore, che trasmette righe grezze tramite MIPI CSI-2, un collegamento seriale veloce a breve distanza, alla catena di elaborazione delle immagini del Pi. Il Pi trasforma queste righe grezze in un’immagine utilizzabile: demosaizzazione, bilanciamento del bianco, esposizione e correzione dell’illuminazione dell’obiettivo. Sulla versione attuale di Raspberry Pi OS è libcamera a gestirlo, con rpicam-apps dalla riga di comando e Picamera2 in Python.

Due conseguenze sono importanti per i robot:

La catena di elaborazione richiede tempo. Un fotogramma non è disponibile nell’istante in cui viene esposto. Quando il codice lo vede, sono trascorsi decine di millisecondi e un robot in movimento si è già spostato. Ogni anello di controllo chiuso sulla visione deve essere progettato tenendo conto di questo ritardo.

L’esposizione è automatica, a meno che tu non la controlli. L’esposizione automatica può cambiare la luminosità della scena tra un fotogramma e l’altro: va bene per le fotografie ed è dannosa per un algoritmo di visione che usa soglie di luminosità. Blocca esposizione e guadagno una volta stabilizzate le condizioni di illuminazione.

Quando usarla

Scegli una telecamera quando il robot deve rispondere a una domanda a cui un sensore scalare non può rispondere:

• Marcatori fiduciali — i tag ArUco forniscono un’intera posizione 3D da un singolo fotogramma, il modo più economico per ottenere una localizzazione reale del robot.
• Inseguimento di linee nel mondo reale — una telecamera vede la linea a metri di distanza, mentre una schiera di sensori di riflettanza vede sol ciò che si trova direttamente sotto di sé.
• Riconoscimento di oggetti — distinguere una sedia da una parete, anziché leggere gli stessi 40 cm da entrambe.
• SLAM visivo — costruire una mappa soltanto dalle immagini.

Non aggiungerne una per evitare ostacoli. Un VL53L0X risponde a «quanto dista?» in 20 ms con tre righe di codice; una telecamera lo fa peggio, più lentamente e con cento volte più sforzo.

Cablaggio e aspetti critici

• Il nastro ha un orientamento. I contatti argentati devono essere rivolti verso i contatti del connettore della scheda — su un Pi significa che la linguetta blu di supporto è rivolta verso il lato USB/Ethernet. Inserito al contrario, la telecamera semplicemente non viene rilevata e non viene danneggiato nulla.
• Solleva prima il fermo del connettore. Tira delicatamente il collare di plastica verso l’alto, inserisci il nastro completamente e in modo squadrato, poi abbassa di nuovo il collare. Un nastro inserito leggermente in diagonale viene enumerato in modo intermittente, apparentemente come se la telecamera fosse difettosa.
• Pi 5 e Zero richiedono il cavo a 22 pin. Stessa telecamera, connettore più stretto. Verifica prima di ordinare.
• Tenere il nastro lontano dai cablaggi dei motori. È un collegamento ad alta velocità non schermato che passa accanto a qualsiasi altra cosa tu abbia stipato nel telaio; i disturbi dei motori che si accoppiano al nastro si manifestano come fotogrammi corrotti.
• Prevedi il fabbisogno di alimentazione. Circa 250 mA oltre al consumo proprio del Pi, dalla stessa alimentazione che, se sottovalutata, causa cali di tensione e corrompe la scheda SD.
• La messa a fuoco è un’impostazione, non soltanto un anello. Su Module 3 l’autofocus oscilla se la scena ha poco contrasto. Per un robot che osserva sempre alla stessa distanza circa, imposta una posizione di messa a fuoco fissa affinché non oscilli a metà manovra.

Scelta del modulo

Il modulo Global Shutter merita una spiegazione vera e propria, perché lo rolling shutter è il problema più sottovalutato nella visione robotica.

Un sensore a rolling shutter espone una riga dopo l’altra anziché tutte contemporaneamente, quindi la parte superiore di un fotogramma viene catturata qualche millisecondo prima di quella inferiore. Su una telecamera ferma questo non è visibile. Su un robot che gira a 90°/s, la parte superiore e quella inferiore del fotogramma provengono da angolazioni diverse e le linee verticali rette risultano inclinate.

Per una catena di elaborazione per la stima della posizione di un marcatore non è un problema estetico. Gli angoli di un tag ArUco vengono usati per calcolarne la posizione e, se sono stati catturati con quattro orientamenti del robot leggermente diversi, la posizione calcolata è errata in un modo che nessuna calibrazione può correggere. Se il robot esegue la visione mentre si muove, un sensore Global Shutter è la soluzione e vale la pena rinunciare alla risoluzione maggiore.

Configurazione per ottenere immagini utilizzabili

Esposizione, guadagno e bilanciamento del bianco automatici sono eccellenti per la fotografia e dannosi per un algoritmo di visione. Cambiano tra un fotogramma e l’altro i valori da cui dipendono le soglie, per ragioni non collegate alla scena.

from picamera2 import Picamera2
import time

picam = Picamera2()

# Small frames. 640x480 is plenty for markers and lines, and the pipeline
# cost scales with pixel count.
config = picam.create_video_configuration(
    main={"size": (640, 480), "format": "RGB888"},
    controls={"FrameDurationLimits": (33333, 33333)},   # lock to 30 fps
)
picam.configure(config)
picam.start()

# Let auto-exposure settle on the real scene, then freeze it.
time.sleep(2)
metadata = picam.capture_metadata()
picam.set_controls({
    "AeEnable": False,
    "AwbEnable": False,
    "ExposureTime": metadata["ExposureTime"],
    "AnalogueGain": metadata["AnalogueGain"],
    "AfMode": 0,                 # manual focus
    "LensPosition": 2.0,         # dioptres: 1/distance_in_metres
})

while True:
    frame = picam.capture_array()
    # ... your processing here

Il valore di LensPosition è espresso in diottrie, cioè l’inverso della distanza di messa a fuoco in metri. Un robot che osserva oggetti a circa 50 cm di distanza vuole 2.0; a un metro vuole 1.0; all’infinito vuole 0.0. L’impostazione esplicita evita che l’autofocus oscilli a metà manovra, cosa che su un robot in movimento produce uno o due secondi di fotogrammi sfocati proprio nel momento sbagliato.

Risoluzione, frequenza dei fotogrammi e latenza

La risoluzione è l’impostazione che le persone lasciano troppo alta e che costa più di quanto ci si aspetti.

Un Pi 4 che esegue il rilevamento ArUco a 640×480 gestisce comodamente 30 fps. A 1920×1080 la stessa catena di elaborazione scende a poche unità e, quando ogni fotogramma viene elaborato, è già obsoleto. Usa la risoluzione più piccola che consenta ancora di distinguere l’elemento che ti interessa e ricorda che la distanza di rilevamento scala con la risoluzione: se un marcatore non viene rilevato abbastanza lontano, aumentare la risoluzione aiuta davvero, con il relativo costo.

Il bilancio della latenza

È ciò che rende difficile il controllo basato sulla visione e vale la pena scriverlo esplicitamente:

Un robot che si muove a 0.3 m/s percorre 1–3 cm in tale intervallo; se gira a 90°/s, ruota di 3–9°. Ogni anello di controllo chiuso sulla visione agisce sul luogo in cui il robot era e, se viene regolato come se la misura fosse attuale, oscillerà.

Le risposte pratiche sono le stesse adottate ovunque in questa situazione: esegui l’anello di visione più lentamente dell’anello di controllo e usalo per correggere una stima dead reckoning più rapida, oppure predici in avanti in base alla latenza nota prima di utilizzare la misura. Questa è esattamente la struttura che il percorso di inseguimento del tracciato costruisce per il GPS, e per la stessa ragione.

Montaggio su un robot

In modo rigido. La calibrazione della telecamera produce parametri intrinseci — lunghezza focale, punto principale, distorsione — che sono proprietà di quella telecamera in quel supporto. Una staffa che flette mentre il robot accelera invalida continuamente la calibrazione e le stime di posizione derivano senza alcun motivo visibile.

Lontano dai cablaggi dei motori. Il nastro CSI è un collegamento differenziale ad alta velocità non schermato. Il passarlo accanto ai fili dei motori trasferisce il rumore di commutazione, che si manifesta come fotogrammi corrotti o come una telecamera che scompare intermittentemente.

Con il nastro sottoposto a scarico delle trazioni. Il connettore del cavo piatto non è progettato per flessioni ripetute e un robot vibra costantemente. Fissa il nastro con nastro adesivo vicino a entrambe le estremità, in modo che le vibrazioni non allentino il connettore.

Inclinato leggermente verso il basso per un robot terrestre. Una telecamera puntata verso l’orizzonte dedica la maggior parte dei pixel al soffitto. Un’inclinazione di dieci-venti gradi verso il basso porta al centro del fotogramma la parte utile della scena: il pavimento davanti e tutto ciò che si trova su di esso.

Risoluzione dei problemi

Telecamera o sensore di misurazione della distanza?

La regola onesta è: non aggiungere una telecamera per evitare ostacoli. Un sensore di distanza risponde alla domanda più rapidamente, più economicamente e in modo più affidabile, e ogni ora spesa per farlo funzionare con una telecamera è un’ora non dedicata a ciò che solo una telecamera può fare.

Aggiungi una telecamera quando devi sapere che cosa è un oggetto o dove ti trovi: riconoscere un oggetto, leggere un marcatore fiduciale per ottenere una localizzazione assoluta oppure seguire una linea che il robot vede a metri di distanza anziché soltanto sotto di sé. Queste operazioni sono realmente impossibili con un sensore scalare e giustificano l’intera catena di elaborazione.