Câmera Raspberry Pi

O que é

Uma pequena placa sensora em um cabo flex plano que se conecta à porta CSI do Raspberry Pi—uma interface de câmera dedicada, não USB. Essa distinção explica por que ela existe. O Pi de um robô normalmente já utiliza Wi-Fi, uma ligação serial com um controlador de motor e, possivelmente, armazenamento no barramento USB; uma câmera que envia 1080p pelo mesmo barramento é o ponto em que tudo para de funcionar.

Para um robô, a câmera é o sensor que muda o que é possível. Todos os outros sensores deste site informam um único valor—uma distância, um ângulo, uma refletância. Uma câmera informa uma cena, e é isso que permite ao robô reconhecer o que algo é, e não apenas que algo está ali.

Como funciona

A luz atinge o sensor, que transmite linhas brutas por MIPI CSI-2—uma ligação serial rápida e de curto alcance—para o pipeline de imagens do Pi. O Pi transforma essas linhas brutas em uma imagem utilizável: reconstrução de cor, balanço de branco, exposição e correção do sombreamento da lente. No Raspberry Pi OS atual, isso é processado pelo libcamera, com rpicam-apps na linha de comando e Picamera2 em Python.

Duas consequências importam para robôs:

O pipeline consome tempo. Um quadro não fica disponível no instante em que a exposição termina. Quando seu código o vê, dezenas de milissegundos já passaram e o robô já se deslocou. Qualquer malha de controle fechada sobre a visão precisa ser projetada considerando esse atraso.

A exposição é automática, a menos que você a desative. A autoexposição altera sem avisar o brilho da cena entre quadros, o que é bom para fotografias e prejudicial a um algoritmo de visão que usa limiares de brilho. Fixe a exposição e o ganho depois que a iluminação estabilizar.

Quando usar

Use uma câmera quando o robô precisar responder a uma pergunta que um sensor de valor único não pode:

• Marcadores fiducials — marcas ArUco fornecem uma pose 3D completa a partir de um único quadro, a maneira mais barata de obter uma posição real do robô.
• Seguimento de linha no mundo real — a câmera vê a linha metros à frente, enquanto uma matriz de refletância vê somente o que está diretamente abaixo dela.
• Reconhecimento de objetos — distinguir uma cadeira de uma parede, em vez de obter a mesma leitura de 40 cm das duas.
• SLAM visual — construir um mapa apenas com imagens.

Não acrescente uma câmera para desviar de obstáculos. Um VL53L0X responde “quanto longe?” em 20 ms com três linhas de código; uma câmera responde de forma pior, mais devagar e com cem vezes mais esforço.

Conexões e armadilhas

• A fita tem orientação. Os contatos prateados devem ficar voltados para os contatos do conector—em um Pi, a aba azul fica voltada para o lado USB/Ethernet. Com a fita invertida, a câmera simplesmente não é detectada e nada é danificado.
• Levante primeiro a trava do conector. Puxe o colar plástico para cima com cuidado, encaixe a fita totalmente reta e pressione o colar de volta. Uma fita inserida levemente torta faz a câmera ser detectada de forma intermitente, como se estivesse com defeito.
• O Pi 5 e o Zero precisam do cabo de 22 pinos. É a mesma câmera, com conector mais estreito. Verifique antes de pedir.
• Mantenha a fita longe da ligação dos motores. É uma ligação serial de alta velocidade sem blindagem que passa ao lado do que quer que você tenha espremido no chassi; o ruído dos motores acoplado a ela aparece como quadros corrompidos.
• Preveja a potência. Considere cerca de 250 mA além do consumo do próprio Pi, fornecidos pela mesma fonte que sofre queda de tensão e corrompe o cartão SD se for subdimensionada.
• O foco é uma configuração, não apenas um ajuste. No Module 3, o autofoco procura uma posição se a cena tiver pouco contraste. Para um robô que sempre observa aproximadamente a mesma distância, defina uma posição de foco fixa e impeça a busca no meio de uma manobra.

Escolhendo um módulo

O módulo com obturador global merece uma explicação mais detalhada, porque o obturador rolante é o problema mais subestimado da visão robótica.

Um sensor com obturador rolante expõe as linhas uma após a outra, em vez de todas de uma vez; portanto, a parte superior de um quadro é capturada alguns milissegundos antes da parte inferior. Em uma câmera parada, isso é invisível. Em um robô girando a 90°/s, o topo e a base do quadro foram capturados de ângulos diferentes, e linhas verticais retas saem inclinadas.

Em um pipeline de pose por marcador, isso não é cosmético. Os cantos de uma marca ArUco são usados para calcular sua pose; se foram capturados em quatro orientações ligeiramente diferentes do robô, a pose calculada fica errada de uma forma que nenhuma calibração corrige. Se o robô faz visão enquanto se move, um sensor com obturador global é a solução, e vale a pena aceitar a resolução menor.

Configurando para que as imagens sejam utilizáveis

Autoexposição, ganho e balanço de branco são excelentes para fotografia e prejudicam ativamente um algoritmo de visão. Eles alteram entre quadros os valores de que seus limiares dependem, por motivos sem relação com a cena.

from picamera2 import Picamera2
import time

picam = Picamera2()

# Small frames. 640x480 is plenty for markers and lines, and the pipeline
# cost scales with pixel count.
config = picam.create_video_configuration(
    main={"size": (640, 480), "format": "RGB888"},
    controls={"FrameDurationLimits": (33333, 33333)},   # lock to 30 fps
)
picam.configure(config)
picam.start()

# Let auto-exposure settle on the real scene, then freeze it.
time.sleep(2)
metadata = picam.capture_metadata()
picam.set_controls({
    "AeEnable": False,
    "AwbEnable": False,
    "ExposureTime": metadata["ExposureTime"],
    "AnalogueGain": metadata["AnalogueGain"],
    "AfMode": 0,                 # manual focus
    "LensPosition": 2.0,         # dioptres: 1/distance_in_metres
})

while True:
    frame = picam.capture_array()
    # ... your processing here

O valor de LensPosition está em dioptrias—o inverso da distância de foco em metros. Um robô que observa objetos a cerca de 50 cm quer 2.0; a um metro, 1.0; no infinito, 0.0. Definir o valor explicitamente impede que o autofoco procure uma posição no meio de uma manobra, o que, em um robô em movimento, produz um ou dois segundos de quadros desfocados exatamente no momento errado.

Resolução, taxa de quadros e latência

A resolução é a configuração que as pessoas deixam alta demais, e ela custa mais do que esperam.

Um Pi 4 fazendo detecção ArUco a 640×480 mantém 30 fps confortavelmente. Em 1920×1080, o mesmo pipeline cai para poucos quadros por segundo, e cada quadro está desatualizado quando termina de ser processado. Use a menor resolução que ainda permita distinguir o elemento que importa e lembre-se de que a distância de detecção é proporcional à resolução—se um marcador não for detectado longe o bastante, aumentar a resolução realmente ajuda, com esse custo.

O orçamento de latência

É isso que torna difícil o controle baseado em visão, e vale escrever explicitamente:

Um robô que se move a 0,3 m/s percorre 1–3 cm durante essa janela; girando a 90°/s, ele gira 3–9°. Toda malha de controle fechada sobre a visão está agindo sobre onde o robô estava, e, se você a ajustar como se a medição fosse atual, oscilará.

As respostas práticas são as mesmas usadas em qualquer outra situação: executar a malha de visão mais lentamente que a malha de controle e usá-la para corrigir uma estimativa de posição que evolui mais rapidamente, ou prever o estado futuro pelo tempo de latência conhecido antes de usar a medição. É exatamente a estrutura que o seguimento de trajetória usa para o GPS, e pelo mesmo motivo.

Montando em um robô

Rigidamente. A calibração da câmera produz parâmetros intrínsecos—distância focal, ponto principal e distorção—que são propriedades daquela câmera naquele suporte. Um suporte que flexiona à medida que o robô acelera invalida continuamente a calibração, e as estimativas de pose derivam sem nenhum motivo visível.

Longe da ligação dos motores. A fita CSI é uma ligação diferencial de alta velocidade sem blindagem. Passá-la ao lado dos fios dos motores acopla ruído de comutação, que aparece como quadros corrompidos ou uma câmera que desaparece intermitentemente.

Com alívio de tensão na fita. O conector do cabo plano não foi projetado para flexões repetidas, e um robô vibra o tempo todo. Prenda a fita com fita adesiva perto das duas extremidades para que a vibração não solte o conector.

Inclinada levemente para baixo em um robô terrestre. Uma câmera apontada para o horizonte gasta a maior parte de seus pixels com o teto. Uma inclinação de dez a vinte graus para baixo coloca a parte útil da cena—o piso à frente e tudo o que está sobre ele—no centro do quadro.

Solução de problemas

Câmera ou sensor de distância?

A regra honesta é: não acrescente uma câmera para desviar de obstáculos. Um sensor de distância responde à pergunta mais rápido, com menor custo e maior confiabilidade, e cada hora gasta tentando fazer uma câmera fazer isso é uma hora que não foi gasta naquilo que somente uma câmera pode fazer.

Acrescente uma câmera quando precisar saber o que algo é ou onde você está—reconhecer um objeto, ler um marcador fiducial para obter uma pose absoluta ou seguir uma linha que o robô enxerga metros à frente, em vez de apenas abaixo de si. Essas são tarefas realmente impossíveis com um sensor de valor único e valem todo o pipeline.