Melo, misurare i frutti con una rete neurale

Misurare la crescita dei frutti durante la stagione è essenziale per la stima della pezzatura finale e l'adozione di strategie di frutticoltura di precisione volte ad ottimizzare la qualità della produzione.
Ad oggi la misura del diametro del frutto ha perlopiù utilizzato il calibro per dimensionare il diametro equatoriale massimo dei frutti, questa pratica può essere onerosa poiché richiede misurazioni manuali periodiche su un campione rappresentativo (300 frutti per ettaro).

Un'alternativa promettente sono i Sistemi di Visione Computerizzata (Cvs), estremamente efficaci nel contesto presentato dai nuovi sistemi di allevamento a cordone planare 2D che esponendo tutti i frutti facilitano il processo di scansione. I Cvs utilizzano sensori come camere Rgb e Lidar, combinati con software per l'analisi dei dati, permettendo di stimare numero e dimensione dei frutti e garantendo un monitoraggio efficiente e scalabile a livello aziendale.

Nella tesi sono state valutate le prestazioni di un Cvs a basso costo (< di 500 euro) nel riconoscimento e dimensionamento automatico dei frutti direttamente sull'albero. L'esperimento è stato condotto durante la stagione 2022 presso l'azienda agricola sperimentale dell'Università di Bologna a Cadriano in un meleto allevato a cordone planare al 4^° anno della varietà Fuji "FujiKO".

I dati sono stati raccolti da giugno a ottobre per un totale di 17 acquisizioni. Sono stati selezionati due alberi dei quali 12 frutti (24 frutti in totale) sono stati etichettati e misurati manualmente con un calibro digitale in ogni epoca. Inoltre, sono state posizionate sui rami palline da tennis, in modo da avere oggetti dai parametri noti e invariati nel tempo come controllo.
La telecamera Intel RealSense D435i in grado di raccogliere immagini Rgb-D con informazioni su colori e distanza è stata utilizzata per registrare un video statico dei due alberi. Per l'acquisizione è stato utilizzato il suo software originale, collegando la camera ad un laptop standard. Per garantire stabilità e precisione, è stato utilizzato un treppiede con livella sferica, che permetteva il mantenimento della camera parallela al terreno rispettivamente ad 1,0 metro e 1,5 metri dalla fila in analisi.

Le immagini acquisite sono state successivamente processate tramite una rete neurale che, utilizzando l'algoritmo "YOLOv5", è stata in grado di individuare i singoli frutti nelle immagini. Per ciascun frutto identificato, un secondo algoritmo ha impiegato cerchi di rilevamento per stimarne la dimensione.

In alto a destra la telecamera Intel RealSense D435i. A sinistra il setup di acquisizione dati. In basso a destra applicazione del modello YOLOv5 per il riconoscimento dei frutti nell'immagine, si noti come i frutti correttamente identificati sono contornati da un rettangolo verde (Boundig Box) mentre le palline da tennis da un rettangolo rosso

(Fonte: Michele Gullino)

Il processo di analisi delle immagini raccolte si è articolato nelle seguenti fasi dopo il rilevamento del frutto: 

• calcolo della distanza frutto-camera: grazie ai dati di distanza ottenuti dalla camera Rgb-D la distanza tra il frutto e la telecamera è calcolata con una precisione millimetrica;
• rilevamento dei cerchi: un algoritmo "HoughCircles" è utilizzato per identificare tutti i possibili cerchi che rappresentano il frutto in esame;
• selezione del miglior cerchio: i cerchi rilevati vengono filtrati in base all'area (minima-massima) e alla posizione (centramento del frutto). Il miglior cerchio è definito come la media di tutti i cerchi rimanenti dopo questa selezione;
• stima della dimensione: il diametro del miglior cerchio viene convertito dall'unità di misura grafica (pixel) all'unità reale (millimetri) utilizzando formule trigonometriche. 

L'analisi dei dati è stata effettuata su un sottoinsieme del dataset completo, dove i tempi di raccolta dei dati analizzati sono stati scelti in base alle dimensioni medie dei frutti in giorni specifici dopo la piena fioritura, che è avvenuta il 10 aprile.

Per il riconoscimento dei frutti le prestazioni del modello di rilevamento non sono state valutabili con precisione, a causa dell'assenza di etichettatura manuale di tutte le mele in ogni immagine. Tuttavia, considerando solo le mele etichettate, i tassi medi di rilevamento mancato complessivo sono stati del 4% e del 9% a distanze rispettivamente di 1,0 metri e 1,5 metri.

Per il dimensionamento i migliori risultati ottenuti sono quelli a distanza di 1,0 metro dove il range di errore quadratico medio è stato tra 5.9 millimetri e 9.1 millimetri (9% - 16%). E alla distanza di 1,5 metri il range di errore va da 7.3 millimetri a 11millimetri (11% - 17%).

Per l'Absolute Growth Rate (Agr) i valori di errore quadratico medio ottenuti per l'Agr computato con Cvs sono stati generalmente più alti di quelli ottenuti da calibro. L'errore massimo osservato nei dati Agr aggregati su tutte le epoche in analisi è stato di 0,35 millimetri.

I risultati hanno dimostrato un alto potenziale per il sistema considerando il suo costo ridotto. È stato rilevato positivamente circa il 90% dei frutti dei quali circa l'83% sono stati correttamente dimensionati. Tuttavia, l'errore di dimensionamento non è stato in linea con i requisiti minimi per l'applicazione in campo (meno di 2 millimetri).
Nonostante ciò, il sistema è stato in grado di stimare la dimensione media dei frutti senza differenze significative in due epoche su cinque, indicando buone prospettive di miglioramento. Al contrario, l'utilizzo dei dati di dimensionamento forniti dal modello per ottenere Agr ha portato a errori non trascurabili.

Questo studio è stato approfondito ulteriormente in una pubblicazione nel marzo 2024, di cui la tesi è stata il progetto pilota.

Michele Gullino, vincitore per la categoria "tesi di indirizzo agrario"

(Fonte: Michele Gullino)

A cura di Michele Gullino

L'evento Agrifood Future è organizzato da Unioncamere e dalla Camera di Commercio di Salerno. L'evento ospita al suo interno l'Agrifood Future Award, un premio per le tesi di laurea promosso da Rural Hack e Image Line^®