Matchmakernet: enabling fragment matching for cultural heritage análisis

Abstract

Automating the reassembly of fragmented objects is a complex task with applications in cultural heritage preservation, paleontology, and medicine. However, the matching subtask of the reassembly process has received limited attention, despite its crucial role in reducing the alignment search space. To address this gap, we propose MatchMakerNet, a network architecture designed to automate the pairing of object fragments for reassembly. By taking two point clouds as input and leveraging graph convolution alongside a simplified version of DGCNN, MatchMakerNet achieves remarkable results. After training on the Artifact (synthetic) dataset, we achieve an accuracy of 87.31 % in all-toall comparisons between the fragments. In addition, it demonstrates robust generalization capabilities, achieving 86.93 % accuracy on the Everyday (synthetic) dataset and 83.03 % on the Puzzles 3D (real-world) dataset. These findings highlight the effectiveness and versatility of MatchMakerNet in solving the matching subtask.

Automatizar el reensamblaje de objetos fragmentados es una tarea compleja con aplicaciones en la preservación del patrimonio cultural, la paleontología y la medicina. Sin embargo, la tarea de emparejamiento dentro del proceso de reensamblaje ha recibido una atención limitada, a pesar de su papel crucial en la reducción del espacio de búsqueda de alineación. Para abordar esta brecha, proponemos MatchMakerNet, una arquitectura de red diseñada para automatizar el emparejamiento de fragmentos de objetos para su reensamblaje. MatchMakerNet logra resultados notables al tomar dos nubes de puntos como entrada y aprovechar la convolución de grafos en una versión simplificada de DGCNN. Después de entrenar en el conjunto de datos Artifact (sintético), alcanzamos una precisión del 87.31 % en una comparación de todos contra todos entre los fragmentos. Además, demuestra capacidades robustas de generalización, logrando una precisión del 86.93 % en el conjunto de datos Everyday (sintético) y del 83.03 % en el conjunto de datos Puzzles 3D (mundo real). Estos hallazgos destacan la efectividad y versatilidad de MatchMakerNet en la solución de la tarea de emparejamiento.