Los transformadores de gráficos son un tipo de algoritmo de aprendizaje automático que opera en datos estructurados gráficamente. Los gráficos son estructuras matemáticas formadas por nodos y aristas, donde los nodos representan entidades y las aristas representan las relaciones entre esas entidades.

Los transformadores de gráficos se utilizan en diversas aplicaciones, incluido el procesamiento del lenguaje natural, el análisis de redes sociales y la visión por computadora. Se usa comúnmente para tareas de clasificación de nodos, predicción de correlaciones y agrupación de gráficos.

Un tipo común de transformador gráfico es Graph Convolutional Network (GCN), que aplica filtros convolucionales a un gráfico para extraer características de nodos y bordes. Otros tipos de transformadores de gráficos incluyen redes de interés de gráficos (GAT), redes de homología de gráficos (GIN) y redes neuronales de gráficos (GNN).

Los transformadores de gráficos se han mostrado muy prometedores en el aprendizaje automático, particularmente para tareas de datos estructurados en gráficos.

Los transformadores de gráficos se han mostrado prometedores en varias tareas de aprendizaje de gráficos y representaciones. Sin embargo, escalarlo a gráficos más grandes manteniendo una precisión competitiva con las redes de paso de mensajes sigue siendo un desafío. Para abordar este problema, un nuevo marco llamado EXPHORMER ha sido presentado por un grupo de investigadores de la Universidad de Columbia Británica, Google Research y el Alberta Machine Intelligence Institute. Este marco utiliza un mecanismo de atención dispersa basado en nodos globales virtuales y gráficos extendidos, que poseen propiedades matemáticas deseables, como la ampliación espectral, el contraste y la pseudoaleatoriedad. Como resultado, EXPHORMER hace posible la creación de transformadores de gráficos potentes y escalables con una complejidad lineal del tamaño del gráfico, al mismo tiempo que proporciona propiedades teóricas para los modelos resultantes. La incorporación de EXPHORMER en GraphGPS produce modelos con resultados empíricos competitivos en varios conjuntos de datos gráficos, incluidos tres conjuntos de datos recientes. Además, EXPHORMER puede manejar gráficos más grandes que las arquitecturas de conversión de gráficos anteriores.

Exphormer es un método que aplica un mecanismo de atención dispersa basado en expansores a Graph Transformers (GT). Construye un gráfico de interacción utilizando tres componentes principales: interés de gráfico en expansión, interés global e interés de vecino local. El gráfico extendido de atención permite que la información se distribuya entre los nodos sin conectar todos los pares de nodos. Global Attention agrega nodos virtuales para crear un “grupo de almacenamiento” global y proporciona funciones de aproximación global para conmutadores completos. Formularios de interés del vecindario local Formularios de interacción local para obtener información de contacto.

Su estudio piloto evaluó el método Exphormer en tareas de predicción de gráficos y nodos. El equipo descubrió que Exphormer combinado con redes neuronales de paso de mensajes (MPNN) en el marco GraphGPS produjo resultados de vanguardia en varios conjuntos de datos de referencia. A pesar de tener menos parámetros, pasó por alto todos los mecanismos de atención dispersos y siguió siendo competitivo con los interruptores densos.

Las contribuciones clave del equipo incluyen la propuesta de mecanismos de atención dispersa con costos computacionales lineales en la cantidad de nodos y bordes, y la presentación de Exhormer, que combina dos técnicas para crear gráficos de superposición dispersa y presentar gráficos extendidos como una poderosa herramienta primitiva en el diseño de arquitecturas de transformadores de gráficos escalables. Pudieron demostrar que Exphormer, que combina gráficos expandidos con nodos globales y vecindarios locales, se aproxima espectralmente al mecanismo de atención completo con solo una pequeña cantidad de capas y tiene propiedades de aproximación global. El Exphormer propuesto se basa y hereda las propiedades deseables del marco modular para GraphGPS, un marco introducido recientemente para construir transformadores de gráficos escalables, en cascada y genéricos con complejidad lineal. GraphGPS combina el paso de mensajes local tradicional con un mecanismo de atención global, lo que permite mecanismos de atención escasos para mejorar el rendimiento y reducir los costos de cómputo.

escanear el papel Y github. Todo el crédito por esta investigación es para los investigadores de este proyecto. Además, no olvides unirte Sub Reddit de 16k+MLY canal de discordiaY Boletín electrónicodonde compartimos las últimas noticias de investigación de IA, interesantes proyectos de IA y más.