- DGIST 임성훈 교수팀, 작업들 사이의 관계를 학습하여 최적의 딥러닝 네트워크 구조를 찾을 수 있는 자동화된 탐색 기술 개발검출, 차선 인식, 거리 추정 등 다수의 작업을 동시에 수행해야하는 자율주행 등 AI 분야의 발전에 획기적 기여 기대돼전기전자컴퓨터공학과 임성훈 교수팀이 신경망 구조 탐색 기술을 통해 다중 태스크 딥러닝 기술을 개발했다고 12일(목) 밝혔다. 이 기술은 성능의 저하 없이도 여러 작업을 동시에 수행 할수 있게 해 향후 여러 작업을 효율적으로 수행해야 하는 소형 장치나 자율주행 기술 개발 등 다양한 분야에서 활용될 것으로 기대된다.최근 다중 태스크 학습 연구에서는 관련성이 적은 작업들을 통합된 신경망에 같이 학습할 때 전체적인 성능이 저하된다는 문제가 있었다. 이를 해결하기 위해 기존의 연구에서는 동적 신경망 기술을 이용하여 신경망 구조를 변경하려 시도했으나, 이는 다양한 신경망 구조를 탐색하기 어렵다는 단점이 있었다.이에 임 교수팀은 기존과 다른 관점에서 접근했다. 기존 연구가 제한된 선형적인 탐색공간에서 신경망의 탐색을 진행했다면, 임 교수팀은 기존의 선형적인 탐색공간을 확장하고, 기존의 작업들 사이의 관계성을 학습하면서 동시에 각 작업에 최적화된 신경망을 찾는 방법을 제안했다.또한, 연구팀은 탐색한 신경망 구조의 연산 자원을 효율적으로 사용하면서 성능을 최대한 유지할 수 있는 기술을 제안했다. 이러한 연산 자원을 절감함으로써 알고리즘의 실행 속도를 효과적으로 향상시킬 수 있게 되었다. 빠른 속도로 다수의 작업을 수행해야 하는 자율주행, 로봇공학 등 향후 AI 분야의 실용적이고 광범위한 활용이 기대된다.DGIST 전기전자컴퓨터공학과 임성훈 교수는 이번 연구를 통해 개발한 신경망 탐색 기법은 기존의 좁은 인공지능의 틀을 깨고 범용 인공지능에 한 발짝 다가서게 하는 기술이라며 향후 관련 기술을 좀 더 개선한다면 많은 분야들에 적용되어 일반화된 인공지능 기술 발전에 긍정적인 영향을 줄 것으로 기대된다.고 말했다.한편, 이번 연구 결과는 관련 분야 최우수 국제학술대회 IEEE Conference on Computer Vision and Pattern Recognition에 2023년 6월 발표됐다.연구결과개요Dynamic Neural Network for Multi-task Learning Searching across Diverse Network TopologiesWonhyeok Choi, Sunghoon Im(IEEE Conference on Computer Vision and Pattern Recognition,Online published on 19 June, 2023)본 연구에서는 다양한 그래프 위상을 가진 다중 태스크에 최적화된 구조를 탐색하고 태스크 간의 정보를 공유할 수 있는 새로운 다중 태스크 학습기법을 제안했다. 제안된 방법은 탐색 공간과 시간을 제한하면서 다양한 위상에 맞는 태스크 적응형 구조를 생성하기 위해 제한된 방향성 비순환 그래프(DAG) 기반의 중앙 신경망을 이용했고, 세 단계의 훈련 과정을 통해 여러 태스크에 대한 최적의 신경망 구조를 찾을 수 있다. 또한, 배포된 신경망의 알고리즘 수행 속도를 향상하기 위해, 훈련 과정에서 사용되는 흐름 기반 절감 알고리즘을 제안하였다. 다수의 다중 태스크 학습 데이터셋에 시험한 결과, 본 연구에서 제안된 방법은 기존의 방법보다 높은 성능을 보였다.연구결과문답Q. 이번 성과 무엇이 다른가?다중 태스크 학습과 관련된 기존의 연구들에서는 선형적으로 이루어져 있는 위상공간에서 신경망 탐색을 진행했지만, 신경망 구조 탐색의 관점으로 보았을 때 각각의 태스크에 대해서 최적의 신경망 구조를 찾기에는 위상 공간의 다양성이 부족하여 성능에 한계가 존재했다. 이번 연구는 좀 더 다양한 위상 공간에서의 탐색이 태스크마다의 최적의 신경망 구조 탐색에 도움이 될 것이라는 가설을 기반으로 새로운 구조 탐색 기법을 제안하였고, 여러 데이터에 적용하여 실험적으로도 기존의 한계를 극복할 수 있음을 증명하였다.Q. 어디에 쓸 수 있나?본 연구에서 고안된 방법은 기존의 연구보다 성능을 향상시킬 뿐만 아니라, 동적 신경망의 문제인 연산량 문제를 완화하기 위해 흐름 기반의 제약조건들을 이용하여 신경망의 연산속도를 효율적으로 증강하였다. 따라서 높은 정확도와 즉각적인 응답속도를 필요로하는 자율주행 등의 어플리케이션에서 사용이 가능할 것으로 보인다.Q. 실용화까지 필요한 시간은?본 연구에서 고안된 신경망 구조 탐색기술은 당장 사용이 가능하지만, 자율주행등의 높은 정확도와 빠른 응답속도가 필요한 어플리케이션에서 안정적으로 좋은 결과를 얻기 위해 성능적인 부분에서 추가적인 개선이 필요할 듯 보인다.Q. 실용화를 위한 과제는?실험에서 다양한 데이터에 대한 적용이 가능함은 보였으나, 정말 일반적으로 적용하였을 때도 성능을 유지할 수 있는지는 의문이다. 이에 대해서 좀 더 다양한 데이터에 대한 실험과 일반화를 위한 연구가 필요할 것이다.Q. 연구를 시작한 계기는?인간이 새로운 일을 배울 때, 기존의 경험을 이용하여 효율적으로 학습을 한다는 점에서 기인한 다중 태스크 학습에 흥미를 느꼈다. 다중 태스크 학습이 신경망 구조 탐색과 밀접한 관련이 있다는 생각이 들었고 기존의 연구들을 찾아본 결과 태스크 간의 관련성에 따라서 정보를 공유하는 비중을 다르게 하는 것에 집중했지만, 최적의 신경망 구조를 탐색하기에는 너무 단순한 탐색 공간을 가지고 있다는 생각에 연구를 시작하게 되었다.Q. 어떤 의미가 있는가?제안된 기술은 학습된 모델의 성능과 정확도 뿐만이 아니라 연산속도에서도 기존의 연구보다 이점을 가지고 있다. 따라서 빠른 연산속도와 높은 정확도를 필요로하는 실용적인 어플리케이션에서 폭넓은 활용이 가능할 것으로 보인다.Q. 꼭 이루고 싶은 목표는?다양한 AI 기술을 배우고 연구해서 한명의 훌륭한 연구자가 되고 싶다.그림설명[그림 1] 고안한 신경망 구조 탐색 기법(그림설명) 전체적인 신경망 학습 기법의 도식화. 제안된 기법의 탐색공간인 중앙 신경망은 유향 비순환 그래프 구조를 기반으로 한다. 제안된 방법은 Warm-up, 탐색, Fine-tuning의 3단계로 학습이 이루어진다. 성능에 거의 영향을 주지 않는 긴 길이의 연결은 흐름 제한 기법에 의해서 제거되어 학습속도를 줄인다. Warm-up 단계에서는 본격적인 탐색 전에 신경망의 파라미터를 모든 태스크로 학습한다. 탐색 단계에서는 태스크 별 신경망의 구조를 결정하는 가중치와 신경망의 파라미터를 동시에 학습하여 태스크 각각의 적합한 구조를 탐색한다. 마지막으로 Fine-tuning 단계에서는 흐름 기반 절감 기술을 통해서 중요도가 낮은 연결을 제거하여 연산량을 줄이는 작업과 동시에 결정된 신경망 구조를 세밀하게 다시 학습한다.[그림 2] 탐색된 신경망 구조의 예시(그림설명) 의미론적 분할, 깊이 추정, 표면 법선 추정의 세가지 태스크를 수행하는 신경망의 탐색 결과의 예시. 각각의 색은 태스크의 종류를 의미하며, 오른쪽의 인접행렬은 태스크마다 활성화된 연결을 의미한다.
2023. 10. 16
자세히 보기