Fundamental Limits of Learning (FunLoL)

Machine learning has shown remarkable success across many application areas in recent years, leveraging advances in computing power and the availability of large sets of training data. It provides a tremendous opportunity to deploy data-driven systems in more complex and interactive tasks including personalized autonomy, agile robotics, self-driving vehicles, and smart cities. Despite dramatic progress, the machine learning community still lacks an understanding of the trade-offs and mathematical limitations of related technologies for a given domain, problem, or dataset. Lacking is a fundamental theoretical framework for understanding the relationships among data, tasks, resources, and measures of performance—elements that would allow understanding what tasks are best suited for machines and which tasks are not.

The DARPA Fundamental Limits of Learning (FunLoL) program seeks to develop methodologies to evaluate the capabilities of learning system designs and guide practical implementations based on a formal understanding of the boundaries of their performance. The program will investigate mathematical frameworks that provide quantifiable and generalizable measures of learning to enable the design of systems with verifiable properties. In addition, understanding of such properties would help characterize fundamental limits across existing and new machine learning paradigms and reveal how to value the trustworthiness of results in a wide variety of applications.

컴퓨팅 파워의 발전으로 큰 training data를 다룰 수 있게 되면서 기계학습은 최근 몇년간 눈에 띄는 성장을 했다. 이 덕분에 personalized autonomy, 섬세한 로봇, 자율주행 자동차, 스마트시티와 같은 복잡한 주제에도 데이터 기반 시스템을 사용할 수 있는 기회가 생겼다. 하지만 이런 발전에도 불구하고 기계학습을 하는 사람들은 주어진 문제 혹은 데이터셋에 대한 수학적 기술적 한계에 대한 이해가 부족하다. 관련 기술에 대한 trade-off와 수학적 한계를 이해하는 것은 어떤 업무를 기계에게 맡길 수 있고 어떤 것이 기계에 맡기기 부적합한지를 이해하는 것의 중요한 뼈대가 된다.

FunLoL 프로그램은 디자인된 학습 시스템 능력을 평가하고, 그들의 성능의 한계를 정형화시켜 현실적인 적용방법을 제시하는 방법론을 개발하려 한다. 이 프로그램은 증명 가능한 시스템 설계가 가능하도록 하는 정량적이며 일반적인 학습 방법에 대한 수학적 프레임워크에 대해 조사할 것이다. 이러한 증명 가능한 설계는 기계학습의 근본적인 한계를 특징화하고, 기계학습 결과에 대한 신뢰도를 측정하는데 큰 도움이 될 것이다.