소식

Jun 13, 2024

이제 소형 장치에서 대규모 신경망을 훈련할 수 있습니다.

우리 주변의 장치는 끊임없이 우리의 삶에 대해 배우고 있습니다. 스마트워치는 생체 신호를 감지하여 건강을 추적합니다. 홈 스피커는 우리의 대화를 듣고 우리의 목소리를 인식합니다.

우리 주변의 장치는 끊임없이 우리의 삶에 대해 배우고 있습니다. 스마트워치는 생체 신호를 감지하여 건강을 추적합니다. 홈 스피커는 우리의 대화를 듣고 우리의 목소리를 인식합니다. 스마트폰은 우리의 특이한 오타를 고치기 위해 우리가 쓰는 것을 지켜보는 문법학자 역할을 합니다. 우리는 이러한 편리함을 높이 평가하지만, 우리가 장치와 공유하는 정보가 항상 우리와 전자 알림 장치 사이에 보관되는 것은 아닙니다. 기계 학습에는 무거운 하드웨어가 필요할 수 있으므로 전화기와 같은 "에지" 장치는 원시 데이터를 중앙 서버로 보내는 경우가 많으며 중앙 서버는 훈련된 알고리즘을 반환합니다. 어떤 사람들은 그러한 훈련이 지역적으로 이루어지기를 원합니다. 새로운 AI 훈련 방법은 소형 장치의 훈련 기능을 확장하여 잠재적으로 개인 정보 보호에 도움이 됩니다.

가장 강력한 기계 학습 시스템은 조정 가능한 매개변수로 가득 찬 복잡한 기능인 신경망을 사용합니다. 훈련 중에 네트워크는 입력(예: 픽셀 세트)을 수신하고, 출력(예: "cat" 레이블)을 생성하고, 출력을 정답과 비교하고, 다음 번에 더 나은 결과를 얻을 수 있도록 매개변수를 조정합니다. 각 내부 손잡이를 조정하는 방법을 알려면 네트워크는 각 손잡이의 효과를 기억해야 하지만 그 수는 일반적으로 수백만 또는 수십억에 이릅니다. 즉, 많은 메모리가 필요합니다. 신경망을 훈련하려면 단순히 신경망을 사용할 때 수백 배의 메모리가 필요할 수 있습니다("추론"이라고도 함). 후자의 경우 메모리는 정보를 다음 계층으로 전달하자마자 네트워크의 각 계층이 수행한 작업을 잊어버릴 수 있습니다.

훈련 단계에서 요구되는 메모리를 줄이기 위해 연구자들은 몇 가지 트릭을 사용했습니다. 페이징 또는 오프로딩이라고 하는 방법 중 하나에서는 시스템이 이러한 활성화를 단기 메모리에서 플래시나 SD 카드와 같이 느리지만 더 풍부한 유형의 메모리로 이동한 다음 필요할 때 다시 가져옵니다. 재구체화(rematerialization)라는 또 다른 방법에서는 기계가 활성화를 삭제한 다음 나중에 다시 계산합니다. 이전에는 메모리 감소 시스템이 이 두 가지 트릭 중 하나를 사용했거나, 혁신을 설명하는 논문의 주저자이자 버클리 캘리포니아 대학의 컴퓨터 과학자인 Shishir Patil은 다음과 같은 "휴리스틱"을 사용하여 결합했다고 말했습니다. 차선책”이라고 말하며 종종 많은 에너지가 필요합니다. Patil과 그의 공동 작업자가 보고한 혁신은 페이징과 재물질화의 조합을 공식화합니다.

"이 두 가지 기술을 최적화 문제에 잘 결합한 다음 해결하는 것은 정말 멋진 일입니다."라고 University of California, Riverside의 컴퓨터 과학자인 Jiasi Chen은 말합니다. 일하다.

지난 7월 Patil은 볼티모어에서 열린 국제 기계 학습 컨퍼런스에서 POET(개인 최적 에너지 훈련)라는 시스템을 발표했습니다. 그는 먼저 POET에 장치의 기술적 세부 사항과 그가 훈련시키려는 신경망의 아키텍처에 대한 정보를 제공합니다. 그는 메모리 예산과 시간 예산을 지정합니다. 그런 다음 에너지 사용량을 최소화하는 훈련 프로세스를 만들도록 요청했습니다. 프로세스는 다시 계산하기에는 비효율적이지만 다시 실행하기는 쉽지만 저장하는 데 많은 메모리가 필요한 다른 활성화를 다시 구체화하는 특정 활성화를 페이징하기로 결정할 수 있습니다.

획기적인 발전의 열쇠 중 하나는 문제를 MILP(혼합 정수 선형 프로그래밍) 퍼즐, 일련의 제약 조건 및 변수 간의 관계로 정의하는 것이었습니다. 각 장치 및 네트워크 아키텍처에 대해 POET는 해당 변수를 Patil이 직접 제작한 MILP 프로그램에 연결한 다음 최적의 솔루션을 찾습니다. Chen은 “가장 큰 과제는 실제로 해당 문제를 솔버에 입력할 수 있도록 좋은 방식으로 공식화하는 것입니다.”라고 말합니다. "그러므로 에너지, 대기 시간, 메모리와 같은 현실적인 시스템 역학을 모두 캡처할 수 있습니다."

팀은 RAM 범위가 32KB에서 8GB에 이르는 4개의 서로 다른 프로세서에서 POET를 테스트했습니다. 각각에서 연구원들은 이미지 인식에서 널리 사용되는 두 가지 유형(VGG16 및 ResNet-18)과 널리 사용되는 언어 처리 네트워크(BERT)의 세 가지 다른 신경망 아키텍처를 훈련했습니다. 많은 테스트에서 시스템은 에너지 사용량을 크게 늘리지 않고도 메모리 사용량을 약 80%까지 줄일 수 있었습니다. 비슷한 방법으로는 두 가지를 동시에 수행할 수 없습니다. Patil에 따르면, 이번 연구에서는 이전에는 불가능했던 BERT가 이제 가장 작은 장치에서 훈련될 수 있음을 보여주었습니다.