Wide ResNet, 2016 — 너비로 확장된 Residual Network (딥러닝 이미지 분류 시리즈 1부 ⑩)
깊이의 끝에서 마주한 질문2016년, 딥러닝은 깊이의 끝을 향해 달리고 있었습니다.ResNet은 152층을 넘어 1,000층까지 도달하며,“깊으면 깊을수록 좋다”는 믿음이 거의 종교처럼 굳어졌습니다. 하지만 연구자들은 곧 깨닫게 됩니다.“이제는 너무 깊어서, 이득보다 비용이 크다.” 학습은 느려지고,메모리는 부족하고,무엇보다 네트워크가 불필요하게 복잡해졌습니다. 그때 새로운 발상이 등장합니다.“깊이 대신, 너비를 늘려보자.” 이 단순한 생각이Wide ResNet의 탄생을 이끌었습니다.깊이와 너비, 균형의 시대를 열다. Wide ResNet은 이름 그대로,무작정 깊이를 파고들던 흐름을 멈추고ResNet의 깊이를 줄이는 대신각 층의 채널 수(너비)를 늘린 모델입니다. 기존 ResNet은 100층이 넘는 깊이..
GoogLeNet, 2014 (Inception v1) — 병렬 CNN의 혁신 (딥러닝 이미지 분류 시리즈 1부 ④)
깊이의 한계를 넘어서, 효율을 고민하다2014년, 딥러닝은 폭발적으로 성장하고 있었습니다.AlexNet이 문을 열고, VGGNet이 깊이를 확장하면서CNN은 더 강력해졌지만, 동시에 더 무거워졌습니다. VGGNet 하나를 학습시키는 데 수 주일이 걸리고,GPU 메모리는 금세 바닥났습니다.“더 깊이 쌓을 순 있지만, 효율이 너무 떨어진다.” 그때, Google의 한 연구팀이 새로운 아이디어를 제안합니다.“CNN의 각 층이 같은 크기의 시야로만 본다는 게 과연 최선일까?” 그들이 제시한 답이 바로 Inception 구조,그리고 그 구조를 품은 모델이 GoogLeNet이었습니다.Inception — 하나의 층, 여러 개의 시야GoogLeNet의 핵심은 놀랍도록 간단한 발상에서 출발했습니다. 이미지의 한 부분을..
VGGNet, 2014 — 단순함의 미학 (딥러닝 이미지 분류 시리즈 1부 ③)
복잡성이 지배하던 시대, 단순함으로 승부하다 2014년, AlexNet이 딥러닝 시대의 문을 열자,수많은 연구팀들이 경쟁적으로 더 깊은 네트워크를 설계하려 달려들었습니다. 당시 연구 경향은 화려함과 복잡성이었습니다.다층 구조, 병렬 연결, 다양한 커널 크기의 조합 등,모두 "성능을 높이려면 구조가 복잡해야 한다"는 믿음에서 출발했죠. 그런데, 영국 옥스퍼드의 한 연구팀은 정반대의 길을 택했습니다.그들의 철학은 명확했습니다.“복잡함이 아니라, 단순함 속에서 깊이를 만든다.” 그 팀의 이름은 Visual Geometry Group (VGG),그리고 그들의 모델이 바로 VGGNet이었습니다.3×3, 단 하나의 규칙VGGNet의 구조를 요약하면 놀라울 만큼 간단합니다.“모든 Convolution은 3×3, 모든..
