DarkAct: A RGB-Thermal Dataset and Fusion Framework for Multimodal Low-Light Action Recognition
한 줄 요약
저조도 행동 인식을 가로막던 데이터 공백을 메우기 위해 프레임 단위로 정렬된 RGB–열화상 쌍 영상 12,778개(27개 행동) 규모의 DarkAct 데이터셋을 구축하고, 움직임 기반 주의(MAA)와 조도 적응형 융합(LAF)을 결합한 베이스라인 DarkAct-Net으로 멀티모달 Top-1 74.4%를 달성한 논문.
기존 연구의 한계 & 문제점
행동 인식(HAR)은 지난 10년간 크게 발전했지만, 그 발전이 정상 조명이라는 암묵적 전제 위에서만 이루어졌습니다. UCF101(101클래스/13,320클립), HMDB51, Kinetics-400 같은 표준 데이터셋이 모두 밝은 환경에서 수집됐고, 이들 위에서 좋은 성능을 낸 모델이 곧 SOTA가 되는 구조였습니다. 정작 행동 인식이 실질적으로 필요한 상황 — 야간 감시, 조명 인프라가 부족한 지역, 안전이 걸린 응용 — 은 어두운 환경인데, 어두워지면 사람의 윤곽·색·질감이 무너지고 모션 블러가 겹치면서 모델 성능이 급격히 떨어집니다.
RGB와 열화상을 함께 쓰는 것이 논리적으로 명확한 해법입니다. 열화상은 빛의 반사가 아니라 물체가 내뿜는 적외선 복사를 감지하므로 조명이 전혀 없어도 사람이 배경과 분리되어 나타납니다. 그런데 이 방향의 연구가 지지부진했던 이유는 방법론이 아니라 데이터였습니다. Table 1이 그 공백을 정확히 보여줍니다.
- 저조도 데이터셋은 규모·다양성이 부족: 유일한 저조도 전용 데이터셋 ARID는 11개 클래스 5,572클립에 RGB만 담고 있으며, 대부분 고정 시점의 정적인 인물 중심 장면입니다.
- 열화상이 있는 데이터셋은 정상 조명에서 촬영: UAV-Human(155클래스), PKU-MMD(51클래스/1,076클립)는 열화상을 포함하지만 밝은 환경에서 수집됐고, PKU-MMD는 규모 자체가 작으며 다중 장면·다중 시점도 지원하지 않습니다.
- 대안 모달리티는 배치 비용 문제: depth, skeleton, IMU(가속도·자이로) 기반 데이터셋은 센서가 비싸거나 대규모 실환경 배치가 비현실적입니다. 반면 열화상은 저비용이면서 조도 불변이라는 장점이 있습니다.
즉 “어둡고, 크고, RGB–열화상이 정확히 정렬된” 데이터셋이 존재하지 않았기 때문에, 저조도 멀티모달 HAR은 제대로 시작조차 못 한 상태였다는 것이 이 논문의 문제의식입니다. 저자들은 여기에 더해, 데이터가 생기자마자 기존 방법론의 한계도 드러난다는 점을 실험으로 보입니다 — 기존 RGB-T 융합 프레임워크(CMX, MRFS, DFormerv2 등)들은 DarkAct에서 단일 모달 모델보다도 낮은 성능을 냈고(최고 52.7 vs 열화상 단독 69.1), 최신 VLM들은 zero-shot에서 전부 Top-1 20% 미만에 머물렀습니다. 기존 융합 설계가 저조도라는 조건을 전혀 상정하지 않았다는 방증입니다.
핵심 방법론 (3줄 요약)
- 핵심 아이디어: DarkAct-Net은 RGB와 열화상을 각각 독립 임베딩한 뒤 MViTv2-B 백본에 태우는 이중 스트림 Transformer로, 여기에 **Motion-Aware Attention(MAA)**과 Light-Adaptive Fusion(LAF) 두 모듈을 얹어 "어디를 볼지(사람의 움직임)"와 "어느 모달을 믿을지(조도)"를 분리해 푼다는 발상입니다(Figure 3).
- 구체적 동작: MAA는 인접 프레임 차분에 사인 매핑과 정규화를 적용해 움직임이 살아있는 영역만 강조한 temporal saliency를 만들고, max/avg pooling과 학습 가능한 매핑 행렬로 공간 오차에 둔감한 query를 만들어 채널 축 attention을 수행합니다 — 저조도 배경 노이즈를 억제하는 동시에 이원 카메라(binocular)의 픽셀 단위 정합 오차까지 흡수하는 설계입니다. LAF는 각 Transformer stage 뒤에 삽입되어, 두 모달의 motion-enhanced 특징과 stage 특징을 곱해 만든 동적 query, 3×3 dilated conv + Sigmoid로 뽑은 모달별 key, 상호 cross-attention 후 pooling·MLP로 합친 cross-modal value로 attention을 계산해 조도와 모달 신뢰도에 따라 융합 비중을 스스로 조절합니다.
- 문제 해결과의 연결: "열화상이 어둠에 강하지만 질감 정보가 없고, RGB는 밝을 때만 유용하다"는 상보성을 고정 가중치가 아니라 장면별로 학습된 가중치로 처리하기 때문에, 기존 융합 기법이 단일 모달보다도 못했던 실패(Table 2)를 넘어 열화상 단독 대비 +5.3%p를 추가로 얻어냅니다.
실험 결과
학습/평가는 DarkAct의 공식 분할(train 9,040쌍 / test 3,738쌍) 위에서 Top-1·Top-5 정확도로 보고됩니다. DarkAct-Net은 사전학습 없이 random init으로 학습됐습니다(비교군 단일 모달 모델 대부분은 Kinetics-400/ImageNet-21K 사전학습 사용).
주요 벤치마크
| 벤치마크 | 기존 SOTA | 이 논문 | 개선폭 |
|---|---|---|---|
| DarkAct 멀티모달 Top-1 | 52.7 (MRFS, CVPR 2024) | 74.4 | +21.7 |
| DarkAct 멀티모달 Top-5 | 76.6 (CMX, TITS 2022) | 92.9 | +16.3 |
| DarkAct 열화상 단독 Top-1 | 69.1 (MViTv2-B) | 74.4 | +5.3 |
| DarkAct RGB 단독 Top-1 | 62.1 (Conv2Former) | 74.4 | +12.3 |
| VLM zero-shot Top-1 (RGB+T) | 18.1 (Qwen3-VL-7B) | 74.4 | +56.3 * |
* VLM은 zero-shot 평가라 학습된 모델과 직접 비교 대상은 아닙니다. 수치의 의미는 "이 벤치마크에서 파운데이션 모델의 일반화가 사실상 작동하지 않는다"는 쪽에 가깝습니다.
주목할 만한 결과
1) Ablation — 두 모듈이 상보적으로 기여 (Table 4)
| 변형 | Top-1 | Top-5 |
|---|---|---|
| DarkAct-Net (full) | 74.4 | 92.9 |
| w/o MAA | 71.2 | 89.8 |
| w/o LAF | 72.3 | 88.4 |
| w/o MAA + LAF (단순 이중 스트림) | 70.9 | 90.7 |
둘 중 하나만 빼도 명확히 떨어지고, 둘 다 제거하면 3.5%p 하락합니다. 다만 두 모듈을 각각 제거했을 때의 하락폭(3.2 / 2.1)의 합이 동시 제거 하락폭(3.5)보다 크다는 점은, 두 모듈의 기여가 어느 정도 중첩된다는 뜻으로도 읽힙니다.
2) 열화상 우위는 아키텍처와 무관하게 일관
비교한 17개 단일 모달 모델 전부에서 열화상 학습이 RGB 학습을 앞섰습니다(I3D 48.5→64.1, MViTv2-B 57.1→69.1, VideoSwin 51.6→63.9). 저조도에서 열화상이 선택이 아니라 필수라는 점을 데이터로 못 박은 셈입니다.
3) 기존 멀티모달 융합이 단일 모달보다 못하다는 역전 현상
CMX 52.6, MRFS 52.7, DFormerv2 51.1, CDDFuse 34.8 — 모두 열화상 단독 최고치(69.1)에 크게 못 미칩니다. 저자들은 이 기법들이 애초에 다른 센서/다른 태스크(주로 semantic segmentation)를 겨냥해 설계됐기 때문이라고 해석합니다. 이 논문에서 가장 인상적인 결과이자, "새 벤치마크가 왜 필요한가"를 가장 잘 보여주는 대목입니다.
4) VLM은 전멸 (Table 3)
GPT-5(17.9), Gemini-2.5-Pro(13.2), Claude 4.0 Sonnet(10.1), Qwen3-VL-7B(18.1) 등 10개 모델 전부 Top-1 20% 미만. 흥미로운 건 VLM에서도 열화상 입력이 RGB 입력보다 일관되게 낫고(예: Qwen3-VL 6.6→17.9), RGB+열화상이 가장 높다는 점입니다. 열화상을 본 적 거의 없을 사전학습 분포에서도 신호 자체가 그만큼 강하다는 의미로 보입니다.
5) 시점 강건성 (Figure 4)
거리별로는 모든 모델이 멀어질수록 하락(DarkAct-Net: Near 78.9 → Medium 77.7 → Far 74.2)해 예상대로지만, 시점 변화에서는 차이가 큽니다. CMX는 upward 69.9 / eye-level 54.0 / downward 56.1로 최대 15.9%p 진폭, MViTv2-B(열화상)도 75.7 / 65.7 / 73.2로 흔들리는 반면, DarkAct-Net은 78.4 / 77.3 / 78.1로 거의 평탄합니다. MAA가 시점에 따라 변하는 외형 대신 움직임 자체에 집중하도록 만든 효과로 설명됩니다.
6) 데이터셋 자체의 품질 지표
30fps 동기화, 클립 길이 4.5~19.1초(평균 5.4초), 총 19.2시간, 볼런티어 11명(남 7·여 4), 중국 중부에서 5~6월 야간 20:00–23:00 촬영, Dahua DH-TPC-BF2241 이원 카메라(높이 0.8~3m, 앙각 ±30°). 프레임 단위 동기화 검수와 제3자 팀 감수를 포함해 총 650시간 이상의 수작업 처리가 들어갔습니다. R/G/B/Y 픽셀 분포가 0 근처에 몰려 있다는 통계(Figure 2 C–F)로 "실제로 어둡다"는 것을 정량적으로 뒷받침한 점도 좋습니다.
한계 & 개선해야 되는 점
저자들이 인정한 한계
- 논문에 별도의 Limitations 절이 없습니다. 아래는 본문 서술에서 저자들이 스스로 드러낸 제약들입니다.
- 이원 RGB–열화상 카메라 구조상 두 스트림이 픽셀 단위로 완벽히 정렬되지 않으며, MAA의 spatial-tolerant query는 이 정합 오차를 "완화"하는 장치일 뿐 근본 해결책은 아닙니다(Section 4.1).
- 야간 촬영 가능 시간대가 20:00–23:00으로 제한되어 데이터 수집에만 약 2개월이 걸렸고, 그만큼 수집 조건의 폭이 시간대에 묶여 있습니다.
- 조명에 의존적인 행동(야외 구기 종목, 자전거 등)은 애초에 클래스에서 제외했습니다. 27개 클래스는 "야간에 관측 가능한 행동"으로 이미 한 번 걸러진 집합입니다.
- 기존 멀티모달 융합 기법이 단일 모달보다 성능이 낮다는 점을 저자들도 명시적으로 인정하며, 이를 "새로운 융합 메커니즘이 필요하다"는 근거로 사용합니다.
리뷰어가 느낀 개선점
- 피험자 분리 여부가 불명확합니다. train 9,040 / test 3,738으로 나눴다고만 밝히고, 볼런티어 11명이 학습·테스트에 중복 등장하는지 언급이 없습니다. 인물 단위 분리(cross-subject)가 아니라면 74.4%라는 수치에 피험자 암기 효과가 섞여 있을 수 있고, NTU RGB+D 등이 cross-subject/cross-view 프로토콜을 표준으로 제공하는 것과 대비됩니다. 벤치마크를 표방하는 논문이라면 이 부분은 반드시 명시돼야 합니다.
- 비교 조건이 통일되지 않았습니다. DarkAct-Net은 random init인 반면 단일 모달 비교군은 Kinetics-400/ImageNet-21K 사전학습을 씁니다. 자기 모델에 불리한 방향이라 결과 자체를 의심할 이유는 없지만, "사전학습 붙이면 얼마나 더 오르는가"라는 당연한 질문에 대한 답이 없습니다. 백본도 MViTv2-B 하나로 고정되어 MAA/LAF가 다른 백본으로 이식 가능한지 검증되지 않았습니다.
- Ablation이 4행뿐이라 모듈 내부 설계의 근거가 약합니다. MAA의 사인 매핑, spatial-tolerant query, LAF의 동적 query·cross-modal value 같은 개별 설계 선택이 각각 얼마나 기여하는지, LAF를 몇 개 stage에 넣는 것이 최적인지에 대한 실험이 없습니다. 특히 사인 매핑은 "미세한 시간 변화의 국소 대비를 키운다"는 직관적 설명만 있고 대안(단순 차분, tanh 등)과의 비교가 없습니다.
- 연산 비용이 전혀 보고되지 않았습니다. 파라미터 수, FLOPs, 추론 FPS가 없습니다. 이 논문의 주 동기가 야간 감시 같은 실배치인데, 이중 스트림 + 전 stage LAF 구조의 비용을 알 수 없으면 엣지 배치 가능성을 판단할 수 없습니다. A800 2장으로 학습했다는 정보만으로는 부족합니다.
- 일반화 검증이 DarkAct 내부에 갇혀 있습니다. ARID나 정상 조명 데이터셋으로의 cross-dataset 전이, 혹은 열화상이 없는 환경에서의 degradation 실험이 없어, DarkAct-Net이 저조도 HAR 일반에 대한 해법인지 이 데이터셋에 대한 해법인지 구분되지 않습니다.
- RGB의 실제 기여분이 불투명합니다. 열화상 단독 69.1 → 융합 74.4는 +5.3%p이고, 이 중 3.5%p는 ablation상 MAA+LAF 모듈 자체의 기여로 보입니다. 그렇다면 RGB 모달이 순수하게 더한 정보는 얼마인지, 조도 구간별(weakly visible / almost invisible)로 나눠 보면 어디서 RGB가 실제로 도움이 되는지에 대한 분해 분석이 있어야 "적응형 융합"이라는 주장이 완성됩니다. 조도 3단계 라벨을 데이터셋이 이미 갖고 있으므로(Figure 1) 충분히 가능한 실험입니다.
- 사소한 표기 문제: Table 3의
Qwen3-VL-7B는 인용 [2]가 Qwen2.5-VL 기술보고서를 가리켜 모델명/인용이 어긋나 있고,Claude 4.0 Sonnet역시 참고문헌에는 Claude Sonnet 4로 적혀 있습니다. VLM 평가 시점의 모델 버전과 프롬프트 설정이 부록에만 있어 재현 시 확인이 필요합니다.
이 리뷰는 AI-ResearchLab 팀이 작성했습니다. 오류나 의견은 이슈로 남겨주세요.