[PAPER REVIEW] Evaluating and Improving Hybrid Fuzzing (ICSE'23)

BACKGROUND

Hybrid Fuzzing

• Fuzzing과 Concolic Execution 결합하여 프로그램 취약점 노출 극대화
• 퍼징이 효과적이지 않은 문제 해결 위해 사용

 

MOTIVATION

• 기존 하이브리드 퍼저는 벤치마트나 seed corpora와 같이 동등한 평가 설정에서 평가하는 경우 기존 커버리지 가이드 퍼저보다 우월하지 않음
  • 특히, QSYM, Eclipser는 벤치마크 프로그램을 대상으로 평가하지 않음
  • Intriguer는 QSYM과만 비교
  → 기존 하이브리드 퍼저에 대한 종합적 연구 필요
• → 최초로 하이브리드 퍼저 대상으로 광범위한 연구 진행 (7개의 하이브리드 퍼저 QSYM, Angora, Eclipser, Intriguer, DigFuzz, MEUZZ, Pangolin를 벤치마크와 15개의 기존 연구에서 일반적으로 적용되는 프로그램 대상으로 연구)
• 기존 하이브리드 퍼저의 한계
  • 기존 하이브리드 퍼저 성능이 다른 실험 환경에 일반화되지 않을 수 있다는 결과 확보 → Intriguer와 MEUZZ는 QSYM을 능가한다고 논문에 적었지만, 벤치마크로 평가한 결과 QSYM이 Intriguer와 MEUZZ를 9.69% 능가하며 edge 커버리지 측면에서도 6.29% 더 확보
  • 하이브리드 퍼징 성능 이점이 기존 커버리지 가이드 퍼저보다 제한적 → tcpdump 대상으로 AFL++이 하이브리드 퍼저인 Intriguer와 MEUZZ를 7.02%, 4.77% 능가함
  • 퍼징 전략이나 concolic executor를 업데이트하는 방식 대신 coordination mode를 업데이트하는 것이 하이브리드 퍼저 성능에 중요한 영향을 줌

⇒ coordination mode를 업그레이드하여 하이브리드 퍼저 효율성을 향상시키는 CoFuzz 제안

 

DESIGN

• edge-oriented scheduling
  • online linear regression model을 stochastic gradient descent와 함께 사용하여 hard-to-cover edge를 스케줄링 → concolic executor에서 hard-to-cover edge를 해결할 수 있게 함
• sampling-augmenting synchronization
  • 간격 경로 추상화와 John Walk를 통해 퍼징 전략을 적용하기 위한 시드 도출
  • 점진적으로 모델을 업데이트함

 

IMPLEMENTATION

하이브리드 퍼저 QSYM 기반으로 구현

 

EVALUATION

• 기존 하이브리드 퍼저 QSYM보다 16.31% 높은 에지 커버리지 확보
• 기존 커버리지 가이드 퍼저 AFL보다 32.44% 높은 에지 커버리지 확보
• 기존 하이브리드 퍼저보다 약 2배 많은 크래시 확보
• 30개의 버그 중 8개는 CVE 할당받고 20개는 패치됨

 

CONCLUSION

CONCLUSION

• 기존 하이브리드 퍼저 7개를 연구하여 한계를 도출하고, 이를 해결하기 위해 edge-oriented scheduling과 sampling-augmenting synchronization 접근 방식 사용한 CoFuzz 제안

CONTRIBUTION

• 처음으로 하이브리드 퍼저의 광범위한 연구 진행하여 기존 하이브리드 퍼저 한계를 제시
• 기존 하이브리드 퍼저 한계 해결하기 위해 제안한 CoFuzz는 QSYM보다 16.31% 더 높은 에지 커버리지 확보하고, 37개의 새로운 버그 탐지

DISCUSSION

• 왜 커버리지 가이드 퍼저는 AFL보다 최신 퍼저인 AFL++과 비교하지 않았는지?