관리 메뉴
목록2026/02/05 (1)
0xFF
QCS6490 Linux Host에서 LLM 구동 실험
Radxa Q6A의 SoC인 QCS6490에는 Hexagon DSP가 탑재되어 있다.이름은 DSP지만, Dragonwing 같은 칩셋에 내장된 최신 헥사곤 아키텍처에는 하드웨어 차원의 벡터 및 텐서 연산 기능이 추가되어 NPU로도 기능한다고 한다.그렇다면 로컬 LLM 구동도 가능할까 싶어 알아보니 가능하다고 한다!간략히 알아본 바 퀄컴에서 제공하는 Qualcomm AI Engine Direct 라는 SDK(이하 QNN SDK)를 사용하여 타겟 보드에서 사용하고자 하는 onnx 포맷의 모델을 dlc 라는 확장자를 갖는 자체 포맷으로 변환 및 양자화(선택)하여 타겟 디바이스에 맞게 변환하고,이를 QNN SDK에서 제공하는 런타임으로 타겟 디바이스의 NPU에서 구동한다는 흐름이다.하지만 Qualcomm AI ..
LINUX
2026. 2. 5. 22:35