추론 장치 API¶
임베디드 칩셋의 neural processing unit(NPU) 모듈은 가속화된 AI 연산 기능을 제공합니다. 일반 추론 모델 파일(Tensorflow, Pytorch, ONNX 등)을 칩셋사가 제공하는 SDK를 이용하여 변환된 파일을 Oasis는 사용합니다.
헤더 파일¶
OasisInference.h
함수¶
int32_t
createInferenceEngine
(
key_value_map_t &
parameters
)
OasisInference.h
추론 장치를 초기화 합니다. 칩셋에 따라서 복수 개의 모델 파일을 로딩할 수 있습니다.
매개변수
parameters
추론 장치 초기화에 필요한 key-value map 입니다.
리턴값
- 0: 성공
- -1: 실패
oasis::createInferenceEngine 함수의 매개변수로 전달할 수 있는 key-value map은 아래와 같습니다.
키
기본값
필수
설명
model-path
○
추론 장치 파일 경로입니다.
void
destroyAllInferenceEngines
(
)
OasisInference.h
모든 추론 장치를 제거합니다.
예제¶
아래는 oasis::initialize() 호출 후에 추론 장치를 생성하는 예입니다.
oasis::key_value_map_t parameters;
parameters["model-path"] = "/mnt/sd/model.nef";
oasis::createInferenceEngine(parameters);