Hugging Face 토크나이저를 네이티브 OpenVINO 추론 모듈로 실행하기
Hugging Face 토크나이저를 OpenVINO IR 모델로 변환하고 추론 파이프라인 내에서 네이티브하게 토크나이제이션을 실행하여 배포 경로에서 Python 전용 전처리를 제거합니다. Intel Corporation은 OpenVINO 내에서 토크나이제이션 및 디토크나이제이션을 포함하기 위해 이 확장을 제공합니다. Python 및 C++ API가 있습니다. 주요 기능에는 IR 변환, 결합된 토크나이저+모델 파이프라인 및 사용자 정의 정규 표현식/정규화 작업이 포함됩니다. 이 도구는 생산 또는 엣지 시나리오를 위해 Intel 하드웨어에서 경량의 C++ 기반 LLM 배포가 필요한 AI 개발자 및 엔지니어를 대상으로 합니다.
토크나이저 로직을 OpenVINO 모델로 변환하여 네이티브 파이프라인 사용
이 도구는 Hugging Face 토크나이저를 OpenVINO 중간 표현 모델로 변환하여 토크나이제이션이 외부 Python 단계가 아닌 OpenVINO 런타임 내에서 실행되도록 합니다. 변환은 Byte-Pair Encoding, WordPiece 및 SentencePiece와 같은 일반적인 토크나이저 알고리즘을 지원합니다. 그런 다음 토크나이저 IR을 주요 모델과 결합하여 단일 추론 시퀀스가 텍스트 입력을 토크나이제이션에서 모델 출력으로 처리하여 외부 전처리 단계를 줄입니다.
토크나이저에 대한 CPU 전용 추론은 배포 선택에 영향을 미침
토크나이저는 OpenVINO 런타임 내에서 CPU에서 실행되며, 이는 이질적인 시스템에서 텍스트 전처리를 어디에 배치할지를 영향을 미칩니다. 주요 AI 모델은 CPU, GPU 또는 NPU를 대상으로 할 수 있지만, 토크나이저 구성 요소는 프로세서에서 실행되므로 대량 또는 저지연 텍스트 작업 부하에 맞게 CPU 용량을 계획해야 합니다. 이 확장은 Intel 프로세서에 최적화되어 있으며 호스트에서 OpenVINO 런타임이 사용 가능하다고 가정합니다.
Python 종속성 없이 작동하며 C++ 생산 빌드에 적합
이 프로젝트는 Python 및 C++ API를 모두 노출하며, 생산에서 서드파티 Python 토크나이저 라이브러리를 제거하여 완전히 네이티브 C++ 추론 파이프라인을 명시적으로 활성화합니다. C++ 애플리케이션이나 엣지 펌웨어에 LLM을 포함하는 팀의 경우 외부 런타임 종속성을 줄입니다. C++ 환경에서는 토크나이저를 소스에서 빌드하거나 이진 확장으로 사용할 수 있으며, 일반적인 네이티브 빌드 워크플로와 일치합니다.
안전성, 처리 옵션 및 OpenVINO GenAI와의 통합
이 도구는 정규 표현식 기반 정리 및 정규화와 같은 결정론적 전처리 단계를 토크나이저 IR 내에서 지원하여 텍스트 처리를 위한 읽기 전용 추론 흐름을 유지합니다. OpenVINO GenAI 및 Optimum Intel과 통합되어 토크나이제이션을 모델 배포와 일치시킵니다. 이 프로젝트는 Intel에 의해 적극적으로 유지 관리되며, 전처리를 추론 경계 내에 유지하면서 배포 공간을 줄이는 데 초점을 맞추고 있습니다.
CPU 트레이드 오프가 있는 생산 C++ LLM 배포를 위한 실용적인 도구
이 도구는 Python 런타임 종속성을 제거하고 추론 파이프라인 내에서 토큰화를 실행해야 하는 개발자에게 적합하며, Intel의 지속적인 유지 관리가 아키텍처 업데이트를 지원합니다. 유일한 주목할 만한 트레이드 오프는 토크나이저 추론이 CPU에서 실행된다는 점이므로, 팀은 높은 요청량이나 대량 전처리를 처리할 때 프로세서 용량을 준비해야 합니다. 최소한의 런타임 종속성을 우선시하는 생산 C++ 또는 엣지 빌드의 경우, 이 도구는 해당 제약 조건으로 명확한 운영상의 이점을 제공합니다.
