文章介绍
AI是高通一直关注的领域，为此推出了高通Qualcomm AI Stack，提供了一个集成所有AI框架（如TensorFlow、PyTorch、ONNX、Keras）、开发者库、系统软件和操作系统的整合平台，有不同层面的架构支持，能够助力开发人员一次开发，即可跨不同终端和操作系统进行扩展，赋能生态系统。高通进一步推出了Qualcomm AI Stack Models，演示了使用Qualcomm AI Stack端到端的解决方案，以及使用到的AI模型，也提供模型精度调优的例子。Qualcomm AI Stack Models的代码可以在这里获得
https://github.com/quic/ai-stack-models/tree/main/
本文主要介绍Qualcomm AI Stack Models代码仓库中的AI解决方案部门，下图是解决方案的工作流程。
参考下面的部署，把示例代码部署到不同的操作系统平台上
AI 解决方案
1. Linux版本 AI solution
- 根据QCS8550.LE.1.0的release note，下载基线并编译基线，下载到设备确认能正常启动
- 编译生成ai-solutions app文件，并下载对应的镜像到设备，确认ai-solutions app在对应目录下(build-qti-distro-fullstack-debug/tmp-glibc/work/qrb5165_rb5-oe-linux/qti-robotics-image/1.0-r0/rootfs/usr/bin/)
- 运行ai-solutions app，确认结果
命令：ai-solutions -c
-i -o 2. Ubuntu版本 AI solution
1）electron-gui：
I. electron_app_ui目录：该目录包含UI代码，并处理启动UI并将其连接到flask server的部分。在这里，用户提供输入图像，选择人工智能模型供他们使用。所有这些信息都使用ajax请求发送到python。
- 安装依赖项：
- pip install empatches flask opencv-python pillow icecream flask_cors zmq pyinstaller numpy==1.24.3
- 创建sr_dlc目录并将dlc放在此目录，dlc按照models-for-solutions目录生成
- 开始运行flask server：python server.py
- 服务器端口为9081，查看网页为http://localhost:9081
II. SNPE_CPP_CODE目录：这是Flask server的服务。这将在网络上运行经过预处理的图像，并将模型给出的输出返回到Flask Server。
- 将zmq_support.patch打到SNPE SDK,然后将examples/NativeCpp/SampleCode/jni拷贝到SNPE_CPP_CODE
- 根据您的设置更改SNPE_CPP_Code的CmakeLists.txt中的以下路径：
set (SNPE_ROOT "/opt/qcom/aistack/snpe/2.12.0.230626/")
set (SNPE_INCLUDE_DIR "${SNPE_ROOT}/include/SNPE")
set (SNPE_LIB_PREFIX "${SNPE_ROOT}/lib")
set (_dtuple_POSTFIX ubuntu-gcc7.5)
- 创建build目录然后编译
mkdir build
cd build
mkdir Release
cmake --build ./
III. python_flask_server目录：Electron UI充当前台，Flask server在后台处理来自Electron用户界面的请求。它获取elecron UI提供的所有信息，并在此处对接收到的图像进行预处理，然后将处理后的图像提供给SNPE_CPP_CODE以运行所选模型。SNPE_CPP_CODE返回模型的输出，然后我们将模型给出的数据处理成人们可以理解的形式，并将其返回到Electron UI进行显示。
- 安装npm依赖包：npm install
- Start UI：
node package_snpe_cpp.js && node package_python.js
npm start
- 生成package
npm install
export USE_SYSTEM_FPM=true
npm run package
- 安装package
dpkg -i
.deb - 运行app
setx DISPLAY 127.0.0.1:0.0
ssh -X root@target_ip NOTE:(default password:- oelinux123)
echo "X11Forwarding yes" >> /etc/ssh/sshd_config
export DISPLAY="localhost:10.0"
ai-solutions --no-sandbox
3. Windows版本AI solution
1）angular-app-nlp
I. python_flask_server目录
- 安装依赖项：
- pip install empatches flask opencv-python pillow icecream flask_cors zmq pyinstaller numpy==1.24.3
- 创建sr_dlc目录并将dlc放在此目录，dlc按照models-for-solutions目录生成
- 开始运行flask server：python server.py
- 服务器端口为9081，查看网页为http://localhost:9081
II. SNPE_CPP_CODE目录
- 将zmq_support.patch打到Windows SNPE SDK,然后将所有文件拷贝到SNPE_CPP_CODE
- ZeroMQ库，请参照如下命令
libzmq:
git clone https://github.com/zeromq/libzmq.git
cd libzmq
mkdir build
cd build
cmake ../. -G "Visual Studio 17 2022" -D WITH_PERF_TOOL=OFF -D ZMQ_BUILD_TESTS=OFF -D ENABLE_CPACK=OFF -D CMAKE_BUILD_TYPE=Release
Open ZeroMQ.sln in Visual Studio
In Solution Directory, right click on INSTALL and build solution
See that the ZeroMQ is installed in C Drive.
Cppzmq:
git clone https://github.com/zeromq/cppzmq.git
cd cppzmq
mkdir build
cd build
`cmake ../. -G "Visual Studio 17 2022"
Open cppZMQ.sln in Visual Studio
In Solution Directory, right click on INSTALL and build solution
Confirm that cppzmq is installed in C Drive.
- 根据您的设置更改SNPE_CPP_Code的CmakeLists.txt中的以下路径：
set (SNPE_INCLUDE_DIR "C:/Qualcomm/AIStack/SNPE/2.12.0.230626/include/SNPE")
set (SNPE_LIB_PREFIX "C:/Qualcomm/AIStack/SNPE/2.12.0.230626/lib")
set (ZERO_MQ_PATH "C:/Program Files (x86)/ZeroMQ")
根据您的设置更改DLL文件名： get_filename_component(ZMQ_DLL_PATH "${ZERO_MQ_PATH}/bin/libzmq-v143-mt-gd-4_3_5.dll" REALPATH BASE_DIR ${CMAKE_CURRENT_SOURCE_DIR})
- 创建build目录然后编译
Mkdir build
Cd build
cmake ../ -G "Visual Studio 17 2022" -A ARM64
cmake --build ./ --config Release
III. Electron app UI目录
- 运行生成.exe文件
npm install
npm run build
npm run dist
- 可以在release文件夹下找到exe文件，运行文件
- 使用命令npm start就可以在浏览器中打开应用程序
2）electron-app-cv（参照angular-app-nlp流程）
作者：高通工程师，戴忠忠（Zhongzhong Dai）
- 运行生成.exe文件
- 创建build目录然后编译
- 根据您的设置更改SNPE_CPP_Code的CmakeLists.txt中的以下路径：
- 运行app
- 安装package
- 生成package
- 创建build目录然后编译