基于 TI AM62 测试 QtWayland 部署
- 关键词：ARM,Linux,QtWayland
- 作者：By Toradex秦海
- 摘要：目前主流的 ARM 平台嵌入式 Linux BSP 的显示后端基本都已经从 X11 升级到了 Wayland， 而常用的 Wayland Compositor - Weston 对于 Linux 下常用的 Qt 图形界面开发框架的一些 Plugin (比如 Qt VirtualKeyboard) 的配合并不完善，因此本文就基于 TI AM62 处理器平台测试 Qt 提供的 Wayland Compositor - QtWayland 的部署测试。
1). 简介
目前主流的 ARM 平台嵌入式 Linux BSP 的显示后端基本都已经从 X11 升级到了 Wayland， 而常用的 Wayland Compositor - Weston 对于 Linux 下常用的 Qt 图形界面开发框架的一些 Plugin (比如 Qt VirtualKeyboard) 的配合并不完善，因此本文就基于 TI AM62 处理器平台测试 Qt 提供的 Wayland Compositor - QtWayland 的部署测试。
本文所演示的平台来自于 Toradex Verdin AM62 嵌入式平台。
2. 准备
a). Verdin AM62 ARM核心版配合Dahlia 载板，并连接调试串口和 HDMI 显示器以及 USB 触摸/鼠标用于测试。
3). Verdin AM62 Yocto Linux 编译部署以及配置
a). 由于需要增加对Qt Eglfs/KMS, QtWayland 和 Qt VirtualKeyboard 的支持，需要通过Yocto/Openembedded 框架重新编译 Yocto Linux BSP，具体的配置方法请参考这里，部署如下修改后编译Reference-Multimedia image镜像
-------------------------------
### local.conf，增加Qt eglfs/kms, Qtwayland 和 Qt VirtualKeyboard 支持 ###
+ TOOLCHAIN_TARGET_TASK:append = " libgles3-mesa-dev"
+ IMAGE_INSTALL:append = " qtvirtualkeyboard qtwayland ttf-droid-sans ttf-droid-sans-fallback ttf-droid-sans-mono ttf-droid-serif freetype"
+ PACKAGECONFIG:append:pn-qtvirtualkeyboard = " lang-zh_CN"
+ PACKAGECONFIG:append:pn-qtbase = " gles2extra eglfs kms"
+ PACKAGECONFIG_DISTRO:pn-qtbase = "icu examples accessibility gif gbm kms libinput"
+ PACKAGECONFIG_FONTS:pn-qtbase = "fontconfig"
+ PACKAGECONFIG:remove:pn-qtwayland = "xcomposite-egl xcomposite-glx"
### layers/meta-toradex-ti/qt5-layer/recipes-qt/qt5/qtbase_%.bbappend，注释掉以下内容 ###
############################### TDX added
# from meta-arago/conf/layer.conf
-PACKAGECONFIG_GL:am62xx = "gles2extra linuxfb"
-PACKAGECONFIG_DISTRO:am62xx = "icu examples accessibility gif gbm kms libinput"
-PACKAGECONFIG_FONTS:am62xx = "fontconfig"
+#PACKAGECONFIG_GL:am62xx = "gles2extra linuxfb"
+#PACKAGECONFIG_DISTRO:am62xx = "icu examples accessibility gif gbm kms libinput"
+#PACKAGECONFIG_FONTS:am62xx = "fontconfig"
-PACKAGECONFIG:remove:am62xx = "kms"
-PACKAGECONFIG:remove:am62xx = "vulkan"
-PACKAGECONFIG:remove:am62xx = "glib xcb"
+#PACKAGECONFIG:remove:am62xx = "kms"
+#PACKAGECONFIG:remove:am62xx = "vulkan"
+#PACKAGECONFIG:remove:am62xx = "glib xcb"
# they don't apply without changes, drop them for now
-SRC_URI:remove = " \
- file://0002-deform-disable-opengl-button.patch \
- \
- file://0001-deform-Fix-how-controls-are-shown.patch \
- file://0001-qtbase-plugins-platforms-eglfs_kms-fix-compiler-erro.patch \
- file://0001-eglfs-Force-888-format-only-on-env-flag.patch \
-"
+#SRC_URI:remove = " \
+# file://0002-deform-disable-opengl-button.patch \
+# \
+# file://0001-deform-Fix-how-controls-are-shown.patch \
+# file://0001-qtbase-plugins-platforms-eglfs_kms-fix-compiler-erro.patch \
+# file://0001-eglfs-Force-888-format-only-on-env-flag.patch \
+#"
### compile Reference-Multimedia image ###
$ MACHINE="verdin-am62" bitbake bitbake tdx-reference-multimedia-image
### compile SDK ###
$ MACHINE="verdin-am62" bitbake tdx-reference-multimedia-image -c populate_sdk
-------------------------------
b). Yocto Linux image部署
参考这里通过Toradex Easy installer将上面编译好的image更新部署到模块
c). 显示配置
./ HDMI默认即可正常显示，如果实际测试是连接其他接口如 LVDS 等显示设备，可以参考这里调整 Device-Tree Overlay 设置来使能相关的显示设备。
./ 输入设备如 USB HID 电容式触摸或者 USB 鼠标通常无需额外设置，插上即可使用。
4). Qtwayland compositor 编译部署
a). Qt Qtwayland组件可以非常方便的使用C++/QML语言开发定制化的Wayland compositor，详细说明请见这里，也提供了很多sample project供参考
b). 本文测试所使用的Qtwayland compositor 来自于Qt 官方的 Pure-qml sample 示例，源代码请参考这里，这是一个基于 QML 开发的并且支持 Qt VirtualKeyboard plugin 的简单 Qtwayland compositor
c). 参考这里说明使用上面章节 3.a编译出的SDK文件配置 Qtcreator IDE 工具交叉编译环境，然后下载 Pure-qml 工程源代码后通过 Qtcreator IDE 进行交叉编译，生成 pure-qml 可执行二进制文件上传到 Verdin AM62 Linux 系统中
d). 使用编译好的 pure-qml Qtwayland compositor 替换系统默认的Weston compositor
./ 创建pure-qml.sh执行脚本文件
-------------------------------
# copy pure-qml binary to /usr/bin
$ cp pure-qml /usr/bin/
# create pure-qml.sh script, detailed content in below
$ vi /usr/bin/pure-qml.sh
# add executable permission
$ chmod +x pure-qml.sh
-------------------------------
./ pure-qml.sh – 由于系统 DRM 挂载显示设备在启动过程中，其对应的 card 号码可能会变化， 因此脚本前面先对 “kms.conf” 文件里面的设置和系统启动后的设备card0 或者 card1 进行匹配修改，然后再启动compositor。
-------------------------------
#!/bin/sh
set -e
# modify kms.conf if seetings is not consistent with system drm card device name
if [ -d /sys/class/drm/card0-HDMI-A-1 ];then
sed -i '2 s/card1/card0/' /etc/qt5/eglfs_kms_cfg.json
fi
if [ -d /sys/class/drm/card1-HDMI-A-1 ];then
sed -i '2 s/card0/card1/' /etc/qt5/eglfs_kms_cfg.json
fi
# execute qtwayland compositor
/usr/bin/pure-qml &
-------------------------------
./ 创建Qtwayland systemd service 文件，参考这里说明，Qt VirtualKeyboard 基于 Wayland Compositor 使用时候，需要在 Compositor 侧配置 “QT_IM_MODULE” 环境变量，而不是应用侧。
-------------------------------
$ vi /lib/systemd/system/qtwayland.service
------
# This is a system unit for launching QtWayland
[Unit]
Description=Qt Wayland, a Wayland compositor, as a system service
RequiresMountsFor=/run
# Make sure we are started after logins are permitted.
Requires=systemd-user-sessions.service
After=systemd-user-sessions.service
After=plymouth-quit-wait.service
Before=graphical.target
[Service]
Environment="QT_QPA_EGLFS_KMS_CONFIG=/etc/qt5/eglfs_kms_cfg.json"
Environment="QT_QPA_EGLFS_INTEGRATION=eglfs_kms"
Environment="QT_QPA_PLATFORM=eglfs"
Environment="QT_QPA_EGLFS_KMS_ATOMIC=1"
Environment="QT_IM_MODULE=qtvirtualkeyboard"
ExecStart=/usr/bin/pure-qml.sh
User=root
Group=root
PAMName=login
StandardOutput=journal
StandardError=journal
[Install]
WantedBy=graphical.target
------
-------------------------------
e). 测试Qtwayland compositor
-------------------------------
### disable default Weston compositor and Qt demo app ###
$ systemctl disable weston.service
$ systemctl disable weston.socket
$ systemctl disable wayland-app-launch
### enable Qt wayland compositor ###
$ systemctl enable qtwayland
$ reboot
-------------------------------
重启后，可以看到如下 Qt Compositor pure-qml 显示结果
5). Qt VirtualKeyboard Example应用测试
a). 分别使用一个Qt Widget应用和一个Qt Quick应用进行测试
./ Qt Widget应用 – Line Edits Example，详细说明请参考这里，源码从这里下载，将编译好的可执行binary “lineedits” 上传到 Verdin AM62 Linux /home/root 目录
./ Qt Quick 应用 – Qt VirtualKeyboard Basic Example，详细说明请参考这里，源码从这里下载，如上面 4.d 章节所提到的，需要如下修改 main.cpp 将环境变量取消导出，然后将编译好的可执行binary “basic” 上传到 Verdin AM62 Linux /home/root 目录
-------------------------------
...
int main(int argc, char *argv[])
{
//qputenv("QT_IM_MODULE", QByteArray("qtvirtualkeyboard"));
QGuiApplication app(argc, argv);
QQuickView view(QString("qrc:/%2").arg(MAIN_QML));
...
}
-------------------------------
b). 创建应用启动脚本 /home/root/qtwayland-app-launch.sh
-------------------------------
#!/bin/sh
# export display environment
export XDG_RUNTIME_DIR=/run/user/`id -u`
export WAYLAND_DISPLAY=/run/user/`id -u`/wayland-0
if ! test -d "$XDG_RUNTIME_DIR"; then
mkdir --parents $XDG_RUNTIME_DIR
chmod 0700 $XDG_RUNTIME_DIR
fi
# wait for qtwayland
while [ ! -e $XDG_RUNTIME_DIR/wayland-0 ] ; do sleep 0.1; done
sleep 1
# run basic or lineedits app
/home/root/basic -platform wayland &
#/home/root/lineedits -platform wayland &
-------------------------------
c). 创建开机自启动systemd service文件
-------------------------------
$ vi /lib/systemd/system/qtwayland-app-launch.service
[Unit]
Description=Start a Qt wayland application
After=qtwayland.service
Requires=qtwayland.service
[Service]
Restart=on-failure
Type=forking
ExecStart=/home/root/qtwayland-app-launch.sh
RestartSec=1
[Install]
WantedBy=graphical.target
-------------------------------
d). enable service 并测试
-------------------------------
$ systemctl enable qtwayland-app-launch
$ reboot
-------------------------------
e). 重启后分别启动 basic 和 lineedits 应用效果如下，USB HID 电容触摸和鼠标都可以正常操作虚拟键盘输入
6). 总结
本文基于 Ti AM62 处理器演示了 QtWayland compositor 的部署以及 Qt VirtualKeyboard 应用的测试。