话说，最近这虚拟主播是真火，到处都能瞅见。什么桐生可可一场直播赚翻天，还有那个彩虹社的Luxiem男团，B站一晚上就收米收到手软。看得我这心里也痒痒的，想着这玩意儿在手机上能不能也整个活儿。
就爱瞎琢磨。以前也搞过点安卓小玩意儿，所以就寻思着，能不能在安卓上搞个“VtuberHack”，不是说要去黑谁的系统，就是想自己动手，看看能不能弄出个简易版的虚拟形象互动起来。
第一步：脑袋先热起来，找方向
一开始真是一头雾水。虚拟主播这玩意儿，背后肯定有面部捕捉，然后是个3D模型跟着动。我就琢磨，安卓上怎么搞面部捕捉？
找工具： 想到的是Google的ML Kit，里面好像有个人脸检测和关键点识别的功能。想着这玩意儿应该能用上，至少能知道我眼睛鼻子嘴巴在哪儿。
模型咋整： 3D模型这块儿，我自己又不会建模，太专业了。就想着先找点现成的免费模型试试水，比如VRM格式的，听说这种格式在Vtuber圈子里挺流行。
小编温馨提醒：本站只提供游戏介绍，下载游戏推荐89游戏，89游戏提供真人恋爱/绅士游戏/3A单机游戏大全，点我立即前往》》》绅士游戏下载专区
这阵子捣鼓下来，感觉就像回到了当年刚学编程那会儿，啥都新鲜，啥都想试试。不过话说回来，这跟当年我琢磨B站后端为啥用Go那劲头有点像，都是一股子钻研劲儿，虽然发现人家是啥都用，一锅烩，哈哈！
动手！代码撸起来的辛酸泪
方向大概有了，就开始上手干。这过程可真是，一把辛酸泪。
面部捕捉的坑：ML Kit用起来倒还行，能检测到脸，也能给些关键点。但是！这些点要怎么映射到3D模型的骨骼上，让模型表情自然地动起来，这可太难了。我试了好几种算法，什么加权平均，什么鬼的，效果都不太理想，模型动起来跟个面瘫似的，或者就是五官乱飞，把我给整笑了。
3D模型渲染的坎：安卓上渲染3D模型，我一开始想着用OpenGL ES。好家伙，那堆API看得我头都大了。后来发现有些现成的游戏引擎或者渲染库，比如Unity（虽然我主要想纯安卓实现，但研究了下思路），或者一些轻量级的Java 3D库。选了个相对简单点的，能加载glTF或者OBJ模型的库先跑起来再说。
加载VRM模型也是个麻烦事。它的结构比普通glTF复杂，还带着表情混合（BlendShapes）和骨骼信息。解析这些数据，再正确应用到渲染上，调试了好几天，头发都掉了好几根。
性能性能！手机毕竟是手机，性能跟电脑没法比。面部捕捉要实时，3D模型渲染也要实时，两个加一起，我那台老安卓机卡得跟幻灯片似的。没办法，只能各种优化：降低模型面数、减少骨骼数量、优化面部数据处理逻辑。就这，也还是勉强能看。
小有成果，但“Hack”路漫漫
折腾了差不多小半个月，总算是弄出个雏形了。
摄像头能捕捉到我的脸。
一个简单的卡通模型能跟着我的脑袋转动，眨眨眼，张张嘴（虽然有时候还不太灵敏，或者表情有点夸张）。
虽然离那些专业Vtuber的效果差远了，也谈不上什么“Hack”成功，但好歹是自己一步步摸索出来的。这感觉，就像当年自己装第一台电脑，点亮屏幕那一刻，还挺有成就感的！
这玩意儿看着简单，真做起来才知道里面的门道多。那些光鲜亮丽的虚拟主播背后，“中之人”的演绎固然重要，但这技术支撑也是实打实的硬功夫。人家公司投入那么多，搞出那么流畅自然的体验，确实牛。
我这个“VtuberHack安卓”的小实验嘛目前也就图一乐。后续可能还会再优化优化，比如换个更精细的模型，或者试试更高级的面部捕捉方案。不过也就是业余玩玩，真要搞成商业级别的，那投入可就海了去了。
这回折腾让我对Vtuber这行当有了更深的理解。技术宅的乐趣，有时候就在于这种瞎鼓捣的过程！下次有啥好玩的，再来跟大家分享。
