本人从2014年起从事可见光通信（Visible Light Communication, VLC）相关研究，主要包括：基于光电二极管（PD）、图像传感器（camera）的高精度可见光定位算法(Visible Light Positioning, VLP)、基于可见光通信的移动机器人定位与导航、成像可见光通信（Optical Camera Communications, OCC）、基于可见光通信的物联网（Internet of Things, IoT）应用、水下可见光通信等。
本博文（原本记录于我的CSDN博客）为本人在可见光通信领域的工作及系列demo的总结。本人一直希望能促进可见光通信技术的进一步发展及产业化落地，希望能遇到更多从事可见光通信的朋友，多交流、合作。也希望此博客可以给大家一些motivation，共同促进行业的发展💪
特别鸣谢：华南理工大学-发光材料与器件国家重点实验室-文尚胜教授、华南理工大学-创新创业孵化基地、及R&C工作室历年学生的共同努力。
项目演示
基于可见光通信的移动机器人定位与导航
下面演示为：本人受邀IEEE Photonics Journal Club session做的基于可见光通信的移动机器人定位与导航的讲座。
下面演示为：本团队搭建的基于移动机器人的可见光通信与激光雷达融合定位系统，该系统在光通信顶会2022 Conference on Lasers and Electro-Optics (CLEO) 上做展示。
下面演示为：本人给香港科技大学搭建的，基于可见光通信的移动机器人定位系统，该系统在光通信顶会2021 Optical Fiber Communication Conference and Exhibition (OFC) 上做展示。
本系统多次参与各类比赛与展示。最初搭建于2018年，参加《华南理工大学第十六届“挑战杯”大学生课外学术科技作品竞赛》并获终审决赛一等奖。其后，代表华南理工大学参加《2019年广东省第十五届“挑战杯”大学生课外学术科技作品竞赛》的作品，并获得广东省决赛的特等奖（请见下一演示）。同年，获《第五届中国“互联网+”大学生创新创业大赛》广东省决赛铜奖。2020年，本人将本系统引进华为创新实验室（iLab），在公司内部进行展示。此后，本人再带到香港科技大学。无偿把技术给公司评各类奖项，同时也把技术奉献给团队去进行各类产业化、商业化及科研。本系统亦曾连续两年（2020与2021）入选OFC Demo Zone。
一种具有通信与定位功能的智能LED灯具及其机器人定位系统——2020神灯奖申报技术 - 新品发布 - 阿拉丁-网上光亚展
下面演示为：我们搭建的世界首套基于移动机器人的可见光定位系统。该系统虽然比较简漏🤭（机器人同一时刻需要观察到至少两个LED，且覆盖LED数、高度均有限），但却是我们团队所搭建的移动机器人可见光定位与导航的原型体。此作品算是我们团队承上启后的工作，既涵盖了数年在可见光定位领域的积累（包括：LED-ROI Tracking、LED-ID detection、VLP算法），而后续大量工作基本都是基于此系统进行深层算法的改进。
此作品荣获广东省第十五届“挑战杯”大学生课外学术科技作品竞赛决赛特等奖（全省116所参赛高校，共有1260项作品获奖，其中特等奖126项、一等奖191 项、二等奖245 项、三等奖698 项），此处展示当年的展板及查新报告。
下面演示为：我们将大挑战杯版本的简陋地图及定位显示改为基于ROS的UI，由激光雷达来预先绘制地图，并且加入路径规划等功能，实现了可见光通信提供准确的位置信息，同时基于避障及路径规划算法实现导航。
下面演示为：我们实现的基于两盏LED的移动机器人VLP定位系统（属于大挑战杯获奖的升级版本），采用的更高以及可移动的LED灯杆方便移动展示，于此同时，通过开发Android App实现与ROS机器人更好的交互。
下面演示为：我们实现的基于单盏LED灯的移动机器人VLP定位系统。对于平面上运动移动机器人，共有3个自由度，通过退化PnP（Perspective-n-Point）问题的分析，相机只需要观察到两盏LED即可实现定位。然而，这一要求会限制LED的间距不能太远，为此我们设计出基于角度传感器辅助的VLP定位系统，仅仅需要一盏LED即可实现移动机器人的高精度室内定位。除此以外，引入室内布局的地图作为map以达到更好的可视化效果。
下面演示为：我们实现的多机器人可见光协同定位。通过多个机器人分别对LED的观测及机器人相互之间的约束，实现多个机器人协调定位。
下面演示为：我们实现的基于惯导（IMU）与VLP松耦合的高精度移动机器人室内定位系统。为了应对短暂的LED被遮挡、NLOS（非视距通信）、及没有LED的情况，我们提出了基于扩展卡尔曼滤波（EKF）的IMU与VLP 松耦合方法，实现了在有LED的情况下，厘米级别的高精度定位，而在没有LED的情况下，靠IMU保证短时间的稳定定位。
下面演示为：我们实现的基于LiDAR-SLAM及VLP的高精度机器人定位系统，在12.0m times 10.8m times 2.7m大小的场景下，仅仅通过4盏LED即可实现2cm左右的定位误差，且场景会有遮挡等情况。通过VLP提供全局信息，odometry提供局部信息，LiDAR提供精确的局部地图测量，保证了整个系统的稳定性。进一步地，此工作结合了障碍物检测及路径规划等算法，真正意义上的实现了可见光定位与导航功能。
值得一提的是，前面的工作中我们用到的地图有两类：LiDAR构建的栅格地图，与人工绘制的室内平面图。但两种均需要人为干预来保证LED安装的位置与地图的原点相对应（因为LED的位置需要已知才可以实现VLP定位）。而此工作中，最大的创新是只需要人工绘制地图的原点跟LED安装位置对应，LiDAR的栅格地图会通过算法自动跟人工绘制地图相对应，这也是实现LiDAR-SLAM与VLP融合的关键。在视频的后半部分，也展示了在两种地图下定位结果是相对应的。而在下一个工作中，我们实现了完全不需要任何预先绘制的地图。
下面演示为：我们提出的基于RGB-D camera，轮式里程计以及VLP的多传感器紧耦合SLAM系统，通过图优化来耦合多个传感器的观测约束，以此来提升系统的鲁棒性。该系统在实现高精度的可见光定位的同时，可以构建环境的地图（3D点云地图及LED-landmark地图）。
对于可见光定位而言，目前的工作均需要预先知道LED在环境中的位置（所谓的LED-ID识别就是通过VLC解码获取LED在世界坐标系下的位置）。但是对于大场景而言，如场景中有1000个LED，人为记录及测量这些LED的位置是非常的不现实的，为此我们提出的方法可以有效解决这一痛点。在实现高精度定位的同时，实时的记录及构建LED-landmark的地图，LED的位置无需预先知道，自动的把LED-ID序号与地图位置相关联，同时通过多传感器紧耦合进行联合优化提高定位与建图的精度。
实时LiFi通信及系列产学研项目
下面演示为：我们测试战略合作伙伴（深圳华创芯光科技有限公司）的LiFi产品。该系统可以实现实时的LiFi上网。
下面演示为：我们团队与深圳利亚德光电有限公司合作的广东省科技计划项目（500万资助）《高带宽微芯片覆晶封装小间距显示器件开发与产业化》，项目主要探索了通信与显示器件相结合（通显一体化）的可见光通信系统。
此外，本团队还与中山市木林森电子有限公司合作中山市重大科技专项资金项目（200万资助）《可见光通信高带宽全光谱LED封装关键技术攻关与产业化》
下面演示为：本团队项目《通照、通显一体化可见光通信关键技术与应用》获得的2023年度广东省光电技术协会科学技术奖-发明技术-一等奖
下面演示为：本团队研发的基于光电二极管（PD）的可见光定位算法，获国家级大学生创新创业训练计划优秀项目，并入选“国创计划十周年”庆典暨第十届全国大学生创新创业年会；
此外，本团队还荣获学生项目如下：
- 广东大学生科技创新培育专项资金项目(一般项目，2万资助)《基于机器学习的视觉LED-ID检测与识别算法的研究》
- 广东大学生科技创新培育专项资金项目(重点项目，6万资助)《基于视觉可见光通信的移动机器人室内高精度定位与导航的研究》
- 广东大学生科技创新培育专项资金项目(一般项目，2万资助)《基于图像识别的多址接入VLC光条形码技术的研究及应用》
可见光定位（Android Phone，Localization-based Service）
下面演示为：仅仅基于一盏LED即可实现高精度可见光定位，与此同时，与PDR (Pedestrian Dead Reckoning) 相结合，在没有LED覆盖的区域（LED短缺或NLOS问题）仍然可以实现定位，而当检测到至少一盏LED时，即可实现PDR位置的矫正。
下面的演示为：基于可见光通信的同时定位与校正算法。在实现高精度室内可见光定位的同时，可以矫正手机摄像头的参数，进一步提定位系统的稳定性与精度。虽然也是需要camera至少观测到两盏LED，但无需借助角度等传感器即可实现倾斜三维定位（六自由度定位）。
下面演示为：基于ROS-Android交互框架，开发了一款安卓APP，可实现基于可见通信的机器人与行人同时定位。通过可见光定位分别实现机器人与手机的高精度定位，同时基于ROS-Android交互框架，实现机器人与手机之间的位置共享。对于机器人VLC定位采用单灯+IMU定位算法，对于手机VLC定位采用单灯+PDR定位算法。
下面的演示为：我们自主开发的可见光室内定位App，该算法可实现倾斜状态下的可见光定位（基于两盏LED灯）。
下面演示为：基于可见光通信的室内定位及基于不同位置的信息推送。主要演示demo为视频的后半段（1分13秒之前的均为概念演示，之后的为实测效果），通过PDR+VLP融合，在无LED的区域通过PRR进行定位，而检测到LED时，通过基于VLP的临近法进行粗定位（与前面提到的单灯定位算法不同，此处仅仅采用临近法定位）。看到在不同的LED灯下，通过VLC接收信号，实现基于位置信息的服务（location-based service），进而实现基于不同的位置给用户推送不同的信息。
可见光成像通信 (OCC)及其物联网应用
下面演示为：我们自主研发的基于可见光通信的光二维码应用。可通过APP扫灯接入链接，实现猜灯谜、信息接入等。
该系统亦在团队的广东省光电技术协会作科创分享：【科普作品】一盏有故事的月球灯
下面的演示为：我们自主研发了基于蓝牙调控的可见光调制驱动芯片，可通过手机APP用蓝牙直接改变LED灯具的VLC编码，而不同的编码对应不同的网络接口。通过另外一台手机的APP扫灯具，实现光二维码扫码接入不同的网页。
下面演示为，我们将上面的基于蓝牙调控的可见光驱动调制芯片进一步的扩展到较大功率的LED（不再是小灯泡，而是日常照明用的LED，以及改为采用后置摄像头来检测），同样可以实现扫灯接入图片或者网页等IoT的功能。
下面演示为：我们用合作伙伴英飞凌（Infineon Technologies）所提供的VLC-LED模块进行扫灯获取图片或网页等信息的实验。但他们的硬件模块目前的版本没有我们所设计的驱动调制芯片模组稳定，故此解码的流畅度不如其他几个视频。
下面的演示为：基于可见光通信的光二维码技术，扫灯接入网页（这是我们早期的设计版本，并不能像上面几个demo一样通过手机蓝牙远程修改LED的编码，还需要重新做读写操作）。
下面演示为：我们搭建的水下可见光成像通信系统，该工作发表于2021年光通信顶级会议 Optical Fiber Communication Conference and Exhibition (OFC)。
下面演示为：本团队搭建的，实时可见光成像通信系统(基于C-OOK调制)。
下面演示为：我们搭建的基于FPGA驱动的LED阵列可见光成像通信系统，通过MIMO的阵列通信来实现数字信号的传播。接收端通过手机的摄像头进行解码，实现基于CMOS图像传感器的MIMO通信系统。实验中通过手机APP扫灯获取网页信息（类似前面IOT应用）。
更多关于可见光通信的介绍
- 更多我们团队的VLC演讲视频请见：