LiDAR 是否可以用于给视障群体提供机器视觉能力？

[fish19901010]

刚刚中午摸鱼的时候，看到了 Veritasium 关于自动驾驶的体验。 下一个想法就是，LiDAR 既然可以成为车子的眼睛，那也可以成为人类的下一只眼睛。

What if 视障增强背包，是否现实？是否已经有类似的项目？ 这个背包里面是一个重复充电的大容量电池，然后连接到头顶的一个 LiDAR 摄像头，为其提供动力和运算单元。通过耳麦来和视障群体沟通。

场景如下： 视障群体：我要去菜市场逛逛。 背包：

• 请出门乘坐北京地铁一号线，全程大约 50 分钟，背包电量为 80%，可以支撑 3 小时运行，请放心出行。
• （出门）前方 10 米左转，您的前方 2 米有一个障碍物，请往左移动半米绕开。
• 前方 20 米有自行车在人行道通行，为保证安全，请原地稍等 5 秒，5，4，3，2，1，请继续前进。
• 前方请乘坐电梯，电梯按钮在离地高度约 1 米 2 。
• 前方 200 米为菜市场入口，请继续前进。
• 您面前有 5 级楼梯，前小心行走。
• 右前方 2 米处，有凹坑障碍物，请保持直行不要靠右。
• 您已经到达 XXX 菜市场，是否需要我帮你扫描店铺名称？

用户：帮我朗读面前的店铺招牌的文字

背包：

• 好的，您正前方是小黄食杂店，左侧是小红黄牛肉，右侧是阿强鱼档。

如果这样的项目没人做，那有朝一日我财富自由之后（现在的情况估计很难了），应该会自己起一个团队来做这样的事情。

[shpkng]

类似的产品很早就有企业做了
印象里微软给一个盲人员工做过类似的一副眼镜

[Pandroid]

然而 LIDAR 暂时只支持空间感知能力，并不能做很强的语义理解。
其实依靠单目 RGB 摄像头+算法已经可以做很多事情了，我们公司有团队就做过类似项目。

[ryougifujino]

事实上 iOS 已经有类似的功能了。打开旁白和相关设置，进入放大器 App 会为你描述当前镜头场景，B 站有 up 做过相关视频。

[viator42]

百度也做过一个，BaiduEye，真正的盲人眼镜

[Yien]

歪樓，比較好奇降噪耳機能不能當助聽器使用（

[zhucelws]

iPhone 辅助功能打开放大器，然后打开放大器应用，如果是带 Lidar 的机型，设置里面会有人物检测，可以完成一部分测距和识别功能

[zhucelws]

@Yien AirPods 可以，打开控制中心的“听觉”功能，点“实时收听”，然后把手机放的靠近说话的人，就可以从耳机里听见手机麦克风收到的声音，还可以看见目前声音有多少分贝

[imydou]

有了 LIDAR，比正常人还厉害。一眼能看出来准确 size

[Yien]

@zhucelws 有畫面了，就像記者採訪😄

[whywaoxaks]

摄像头+lidar，针对盲人，我司有计划，但 pending 中，因为这东西不可能挣钱，只能提高声誉。

[kickcellardoor]

这对感知的需求比自动驾驶还高，高精地图，lidar，camera，v2x 应该都少不了

[Wolfsin]

摄像头的解决方案是有的，
https://www.orcam.com/en/
lidar 主要是之前小型化有问题。现在估计也有公司在做了。

[Themyth]

我所知道的 iOS 现在的旁白辅助功能里面的屏幕识别，图像识别，文字识别可以部分实现楼主想要的功能。如果配合 siri，应该可以实现的更丰富，不知道 iOS 的摄像头能不能换成远程的，这样不用把 iPhone 挂到胸前。
其次就是百度以前有个项目叫小度 eye，但是貌似流产了，当时看过介绍，是最完美的状态，还有人工帮助呢，可惜了。。百度最近几年做啥啥不成。。。

[xhelin]

@imydou 然而只能脑补