引言

传统SLAM算法一般都是运行在CPU...

之前博客对VLN进行调研。但VLN领域工作实在太多了，NLP、CV、Robotics领域的学者们纷纷加入，只能介绍小量代表性工作。 本博文针对VLN领域带有机器人实操的几篇工作进行调研，跟之前博客为了了解整个领域不同的是：本博文希望调研业内（学术界）VLN落地的方案及做法。

• Read More

本文是波士顿动力24年arvix的工作，关注Instruction Following，通过LLM大模型与传统的SLAM导航相结合的方式让具身导航智能体学会指令跟随。 本博文为论文阅读笔记，仅供本人学习记录用~

相关博客/资源list：

• Read More

本博文对综述论文《Sensing, Social, and Motion Intelligence in Embodied Navigation: A Comprehensive Survey》阅读记录。 该论文对具身导航（Embodied Navigation (EN)）中的感知智能、社会智能和运动智能全面综述。 将具身导航过程分解为五个关...

本博文对业内主流机器人上下肢运动控制方案进行调研。 上下肢分开控制/全身控制，强化学习/传统运动/VLA。

主流的机器人公司有：智元机器人、银河通用、星动纪元、埃斯顿、宇树科技、优必选、特斯拉 Optimus、Figure AI、Apptronik、Agility Robotics、小鹏IRON、小米 CyberOne、广汽 ...

本博客对VLA(Vision-Language-Action)进行调研整理。

在VLA模型出现之前，机器人技术和人工智能主要分布在彼此割裂的几个子领域：

• 视觉系统能够“看”并识别图像。传统的CV可以通过CNN来识别物体或者进行分类，但是并不能理解语言、也没有将视觉转换为action的能力。 Read More

2023年谷歌机器人团队等在机器人领域构建了一个多任务 transformer 模型，显著改进了对新任务、环境和对象的零样本泛化。

该论文属于VLA领域经典论文~ 本博文为论文阅读笔记，仅供本人学习记录用~

• P...

之前博客对VLN及基于VLN的相关survey进行了调研学习。 VLA，Vision-Language-Action其跟VLN有很多共通之处，甚至本质上讲，两者只是数据集、任务类型不一样。或者说VLN是VLA的更一步。但是从网络发展、底层逻辑都是非常相似的。更有甚者，有些基于VLN的工作则是直接把VLN任务分为：VLA+locomotion ...

本博文基于思岚的赫尔墨斯 Hermes PRO MAX移动底盘的技术文档做个基本的了解。 本博文仅供本人学习记录用~

地盘硬件部分

底盘采用的主控方案为RK3588（8核，4 * Cortex A76+4 * Cortex A55。主频2.4G），4G内...

2022年OpenAI发布的CLIP模型，大大提升了模型的跨模态理解能力，实习了视觉与语言的统一，也给VLN带来新的突破————零样本学习的能力使得机器人无需依赖人工标注，即可理解自然语言指令并执行高效导航。

本博文针对基于CLIP的VLN几篇论文对其进展进行调研。

本博文仅供本人...