CARLA 笔记（4th）— 基础模块使用（client、world、Actor 与 Blueprint、搭建Sensor、Camera、Lidar 构建、观察者放置）

3. 搭建传感器 Sensor

Sensor 是一种特殊的 Actor，它的蓝图也是可以在蓝图库里边找到的，目前 Carla 已经支持了很多传感器，比如

• 摄像头： Depth， RGB ， Semantic segmentation
• 探测器： Collision ， Lane invasion ， Obstacle
• 其他： GNSS ， IMU ， LIDAR raycast ， Radar

传感器跟其他的 Actor最大的不同是，它们需要被安装在车上，因此在生成传感器的时候，需要将其附着到一个车辆类型的 Actor 上，而出生点是针对于这台车本身的坐标系给定的。

在这里先简单介绍下 Carla 有哪些Sensors ， 在 Python API reference 里有对每一种数据格式类别的详细介绍。

我们以 Camera 与激光雷达建立连接为例。

3.1 Camera 构建

与汽车类似，我们先创建蓝图，再定义位置，然后再选择我们想要的汽车安装上去。不过，这里的位置都是相对汽车中心点的位置（以米计量）。

camera_bp = blueprint_library.find('sensor.camera.rgb')
camera_transform = carla.Transform(carla.Location(x=1.5, z=2.4), carla.Rotation(pitch=8.0))
camera = world.spawn_actor(camera_bp, camera_transform, ego_vehicle, carla.AttachmentType.SpringArm)

我们选择了摄像头附着类型为：carla.AttachmentType.SpringArm，并将其位置设置到后方，这样我们就可以像从一个第三者的角度拍到行驶的车辆了。

每一个传感器都有一个 listen 方法，该方法接收一个 callback 作为参数，我们可以自定义 callback 里边的逻辑，callback 将会在传感器拿到数据后被调用，并能够获取到这些数据。这个例子中，我们将摄像头采集到的图像信息以图片的形式保存下来。

camera.listen(lambda image: image.save_to_disk(os.path.join(output_path, '%06d.png' % image.frame)))

跟其他 Actor 一样的，传感器也有很多参数可以设置，比如对于 RBG 摄像头来说，我们可以设置其采集的分辨率。

3.2 Lidar 构建

Lidar 可以设置的参数比较多，现在就知道我们设置了一些常用参数就好。

lidar_bp = blueprint_library.find('sensor.lidar.ray_cast')
lidar_bp.set_attribute('channels', str(32))
lidar_bp.set_attribute('points_per_second', str(90000))
lidar_bp.set_attribute('rotation_frequency', str(40))
lidar_bp.set_attribute('range', str(20))

接着把 lidar 放置在奔驰上, 定义它的 callback function 。

lidar_location = carla.Location(0, 0, 2)
lidar_rotation = carla.Rotation(0, 0, 0)
lidar_transform = carla.Transform(lidar_location, lidar_rotation)
lidar = world.spawn_actor(lidar_bp, lidar_transform, attach_to=ego_vehicle)
lidar.listen(lambda point_cloud: \point_cloud.save_to_disk(os.path.join(output_path, '%06d.ply' % point_cloud.frame)))

3.3 观察者（spectator）放置

当我们去观察仿真界面时，我们会发现，自己的视野并不会随我们造的小车子移动，所以经常会跟丢它。解决这个问题的办法就是把 spectator 对准汽车，这样小汽车就永远在我们的视野里了！

while running:spectator = world.get_spectator()transform = ego_vehicle.get_transform()spectator.set_transform(carla.Transform(transform.location + carla.Location(z=20),carla.Rotation(pitch=-90)))time.sleep(3)

我们利用上边这段代码，将观察者的位置到我们的车辆的正上方（z 轴），并将视角调为 -90 度，即向下看，每隔 3s 中跟着车辆的位置重置一下观察者的位置，这样就可以在车辆的正上方追踪并观察这台车了。

放置观察者后效果如下，我们将以俯视的角度观察它的运行：

下图就是我们使用 carla.AttachmentType.SpringArm 附着类型采集到的照片

完整代码如下：

import time
import carla
import numpy as np# Create client and connected to the server
client = carla.Client("localhost", 2000)
client.set_timeout(10.0)# get world
world = client.load_world('Town02')
weather = carla.WeatherParameters(cloudiness=0.0,precipitation=0.0,sun_altitude_angle=50.0)
world.set_weather(weather)# get vehicle blueprint
model3_bp = world.get_blueprint_library().find('vehicle.tesla.model3')
model3_bp.set_attribute('color', '255,255,255')camera_bp = world.get_blueprint_library().find('sensor.camera.rgb')# spawn vehicle(Actor)
spawn_points = world.get_map().get_spawn_points()
model3_spawn_point = np.random.choice(spawn_points)
model3 = world.spawn_actor(model3_bp, model3_spawn_point)
model3.set_autopilot(True)# spawn camera
camera = world.spawn_actor(camera_bp,carla.Transform(carla.Location(x=-5.5, z=2.5), carla.Rotation(pitch=8.0)),model3,carla.AttachmentType.SpringArm)
camera.listen(lambda image: image.save_to_disk('./output/%06d.png' % image.frame))while True:spectator = world.get_spectator()transform = model3.get_transform()spectator.set_transform(carla.Transform(transform.location + carla.Location(z=20), carla.Rotation(pitch=-90)))time.sleep(5)

4. 查看储存的照片与3D点云

储存的 RGB 相机图如下：

查看点云图需要另外安装 meshlab, 然后进入 meshlab 后选择 import mesh ：

sudo apt-get update -y
sudo apt-get install -y meshlab
meshlab

不知道小伙伴有没有发现自己储存的照片是不连续的，存在掉帧现象？这是因为 Carla Simulation Server 与 Client 默认为异步进行，也就是说 server 并不会等 client 处理完手头的事再进行模拟，它会以最快的速度进行模拟，这就导致你的 client 如果处理过慢，还没来得及储存第 K 个 data , simulation 早就进行到了第 K+10 步，也就会产生掉帧了。

所以在下一节，我会介绍 Carla 里很重要的一个模块——同步模式，以此来解决我们掉帧的问题。

https://github.com/DerrickXuNu/Learn-Carla