DRBD源码分析（一）——内核模块初始化

作者：童燕群 | 发布日期：七月 21, 2013 | 阅读次数（9,178） | 评论 |

新浪微博 QQ空间

本地安装的是drbd-8.3.5版本，下载相应的源码包。两个子目录涉及源代码，其中drbd目录为内核态的源码，user目录为用户态工具的源码。所有的业务都是在内核态完成，用户态只是提供工具安装、配置、维护内核模块的工作。

drbd架构图，在官方网站的主页上面就能看到，非常显眼，这是内核态的架构示意图：

wps_clip_image-31087

可以很清晰的看到，drbd在文件系统之下，直接操纵物理磁盘（块设备），在网络模型中，基于传输层之上建立虚拟设备。通过TCP/IP协议与远端设备交互。

drbd内核模块的名字为：

[root@Shentar /opt/drbd-8.3.5]# modprobe -all|grep drbd
/lib/modules/2.6.25-14.fc9.i686/kernel/drivers/block/drbd.ko
[root@Shentar /opt/drbd-8.3.5]#

首先找代码的入口，内核模块的初始化定义：module_init宏定义。在drbd_main.c文件中。


module_init(drbd_init)
module_exit(drbd_cleanup)

下面贴出初始化函数：drbd_init(void)：

整个初始化分如下几个步骤：

int __init drbd_init(void)
{
    int err;

    if (sizeof(struct p_handshake) != 80)
    {
        printk(KERN_ERR
               "drbd: never change the size or layout "
               "of the HandShake packet.\n");
        return -EINVAL;
    }

    if (1 > minor_count || minor_count > 255)
    {
        printk(KERN_ERR
            "drbd: invalid minor_count (%d)\n", minor_count);
#ifdef MODULE
        return -EINVAL;
#else
        minor_count = 8;
#endif
    }

    err = drbd_nl_init();
    if (err)
        return err;

    err = register_blkdev(DRBD_MAJOR, "drbd");
    if (err)
    {
        printk(KERN_ERR
               "drbd: unable to register block device major %d\n", DRBD_MAJOR);
        return err;
    }

    register_reboot_notifier(&drbd_notifier);

    /*
     * allocate all necessary structs
     */
    err = -ENOMEM;

    init_waitqueue_head(&drbd_pp_wait);

    drbd_proc = NULL; /* play safe for drbd_cleanup */
    minor_table = kzalloc(sizeof(struct drbd_conf *) * minor_count, GFP_KERNEL);
    if (!minor_table)
        goto Enomem;

    err = drbd_create_mempools();
    if (err)
        goto Enomem;

    drbd_proc = proc_create("drbd", S_IFREG | S_IRUGO, NULL, &drbd_proc_fops);
    if (!drbd_proc)
    {
        printk(KERN_ERR "drbd: unable to register proc file\n");
        goto Enomem;
    }

    rwlock_init(&global_state_lock);

    printk(KERN_INFO "drbd: initialized. "
                     "Version: " REL_VERSION " (api:%d/proto:%d-%d)\n",
        API_VERSION, PRO_VERSION_MIN, PRO_VERSION_MAX);
    printk(KERN_INFO "drbd: %s\n", drbd_buildtag());
    printk(KERN_INFO "drbd: registered as block device major %d\n", DRBD_MAJOR);
    printk(KERN_INFO "drbd: minor_table @ 0x%p\n", minor_table);

    return 0; /* Success! */

    Enomem : drbd_cleanup();
    if (err == -ENOMEM)
            /* currently always the case */
        printk(KERN_ERR "drbd: ran out of memory\n");
    else
        printk(KERN_ERR "drbd: initialization failure\n");
    return err;
}

  • 1、drbd_nl_init方法

初始化网络，在内核2.6.16之前的版本中，还没有内核连接器的封装，还是直接调用原始的netlink套接字，因此初始化时需要有一系列的初始化netlink的动作。新的内核版本中集成了connector的封装，相对来说网络初始化的过程就简单多了。在分析代码时，需要注意，drbd目录下也有一个connector.c，这是为老版本准备的。新版本中根本没有编译该文件，因此只需要知道cn_add_callback这个接口的作用，而不需要去看connector.c中该函数的定义。昨天误分析到connector.c中去了，发现cn_add_callback函数最终结束时会往自己生成的任务队列中注册一个任务，但是怎么也找不到之后谁来等待执行该任务，试图加日志查看该函数流程时，才发现原来并没有运行到该代码。这才发现上述connector封装的问题。

关于连接器，这里简要说明一下，连接器封装了内核态和用户态的通讯过程。提供了简单的几个接口：

int cn_add_callback(struct cb_id*, char*, void (*callback) (void*));
void cn_del_callback(struct cb_id*);
int cn_netlink_send(struct cn_msg*, u32, gfp_t);

int cn_queue_add_callback(struct cn_queue_dev* dev, char* name,
    struct cb_id* id, void (*callback) (void*));
void cn_queue_del_callback(struct cn_queue_dev* dev, struct cb_id* id);

struct cn_queue_dev* cn_queue_alloc_dev(char* name, struct sock*);
void cn_queue_free_dev(struct cn_queue_dev* dev);

int cn_cb_equal(struct cb_id*, struct cb_id*);

void cn_queue_wrapper(void* data);

这里只分析cn_add_callback和cn_netlink_send两个，在内核创建连接器时，需要调用cn_add_callback方法，其中callback函数指针参数指定了连接器接收到数据时的回调函数，数据到达时将由该函数来处理。连接器既可以用于接收数据也可以用于发送数据。接收数据使用回调来处理。发送数据直接使用cn_netlink_send方法即可。该方法支持单播、广播和组播。一般单播和广播会用到。cn_add_callback方法无误返回，也就意味着网络初始化好了，比起之前版本中的复杂创建、绑定和监听套接字等流程简单多了。

  • 2、register_blkdev方法

wps_clip_image-6088

这个方法是内核系统调用，用于注册一个块设备，需要指定主设备号，如果指定的设备号为0，则会由系统自动分配一个。该方法调用之后，就可以在/proc/devices文件中看到drbd块设备。drbd设备的设备号在代码中写死，为147。需要注意的是，如果块设备号已被占用，会导致注册失败。

见左图。

 

 

 

 

  • 3、register_reboot_notifier注册块设备重启时的回调函数

目前注册了一个空函数，委婉的说以后会实现，其实没有任何需要做的事情：

reboot_callback

  • 4、init_waitqueue_head初始化一个等待队列

等待队列可以是生产者和消费者之间的共享队列，后面的业务分析中应该会遇到该结构，到时会仔细分析该队列中所存放的内容。应该与具体的读写数据业务有关。

  • 5、drbd_create_mempools创建内存池

这块还没有仔细分析，drbd中需要使用的内存池特别多，数据块的，接收缓冲区的，发送缓冲区的。

  • 6、proc_create创建/proc/drbd文件

内核允许模块在/proc目录下创建自己的虚拟文件和虚拟文件夹。并且指定该文件的操作回调函数。其中，drbd指定了open, read, write和close方法的回调函数即/proc/drbd的四个回调函数：

struct file_operations drbd_proc_fops =
{
    .owner = THIS_MODULE, .open = drbd_proc_open, .read = seq_read,
    .llseek = seq_lseek, .release = single_release, 
};

在打开该文件时，内核会调用drbd_proc_open函数来呈现相应的内容。也可以说这里是drbd内核服务向用户态反馈信息的一个通道。所有用户态的工具也是基于这个来判断当前drbd的状态。

  • 7、rwlock_init初始化全局读写锁。

整个内核模块的初始化到这里就结束了，总结一下，主要涉及下面几个系统调用：cn_add_callback，cn_netlink_send，register_blkdev，register_reboot_notifier，init_waitqueue_head，mempool_create，create_proc_entry。随着linux 内核的不断壮大，驱动编程似乎也在越来越简单。

相关阅读：

新浪微博 QQ空间

| 1 分2 分3 分4 分5 分 (4.90分 - 10票) Loading ... Loading ... | 这篇文章归档在：C/C++, DRBD | 标签： . | 永久链接：链接 | 评论（0） |

评论

邮箱地址不会被泄露， 标记为 * 的项目必填。

8 - 2 = *



You may use these HTML tags and attributes: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <img alt="" src="" class=""> <pre class=""> <q cite=""> <s> <strike> <strong>

返回顶部