V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
waruqi
V2EX  ›  程序员

xmake v2.2.2, 让 C/C++拥有包依赖自动构建

  •  
  •   waruqi ·
    waruqi · 2018-10-17 07:53:52 +08:00 · 2314 次点击
    这是一个创建于 1990 天前的主题,其中的信息可能已经有所发展或是发生改变。

    前言

    历经四个多月,xmake终于更新了新版本 v2.2.2,并且上线了重量级功能:原生支持的远程依赖包管理。

    而这个特性,其实我陆陆续续写了将近一年的时间,才初步完成,对于此特性的开发进展和历史,有兴趣的同学可以看下相关 issues:#69

    有玩 C/C++的同学可以试试,还是很好用的哦,后续会不断完善和扩充官方包支持。。

    目前的实现效果如下,完全一致的语义版本依赖描述:

    完全一致的跨平台构建行为,一键 xmake 编译:

    完整的项目描述:

    add_requires("tbox 1.6.*", "libpng ~1.16", "zlib")
    
    target("test")
        set_kind("binary")
        add_files("src/*.c") 
        add_packages("tbox", "libpng", "zlib")
    

    我先简单介绍下我做这个功能的背景:

    我们在写 C/C++程序的时候,对于第三方依赖库的使用一直是一个老大难问题,因为每个依赖库的构建系统不同、代码平台支持力度的差异,导致没法像其他高级语言那样有方便好用的包管理支持。

    虽然现在已经有了 homebrew, vcpkg 等包管理工具来解决这一问题,但是多少都有一些局限性,例如:

    1. homebrew 不支持 iphoneos, android, windows 平台
    2. vcpkg 不支持语义版本选择,多版本管理
    3. 另外都不支持项目管理和构建

    对于目前现有的跨平台构建工具,都缺少内置的包管理支持,像 cmake 仅提供了find_package去查找系统包,虽然可以和 vcpkg 等第三方包管理配合使用,但我个人觉得并不是很方便。 这会使得项目的其他用户在编译的时候,额外要求去安装 vcpkg 或者安装依赖库到系统上才行,对于 pc 平台还好弄些,对于 iphoneos, android 等平台的依赖库,用户就要折腾上一会了。

    而 xmake 的理念就是:真正的一致维护, 真正的一键编译

    • 构建行为的一致性: 不管你的项目是否有库依赖,工具依赖,只需要执行一个xmake命令,即可编译通过。
    • 项目维护的一致性: 不管你的项目是在 windows 上用,还是给 linux, iphone, android 上用,都只需要一份 xmake.lua 维护项目即可。

    而 cmake 还需要生成额外的第三方 IDE 工程文件,即使 cmakelist.txt 相同,但是构建、维护体验上对用户来讲都不可能保证完全一致,毕竟还受限于 vc/make 此类工具。

    目前支持的特性

    • 语义版本支持,例如:">= 1.1.0 < 1.2", "~1.6", "1.2.x", "1.*"
    • 提供官方包仓库、自建私有仓库、项目内置仓库等多仓库管理支持
    • 跨平台包编译集成支持(不同平台、不同架构的包可同时安装,快速切换使用)
    • debug 依赖包支持,实现源码调试

    依赖包处理机制

    这里我们简单介绍下整个依赖包的处理机制:

    1. 优先检测当前系统目录、第三方包管理下有没有存在指定的包,如果有匹配的包,那么就不需要下载安装了 (当然也可以设置不使用系统包)
    2. 检索匹配对应版本的包,然后下载、编译、安装(注:安装在特定 xmake 目录,不会干扰系统库环境)
    3. 编译项目,最后自动链接启用的依赖包

    快速上手

    新建一个依赖 tbox 库的空工程:

    $ xmake create -t console_tbox test
    $ cd test
    

    执行编译即可,如果当前没有安装 tbox 库,则会自动下载安装后使用:

    $ xmake
    

    切换到 iphoneos 平台进行编译,将会重新安装 iphoneos 版本的 tbox 库进行链接使用:

    $ xmake f -p iphoneos
    $ xmake
    

    切换到 android 平台 arm64-v8a 架构编译:

    $ xmake f -p android [--ndk=~/android-ndk-r16b]
    $ xmake
    

    语义版本设置

    xmake 的依赖包管理是完全支持语义版本选择的,例如:"~1.6.1",对于语义版本的具体描述见:http://semver.org/

    一些语义版本写法:

    add_requires("tbox 1.6.*", "pcre 1.3.x", "libpng ^1.18")
    add_requires("libpng ~1.16", "zlib 1.1.2 || >=1.2.11 <1.3.0")
    

    目前 xmake 使用的语义版本解析器是uael贡献的sv库,里面也有对版本描述写法的详细说明,可以参考下:版本描述说明

    当然,如果我们对当前的依赖包的版本没有特殊要求,那么可以直接这么写:

    add_requires("tbox", "libpng", "zlib")
    

    这会使用已知的最新版本包,或者是 master 分支的源码编译的包,如果当前包有 git repo 地址,我们也能指定特定分支版本:

    add_requires("tbox master")
    add_requires("tbox dev")
    

    额外的包信息设置

    可选包设置

    如果指定的依赖包当前平台不支持,或者编译安装失败了,那么 xmake 会编译报错,这对于有些必须要依赖某些包才能工作的项目,这是合理的。 但是如果有些包是可选的依赖,即使没有也可以正常编译使用的话,可以设置为可选包:

    add_requires("tbox", {optional = true})
    

    禁用系统库

    默认的设置,xmake 会去优先检测系统库是否存在(如果没设置版本要求),如果用户完全不想使用系统库以及第三方包管理提供的库,那么可以设置:

    add_requires("tbox", {system = false})
    

    使用调试版本的包

    如果我们想同时源码调试依赖包,那么可以设置为使用 debug 版本的包(当然前提是这个包支持 debug 编译):

    add_requires("tbox", {debug = true})
    

    如果当前包还不支持 debug 编译,可在仓库中提交修改编译规则,对 debug 进行支持,例如:

    package("openssl")
        on_install("linux", "macosx", function (package)
            os.vrun("./config %s --prefix=\"%s\"", package:debug() and "--debug" or "", package:installdir())
            os.vrun("make -j4")
            os.vrun("make install")
        end)
    

    传递额外的编译信息到包

    某些包在编译时候有各种编译选项,我们也可以传递进来,当然包本身得支持:

    add_requires("tbox", {config = {small=true}})
    

    传递--small=true给 tbox 包,使得编译安装的 tbox 包是启用此选项的。

    使用自建私有包仓库

    如果需要的包不在官方仓库xmake-repo中,我们可以提交贡献代码到仓库进行支持。 但如果有些包仅用于个人或者私有项目,我们可以建立一个私有仓库 repo,仓库组织结构可参考:xmake-repo

    比如,现在我们有一个一个私有仓库 repo:[email protected]:myrepo/xmake-repo.git

    我们可以通过下面的命令进行仓库添加:

    $ xmake repo --add myrepo [email protected]:myrepo/xmake-repo.git
    

    或者我们直接写在 xmake.lua 中:

    add_repositories("my-repo [email protected]:myrepo/xmake-repo.git")
    

    如果我们只是想添加一两个私有包,这个时候特定去建立一个 git repo 太小题大做了,我们可以直接把包仓库放置项目里面,例如:

    projectdir
      - myrepo
        - packages
          - t/tbox/xmake.lua
          - z/zlib/xmake.lua
      - src
        - main.c
      - xmake.lua
    

    上面 myrepo 目录就是自己的私有包仓库,内置在自己的项目里面,然后在 xmake.lua 里面添加一下这个仓库位置:

    add_repositories("my-repo myrepo")
    

    这个可以参考benchbox项目,里面就内置了一个私有仓库。

    我们甚至可以连仓库也不用建,直接定义包描述到项目 xmake.lua 中,这对依赖一两个包的情况还是很有用的,例如:

    package("libjpeg")
    
        set_urls("http://www.ijg.org/files/jpegsrc.$(version).tar.gz")
    
        add_versions("v9c", "650250979303a649e21f87b5ccd02672af1ea6954b911342ea491f351ceb7122")
    
        on_install("windows", function (package)
            os.mv("jconfig.vc", "jconfig.h")
            os.vrun("nmake -f makefile.vc")
            os.cp("*.h", package:installdir("include"))
            os.cp("libjpeg.lib", package:installdir("lib"))
        end)
    
        on_install("macosx", "linux", function (package)
            import("package.tools.autoconf").install(package)
        end)
    
    package_end()
    
    add_requires("libjpeg")
    
    target("test")
        set_kind("binary")
        add_files("src/*.c") 
        add_packages("libjpeg")
    

    包管理命令使用

    包管理命令$ xmake require 可用于手动显示的下载编译安装、卸载、检索、查看包信息。

    安装指定包

    $ xmake require tbox
    

    安装指定版本包:

    $ xmake require tbox "~1.6"
    

    强制重新下载安装,并且显示详细安装信息:

    $ xmake require -f -v tbox "1.5.x"
    

    传递额外的设置信息:

    $ xmake require --extra="debug=true,config={small=true}" tbox
    

    安装 debug 包,并且传递small=true的编译配置信息到包中去。

    卸载指定包

    $ xmake require --uninstall tbox
    

    这会完全卸载删除包文件。

    移除指定包

    仅仅 unlink 指定包,不被当前项目检测到,但是包在本地还是存在的,如果重新安装的话,会很快完成。

    $ xmake require --unlink tbox
    

    查看包详细信息

    $ xmake require --info tbox
    

    在当前仓库中搜索包

    $ xmake require --search tbox
    

    这个是支持模糊搜素以及 lua 模式匹配搜索的:

    $ xmake require --search pcr
    

    会同时搜索到 pcre, pcre2 等包。

    列举当前已安装的包

    $ xmake require --list
    

    仓库管理命令使用

    上文已经简单讲过,添加私有仓库可以用(支持本地路径添加):

    $ xmake repo --add myrepo [email protected]:myrepo/xmake-repo.git
    

    我们也可以移除已安装的某个仓库:

    $ xmake repo --remove myrepo
    

    或者查看所有已添加的仓库:

    $ xmake repo --list
    

    如果远程仓库有更新,可以手动执行仓库更新,来获取更多、最新的包:

    $ xmake repo -u
    

    提交包到官方仓库

    目前这个特性刚完成不久,目前官方仓库的包还不是很多,有些包也许还不支持部分平台,不过这并不是太大问题,后期迭代几个版本后,我会不断扩充完善包仓库。

    如果你需要的包,当前的官方仓库还没有收录,可以提交 issues 或者自己可以在本地调通后,贡献提交到官方仓库:xmake-repo

    详细的贡献说明,见:CONTRIBUTING.md

    关于远程依赖包的更多说明,可以看下官方文档:远程依赖模式

    其实 xmake 的包管理历经了三代,前两版 v1.0, v2.0 分别是本地包管理模式,系统库查找模式,这两种在有些情况下还是非常有用的。 关于这两者的介绍,这里就不多说了,可以看下文档说明:依赖包管理

    结语

    说了这么多,我们最后来看下,新版本提供的一些其他新特性和更新内容:

    其他新特性

    • 新增 fasm 汇编器支持
    • 添加has_config, get_configis_config接口去快速判断 option 和配置值
    • 添加set_config接口去设置默认配置
    • 添加$xmake --try去尝试构建工程
    • 添加set_enabled(false)去显示的禁用 target
    • #69: 添加远程依赖包管理, add_requires("tbox ~1.6.1")
    • #216: 添加 windows mfc 编译规则

    改进

    • 改进 Qt 编译编译环境探测,增加对 mingw sdk 的支持
    • 在自动扫描生成的 xmake.lua 中增加默认 debug/release 规则
    • #178: 修改 mingw 平台下的目标名
    • 对于add_files()在 windows 上支持大小写不敏感路径模式匹配
    • 改进detect.sdks.find_qt对于 Qt 根目录的探测
    • #184: 改进lib.detect.find_package支持 vcpkg
    • #208: 改进 rpath 对动态库的支持

    Bugs 修复

    • #177: 修复被依赖的动态库 target,如果设置了 basename 后链接失败问题
    • 修复$xmake f --menu中 Exit 问题以及 cpu 过高问题
    • #197: 修复生成的 vs201x 工程文件带有中文路径乱码问题
    • 修复 WDK 规则编译生成的驱动在 Win7 下运行蓝屏问题
    • #205: 修复 vcproj 工程生成 targetdir, objectdir 路径设置不匹配问题
    18 条回复    2018-10-17 12:34:32 +08:00
    webdisk
        1
    webdisk  
       2018-10-17 08:49:28 +08:00 via Android   ❤️ 1
    非常棒的工具,希望尽快普及,打败 cmake
    mingff258
        2
    mingff258  
       2018-10-17 09:17:34 +08:00   ❤️ 1
    C++人民发来贺电
    waruqi
        3
    waruqi  
    OP
       2018-10-17 09:20:36 +08:00
    @webdisk 谢谢支持!
    buf1024
        4
    buf1024  
       2018-10-17 09:25:33 +08:00
    还是选择 cmake,生态大。
    waruqi
        5
    waruqi  
    OP
       2018-10-17 09:29:05 +08:00
    @buf1024 cmake 十几年的生态 确实没法比。。
    visionsmile
        6
    visionsmile  
       2018-10-17 09:33:01 +08:00   ❤️ 1
    C++er 发来贺电!强烈兹磁。
    KeepPro
        7
    KeepPro  
       2018-10-17 09:44:14 +08:00
    好有毅力啊。我的 side project 都写不了几天就不想写了 Sad.
    waruqi
        8
    waruqi  
    OP
       2018-10-17 09:44:51 +08:00
    @visionsmile 谢谢!
    hululu
        9
    hululu  
       2018-10-17 09:46:22 +08:00
    很强大啊,能省很多事情
    wutiantong
        10
    wutiantong  
       2018-10-17 09:47:02 +08:00
    我还没选择 cmake,没法比。
    FetchContent & ExternalProject 用起来更爽。
    yazoox
        11
    yazoox  
       2018-10-17 09:59:09 +08:00
    楼主还是很厉害的。佩服
    TangMonk
        12
    TangMonk  
       2018-10-17 10:15:33 +08:00
    我用 qmake
    waruqi
        13
    waruqi  
    OP
       2018-10-17 10:16:12 +08:00
    @TangMonk xmake 也是支持 qt 项目构建的。
    skadi
        14
    skadi  
       2018-10-17 10:34:00 +08:00
    某些小众 lib 还是要自己导么?
    waruqi
        15
    waruqi  
    OP
       2018-10-17 10:45:12 +08:00
    @skadi 可以自己提 pr 到官方仓库,也可以提 issues 需求,说下需要哪些 lib 包,我之后会优先考虑添加进来。。https://github.com/tboox/xmake-repo/issues
    hei1000
        16
    hei1000  
       2018-10-17 11:34:31 +08:00
    虽然暂时用不到,但是看起来挺不错的样子,支持一下
    waruqi
        17
    waruqi  
    OP
       2018-10-17 12:32:06 +08:00 via Android
    @hei1000 谢谢
    Cambrian07
        18
    Cambrian07  
       2018-10-17 12:34:32 +08:00 via Android
    很棒
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3535 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 52ms · UTC 00:48 · PVG 08:48 · LAX 17:48 · JFK 20:48
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.