robotstxt - 我用 Rust 重写了 Google 的 robotstxt 解析库
Wichna · folyd · 2020-05-24 15:32:58 +08:00 · 2581 次点击这是一个创建于 1673 天前的主题，其中的信息可能已经有所发展或是发生改变。
我把 Google 的 robotstxt 解析库 port 到 rust 了，并且用 FFI 的方式跑通了 C++的测试用例。感兴趣的朋友欢迎 star 🥳
地址：https://github.com/Folyd/robotstxt
robotstxt
A native Rust port of Google's robots.txt parser and matcher C++ library.
- Native Rust port, no third-part crate dependency
- Preserves all behavior of original library
- Consistent API with original library
- 100% google original test passed
Installation
[dependencies]
robotstxt = "0.2.0"
Quick start
use robotstxt::DefaultMatcher;
let mut matcher = DefaultMatcher::default();
let robots_body = "user-agent: FooBot\n\
disallow: /\n";
assert_eq!(false, matcher.one_agent_allowed_by_robots(robots_body, "FooBot", "https://foo.com/"));
 |
1
tikazyq 2020-05-24 16:16:35 +08:00
只能 rust 用么？有不有 py 的接口?
|
 |
4
jimmyismagic 2020-05-24 19:24:08 +08:00
@tikazyq 本来就是 c++的，为什么还要转换成 rust 后再转成 python
|
 |
5
leoleoasd 2020-05-24 22:03:12 +08:00
差点看成 floyd hhh
|
 |
7
Wichna OP @jimmyismagic rust 版是我自己实现的一个库，其他 rust 项目就可以直接调用了。至于 python 项目想调用 C++还是 Rust 的版本都可以
|
Select Language