V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  wxf666  ›  全部回复第 1 页 / 共 19 页
回复总数  368
1  2  3  4  5  6  7  8  9  10 ... 19  
11 天前
回复了 dafuyang 创建的主题 MySQL 兄弟们,关于 sql 优化的问题想请教一下
@xiangyuecn `select a,b,c,d from table order by d desc limit 0,100;` 不是先走索引 d 查出主键,再查出对应的 a, b, c, d 吗?

实在不行,使用 `FORCE INDEX`,或者 `SELECT a, b, c, d FROM (SELECT id FROM table ORDER BY d DESC LIMIT 0, 100) t JOIN table USING(id)` ,感觉性能可以更好啊?(至少能减少数据传输?)
12 天前
回复了 dafuyang 创建的主题 MySQL 兄弟们,关于 sql 优化的问题想请教一下
@xiangyuecn 这个不就是楼主所说的『强制使用 d 索引』嘛。。

另外,为嘛要分开写呢?直接 `select a,b,c,d from table order by d desc limit 0,100;` 不行吗?
13 天前
回复了 andyJado 创建的主题 程序员 为什么我们不用 git 当数据库呢?
@andyJado

以及,怎么确保『用户消费货币 和 用户发帖 /回复』同时发生或不发生?(防止突然断电、程序突然崩溃等)

这些都是最最最基础的数据库功能,连 1MB 的 SQLite 都能轻易实现


可能数据量太大(而且没有数据),你不好练习

可以去搜索一下『 SQL 经典 50 题』,一些基于『十来行学生、课程、教师、成绩数据』的各种查询,看看怎么用 Git 实现?
13 天前
回复了 andyJado 创建的主题 程序员 为什么我们不用 git 当数据库呢?
@andyJado

1. 怎么存储 用户 的 提醒通知(及其是否已读)、历史消费、收藏节点 /主题、关注 /block 的用户?
2. 怎么知道 帖子 有哪些 回复?(回复所属的帖子)
3. 怎么知道 某个回复 有哪些“感谢回复者”记录?
4. 怎么搜索 某个用户 所有帖子、回复?
13 天前
回复了 andyJado 创建的主题 程序员 为什么我们不用 git 当数据库呢?
@andyJado 比如 V 站的 1K 个节点、60W 个用户、90W 个帖子、1200W 个回复,

以及每个用户的个人信息、所有提醒通知、虚拟货币消费历史,

还有每个帖子中某些用户的“感谢回复者”记录等,

怎么在 Git 里存储呢?


增删查改 节点、用户及个人信息、帖子、回复、提醒、消费 等,大概咋实现呢?
为啥 C/C++/Rust 效率能差于其他语言呢
18 天前
回复了 qiyong 创建的主题 程序员 面试中遇到的一道 sql 题
@potatowish wangxin3 `goods_sales_record` 表应该允许多次售出某个商品吧

因为楼主 @qiyong 也用了 `FROM goods_sales_record GROUP BY goods_id`


我试了下,`goods_sales_record` 表加个 `(7, 1, '100')`,#12 #14 结果就不对了


试着拿 `SQLite` 写了下:

*( V 站排版原因,行首有全角空格,记得删除)*

```sql
WITH
  goods(id, name, group_id) AS (
   VALUES
   (1, '苹果手机', 1),
   (2, '三星手机', 1),
   (3, '联想电脑', 2),
   (4, '华为手机', 1),
   (5, '华硕电脑', 2),
   (6, 'IKBC', 3)
 ),

  goods_group(id, name) AS (
   VALUES
   (1, '手机'),
   (2, '电脑'),
   (3, '键盘')
 ),

  goods_sales_record(id, goods_id, sales_volume) AS (
   VALUES
   (1, 1, '50'),
   (2, 2, '30'),
   (3, 3, '88'),
   (4, 4, '88'),
   (5, 5, '444'),
   (6, 6, '34')
 ),

  goods_sales(goods_id, total_sales) AS (
   SELECT goods_id, SUM(sales_volume)
   FROM goods_sales_record
   GROUP BY 1
 ),

  top3 AS (
   SELECT *
   FROM goods_sales
   ORDER BY total_sales DESC
   LIMIT 3
 )

SELECT
  g1.name 商品名,
  gg.name 商品所属分组名,
  t3.total_sales 商品销量,
  SUM(gs.total_sales) 分组内所有商品总销量
FROM top3 t3
JOIN goods g1 ON g1.id = t3.goods_id
JOIN goods g2 USING(group_id)
JOIN goods_group gg ON gg.id = g1.group_id
JOIN goods_sales gs ON g2.id = gs.goods_id
GROUP BY g1.id
ORDER BY 分组内所有商品总销量 DESC, 商品销量 DESC;
```
@maggch97 确实,改成 round(1.15 * 100) 就能继续跑了

但跑了快半个钟了,还没出结果。。
@dqzcwxb 请教一下,为嘛不选用窗口函数呢?(差在哪儿?)
20 天前
回复了 brader 创建的主题 程序员 请教个 sql 查询问题
@brader 能大致放一下当前的表结构 和 查询 SQL 吗?
@aijam 为嘛我改成楼主第一组数据(最长的那组),跑不出结果呢?

显示:ans = {6213: [], 2667: [], 1776: []}
27 天前
回复了 blankmiss 创建的主题 NAS Zlib 的数据量怎么这么少,才 31T 的书籍?
@blankmiss 我不是说 31T 多 /少,是说 sql 少,才 1200W 数据,其中有 13W 中文书籍

但看到 @kernelpanic 在 #93 楼说下了 2000W 本,其中 20W 本是中文

是不是少了 800W ?
楼上的建议远离 Chrome 吗?

这货时不时有个 software_reporter_tool 扫硬盘也很吃资源,风扇呼呼响,而且没有提供选项关掉
28 天前
回复了 blankmiss 创建的主题 NAS Zlib 的数据量怎么这么少,才 31T 的书籍?
@kernelpanic 我只下了 sql 文件

统计了下,总共不到 1200W 行数据,中文才 13 万本左右

是不是数据库缺失很多啊?@blankmiss ,有啥办法补全吗?
@bertonzh `JSON.parse` 还能这样用?学习了!

但耗时更久了,2.8 s 左右

会不会是有了转换器,就用不了内部高度优化的 `json` 解析器了。。
@bertonzh 试着写出来了:

*( V 站排版原因,行首有全角空格)*

```javascript
function parseJson(json) {

  function restore(obj) {
   if (typeof obj === 'number')
    return nums[obj];
   else if (Array.isArray(obj))
    obj.forEach((v, i) => obj[i] = restore(v));
   else if (typeof obj === 'object' && obj !== null)
    Object.keys(obj).forEach(k => obj[k] = restore(obj[k]));
   return obj;
 }

  let nums = [];
  return restore(JSON.parse(json.replace(/"(?:\\?.)*?"|-?\d+(?:\.\d+)?(?:[eE][+-]?\d+)?/g, m =>
   m[0] === '"' ? m : nums.push(/[.eE]/.test(m) || Number.isSafeInteger(+m) ? +m : BigInt(m)) - 1
 )));
}
```

拿了个本地 64.8 MB 的 `~/.conda/pkgs/cache/e5e4a514.json` 测了下速度: *( i5-8250U ,`nodejs` v16 )*

- #5 楼的方法:3.3 s
- 此楼方法:2.2 s = 正则替换 1.5 s + json 解析 0.4 s + 递归替换 0.3 s
- `json-bigint` *(`{useNativeBigInt: true}`)*:1.7 s
@bertonzh 写漏了:

`/^(?:字符串|整数|浮点|true|false|null|[[\]{},]|\s+)*$/`
@bertonzh 回头再看看,其实应该还没处理好有浮点数的 `json`。但思路是一样的,碰到字符串、浮点数,跳过就好。


如果担心 `eval` 了危险的 `js`,我觉得可以正则匹配下,看是不是全为 `json` 的元素:

`/^(?:字符串|整数|浮点|true|false|null|[[\]{},]|\s+)$/`


其实,我感觉可以:

1. 正则匹配出,并用一个数组记录下所有整数,再替换为在数组中的下标。
2. `JSON.parse()` 后,再遍历所有为整数的值,替换回来(这时候就可以决定用不用 `bigint` 了)

好处:

1. 这应该会比手动解析 `json` 快
2. 而且代码体积小(可能十来行就可以了)
3. 不用担心 `eval`、`new Function` 能不能用,危不危险的问题
@bertonzh `js` 新手。感觉通过正则找到数字,并替换为 `bigint`,最后再 `eval` 或 `new Function`,也能读取含有大数字的 `json` 诶:

```javascript
s = '{"x": ": 12345678901234561111", "y": [-12345678901234561111, "12345678901234561111", -123456, "\\"12345678901234561111\\""]}';

eval('(' + s.replace(/"(?:\\?.)*?"|-?\d+/g, m => !isFinite(m) || Number.isSafeInteger(+m) ? m : m + 'n') + ')');
```

结果:

```javascript
{
  x: ": 12345678901234561111",
  y: [
  -12345678901234561111n,
  "12345678901234561111",
  -123456,
  "\"12345678901234561111\""
 ]
}
```
这有啥应用场景吗。。随时随地 code ?还是。。?
1  2  3  4  5  6  7  8  9  10 ... 19  
关于   ·   帮助文档   ·   API   ·   FAQ   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   3765 人在线   最高记录 5497   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 50ms · UTC 04:27 · PVG 12:27 · LAX 20:27 · JFK 23:27
Developed with CodeLauncher
♥ Do have faith in what you're doing.