

![Kaggle](https://cdn.jsdelivr.net/gh/thedogb/pic@master/upic/agmg9-whql1.png)

1. 安装 kaggle 包

```python
pip install kaggle
```



2. 配置 kaggle 

访问账户页面 `https://www.kaggle.com/<username>/account` ， 找到 `API` -> `Create New API Token` 。点击该按钮就可以下载一个配置文件  `kaggle.json` 。然后将该文件放到 `~/.kaggle/` 下。

![image-20211205134708948](https://raw.githubusercontent.com/thedogb/pic/master/uPic/2021-12-05/image-20211205134708948.png)



3. 从 kaggle 下载训练数据

以[泰坦尼克任务](https://www.kaggle.com/c/titanic/data) 为例，`kaggle` 官方在数据页面给出了用 `kaggle` 命令行下载数据的命令：

```shell
kaggle competitions download -c titanic
```

```shell
.
├── gender_submission.csv
├── test.csv
├── titanic.zip
└── train.csv
```



4. 提交答案

在[泰坦尼克任务](https://www.kaggle.com/c/titanic/data) 中，官方给出了一个样例答案文件：`gender_submission.csv` 。我们尝试直接提交它来看看成绩。在 [任务提交页面](https://www.kaggle.com/c/titanic/submit) ，官方也给出了提交答案的命令，我们稍微修改成我们可以使用的版本：

```shell
# kaggle competitions submit -c titanic -f submission.csv -m "Message"
kaggle competitions submit -c titanic -f gender_submission.csv -m "看看gender_submission的成绩"
```

立刻在[任务提交页面](https://www.kaggle.com/c/titanic/submit) ，就刷新出了我们的最新成绩：

![image-20211205140017347](https://raw.githubusercontent.com/thedogb/pic/master/uPic/2021-12-05/image-20211205140017347.png)

要注意，`kaggle` 官方对每天的提交次数进行了限制，每天最多只能进行10次提交。所以，在快速迭代的时候，最好也能自己在离线有一个初步评估，珍惜宝贵的提交次数。

5. 查看排名

`kaggle` 提供了一个 [leaderboard](https://www.kaggle.com/c/titanic/leaderboard#score) 页面用于展示不同用户的成绩排名。

![image-20211205195334837](https://raw.githubusercontent.com/thedogb/pic/master/uPic/2021-12-05/image-20211205195334837.png)

可以看到我们初次提交的排名是10965，嗯，作为第一次提交来说已经很不错了呢。

![image-20211205195434272](https://raw.githubusercontent.com/thedogb/pic/master/uPic/2021-12-05/image-20211205195434272.png)

与此同时，我们也可以看到排在最前面的那些人已经把这个任务的精度刷到1了。。

Kaggle 竞赛入门：学习如何安装 Kaggle API、下载比赛数据、提交预测结果，并查看排行榜排名。本教程适用于 Kaggle 新手和机器学习爱好者，助你快速掌握 Kaggle 竞赛流程。

如何参加 kaggle 竞赛


![用HQL计算Auc](https://cdn.jsdelivr.net/gh/thedogb/pic@master/upic/azuom-gfgjb.png)


AUC 在分类问题中是一个重要的指标，使用 python，调用相关库包的api可以很容易的计算这个指标。但是在工业界，我们往往更多使用的是 Hive 环境，如果能够用 HQL 直接计算 AUC，在很多时候都会方便不少。



## AUC 两种解释

1. AUC 表示 ROC 曲线下的面积
2. AUC 表示在样本中随机挑选一对正负样本，正样本的打分高于负样本的概率

关于两种解释的具体说明见参考文献吧，人家已经写得很好了。



## 用 HQL 计算AUC

借助 AUC 的概率解释，我们很容易就能写出 HQL 代码：

```sql
SELECT 
	'v1' as version
	, 1.0 * (SUM(rk * label) - SUM(label) * (SUM(label) + 1) / 2) / (SUM(1 - label) * SUM(label)) as auc
    , count(1)
FROM (
	SELECT 
	    label
        , pred as score
		, ROW_NUMBER() OVER (ORDER BY pred, rand()) AS rk
	FROM 
	(
	    select pred, label
	    from some.table
	) t1
) t2; 
```





## 参考文献

1. [深入理解AUC](https://tracholar.github.io/machine-learning/2018/01/26/auc.html)



使用 HQL 计算 AUC 指标的完整指南，涵盖 AUC 的两种定义，并提供在 Hive 环境下计算 AUC 的 SQL 代码示例，适用于机器学习模型评估和大数据分析。

Tag : 机器学习

如何参加 kaggle 竞赛

如何用HQL计算AUC指标