Compare commits
17 Commits
| Author | SHA1 | Date | |
|---|---|---|---|
| 03cfa3fd63 | |||
| ab23e4aa3c | |||
| ab573f91ee | |||
| 8a9b9cdcfe | |||
| e56867a269 | |||
| 8e795c6371 | |||
| c3e53c7df8 | |||
| 404b02830d | |||
| 2fe9a8fecd | |||
| 078f3d7416 | |||
| d69e10202c | |||
| 140e472e29 | |||
| 823d97f4bb | |||
| f7167a85a8 | |||
| 4a3b8267ec | |||
| d0bebcba87 | |||
| 56d7993116 |
@@ -0,0 +1,34 @@
|
|||||||
|
name: Docker
|
||||||
|
|
||||||
|
on: ["push", "pull_request"]
|
||||||
|
|
||||||
|
jobs:
|
||||||
|
build:
|
||||||
|
runs-on: ubuntu-latest
|
||||||
|
steps:
|
||||||
|
- name: Checkout
|
||||||
|
uses: actions/checkout@v2
|
||||||
|
- name: Set up Docker Buildx
|
||||||
|
uses: docker/setup-buildx-action@v1
|
||||||
|
- name: Cache Docker layers
|
||||||
|
uses: actions/cache@v2
|
||||||
|
with:
|
||||||
|
path: /tmp/.buildx-cache
|
||||||
|
key: ${{ runner.os }}-buildx-${{ github.sha }}
|
||||||
|
restore-keys: |
|
||||||
|
${{ runner.os }}-buildx-
|
||||||
|
- name: Build
|
||||||
|
uses: docker/build-push-action@v2
|
||||||
|
with:
|
||||||
|
context: ./
|
||||||
|
file: ./Dockerfile
|
||||||
|
builder: ${{ steps.buildx.outputs.name }}
|
||||||
|
push: false
|
||||||
|
cache-from: type=local,src=/tmp/.buildx-cache
|
||||||
|
cache-to: type=local,dest=/tmp/.buildx-cache-new
|
||||||
|
- name: Move cache
|
||||||
|
run: |
|
||||||
|
rm -rf /tmp/.buildx-cache
|
||||||
|
mv /tmp/.buildx-cache-new /tmp/.buildx-cache
|
||||||
|
- name: Image digest
|
||||||
|
run: echo ${{ steps.docker_build.outputs.digest }}
|
||||||
@@ -2,6 +2,7 @@
|
|||||||
/node_modules
|
/node_modules
|
||||||
/config.json
|
/config.json
|
||||||
/config.example.json
|
/config.example.json
|
||||||
|
/robots_list.json
|
||||||
/data
|
/data
|
||||||
/data/*
|
/data/*
|
||||||
/test_data
|
/test_data
|
||||||
|
|||||||
+5
-1
@@ -1,12 +1,16 @@
|
|||||||
FROM node:14
|
FROM node:15
|
||||||
|
|
||||||
# Create app directory
|
# Create app directory
|
||||||
WORKDIR /usr/src/app
|
WORKDIR /usr/src/app
|
||||||
|
|
||||||
|
VOLUME [ "/usr/src/app/data" ]
|
||||||
|
|
||||||
# Install app dependencies
|
# Install app dependencies
|
||||||
# A wildcard is used to ensure both package.json AND package-lock.json are copied
|
# A wildcard is used to ensure both package.json AND package-lock.json are copied
|
||||||
# where available (npm@5+)
|
# where available (npm@5+)
|
||||||
COPY package*.json ./
|
COPY package*.json ./
|
||||||
|
COPY src/postinstall.js ./src/postinstall.js
|
||||||
|
COPY src/config.default.json ./src/config.default.json
|
||||||
|
|
||||||
RUN npm install
|
RUN npm install
|
||||||
# If you are building your code for production
|
# If you are building your code for production
|
||||||
|
|||||||
@@ -336,6 +336,11 @@ Any URL like `/year/month/day/anything/` will redirect to this article (and link
|
|||||||
* `hit_counter`
|
* `hit_counter`
|
||||||
* `unique_visitor_timeout`: (default: 7200000 / 2h)
|
* `unique_visitor_timeout`: (default: 7200000 / 2h)
|
||||||
specify the time (in ms) before a visitor can be accounted again
|
specify the time (in ms) before a visitor can be accounted again
|
||||||
|
* `robots`
|
||||||
|
* `list_url`: (default: https://raw.githubusercontent.com/atmire/COUNTER-Robots/master/COUNTER_Robots_list.json)
|
||||||
|
url to fetch for web crawlers patterns
|
||||||
|
* `list_file`: (default: robots_list.json)
|
||||||
|
file to store web crawlers patterns
|
||||||
* `redis`
|
* `redis`
|
||||||
Options to connect to redis (see [redis options](https://github.com/NodeRedis/node-redis#options-object-properties) for more info)
|
Options to connect to redis (see [redis options](https://github.com/NodeRedis/node-redis#options-object-properties) for more info)
|
||||||
* `host`: (default: localhost)
|
* `host`: (default: localhost)
|
||||||
|
|||||||
Generated
+15
-14
@@ -1,11 +1,12 @@
|
|||||||
{
|
{
|
||||||
"name": "gitblog.md",
|
"name": "gitblog.md",
|
||||||
"version": "1.2.8",
|
"version": "1.3.3",
|
||||||
"lockfileVersion": 2,
|
"lockfileVersion": 2,
|
||||||
"requires": true,
|
"requires": true,
|
||||||
"packages": {
|
"packages": {
|
||||||
"": {
|
"": {
|
||||||
"version": "1.2.8",
|
"name": "gitblog.md",
|
||||||
|
"version": "1.3.3",
|
||||||
"hasInstallScript": true,
|
"hasInstallScript": true,
|
||||||
"license": "ISC",
|
"license": "ISC",
|
||||||
"dependencies": {
|
"dependencies": {
|
||||||
@@ -19,7 +20,7 @@
|
|||||||
"ncp": "^2.0.0",
|
"ncp": "^2.0.0",
|
||||||
"node-prismjs": "^0.1.0",
|
"node-prismjs": "^0.1.0",
|
||||||
"prismjs": "^1.23.0",
|
"prismjs": "^1.23.0",
|
||||||
"redis": "^3.0.2",
|
"redis": "^3.1.2",
|
||||||
"rss": "^1.2.2",
|
"rss": "^1.2.2",
|
||||||
"showdown": "^1.9.1"
|
"showdown": "^1.9.1"
|
||||||
},
|
},
|
||||||
@@ -6976,17 +6977,17 @@
|
|||||||
}
|
}
|
||||||
},
|
},
|
||||||
"node_modules/redis": {
|
"node_modules/redis": {
|
||||||
"version": "3.0.2",
|
"version": "3.1.2",
|
||||||
"resolved": "https://registry.npmjs.org/redis/-/redis-3.0.2.tgz",
|
"resolved": "https://registry.npmjs.org/redis/-/redis-3.1.2.tgz",
|
||||||
"integrity": "sha512-PNhLCrjU6vKVuMOyFu7oSP296mwBkcE6lrAjruBYG5LgdSqtRBoVQIylrMyVZD/lkF24RSNNatzvYag6HRBHjQ==",
|
"integrity": "sha512-grn5KoZLr/qrRQVwoSkmzdbw6pwF+/rwODtrOr6vuBRiR/f3rjSTGupbF90Zpqm2oenix8Do6RV7pYEkGwlKkw==",
|
||||||
"dependencies": {
|
"dependencies": {
|
||||||
"denque": "^1.4.1",
|
"denque": "^1.5.0",
|
||||||
"redis-commands": "^1.5.0",
|
"redis-commands": "^1.7.0",
|
||||||
"redis-errors": "^1.2.0",
|
"redis-errors": "^1.2.0",
|
||||||
"redis-parser": "^3.0.0"
|
"redis-parser": "^3.0.0"
|
||||||
},
|
},
|
||||||
"engines": {
|
"engines": {
|
||||||
"node": ">=6"
|
"node": ">=10"
|
||||||
},
|
},
|
||||||
"funding": {
|
"funding": {
|
||||||
"type": "opencollective",
|
"type": "opencollective",
|
||||||
@@ -14362,12 +14363,12 @@
|
|||||||
}
|
}
|
||||||
},
|
},
|
||||||
"redis": {
|
"redis": {
|
||||||
"version": "3.0.2",
|
"version": "3.1.2",
|
||||||
"resolved": "https://registry.npmjs.org/redis/-/redis-3.0.2.tgz",
|
"resolved": "https://registry.npmjs.org/redis/-/redis-3.1.2.tgz",
|
||||||
"integrity": "sha512-PNhLCrjU6vKVuMOyFu7oSP296mwBkcE6lrAjruBYG5LgdSqtRBoVQIylrMyVZD/lkF24RSNNatzvYag6HRBHjQ==",
|
"integrity": "sha512-grn5KoZLr/qrRQVwoSkmzdbw6pwF+/rwODtrOr6vuBRiR/f3rjSTGupbF90Zpqm2oenix8Do6RV7pYEkGwlKkw==",
|
||||||
"requires": {
|
"requires": {
|
||||||
"denque": "^1.4.1",
|
"denque": "^1.5.0",
|
||||||
"redis-commands": "^1.5.0",
|
"redis-commands": "^1.7.0",
|
||||||
"redis-errors": "^1.2.0",
|
"redis-errors": "^1.2.0",
|
||||||
"redis-parser": "^3.0.0"
|
"redis-parser": "^3.0.0"
|
||||||
}
|
}
|
||||||
|
|||||||
+2
-2
@@ -1,6 +1,6 @@
|
|||||||
{
|
{
|
||||||
"name": "gitblog.md",
|
"name": "gitblog.md",
|
||||||
"version": "1.3.0",
|
"version": "1.3.3",
|
||||||
"description": "A static blog using Markdown pulled from your git repository.",
|
"description": "A static blog using Markdown pulled from your git repository.",
|
||||||
"main": "src/server.js",
|
"main": "src/server.js",
|
||||||
"dependencies": {
|
"dependencies": {
|
||||||
@@ -14,7 +14,7 @@
|
|||||||
"ncp": "^2.0.0",
|
"ncp": "^2.0.0",
|
||||||
"node-prismjs": "^0.1.0",
|
"node-prismjs": "^0.1.0",
|
||||||
"prismjs": "^1.23.0",
|
"prismjs": "^1.23.0",
|
||||||
"redis": "^3.0.2",
|
"redis": "^3.1.2",
|
||||||
"rss": "^1.2.2",
|
"rss": "^1.2.2",
|
||||||
"showdown": "^1.9.1"
|
"showdown": "^1.9.1"
|
||||||
},
|
},
|
||||||
|
|||||||
+41
-11
@@ -61,6 +61,23 @@ module.exports = (config) => {
|
|||||||
}
|
}
|
||||||
},
|
},
|
||||||
);
|
);
|
||||||
|
const botDetector = require('./bot_detector')(config);
|
||||||
|
botDetector.load((status, err) => {
|
||||||
|
switch (status) {
|
||||||
|
case botDetector.status.FETCH_OK:
|
||||||
|
console.log(cons.ok, 'fetched robots list');
|
||||||
|
break;
|
||||||
|
case botDetector.status.FETCH_ERROR:
|
||||||
|
console.error(cons.error, 'error fetching robots list : ' + err);
|
||||||
|
break;
|
||||||
|
case botDetector.status.READ_OK:
|
||||||
|
console.log(cons.ok, `read robots list: ${botDetector.count}`);
|
||||||
|
break;
|
||||||
|
case botDetector.status.READ_ERROR:
|
||||||
|
console.error(cons.error, 'error reading robots list : ' + err);
|
||||||
|
break;
|
||||||
|
}
|
||||||
|
});
|
||||||
|
|
||||||
// set view engine from configuration
|
// set view engine from configuration
|
||||||
app.set('view engine', config['view_engine']);
|
app.set('view engine', config['view_engine']);
|
||||||
@@ -145,6 +162,9 @@ module.exports = (config) => {
|
|||||||
});
|
});
|
||||||
app.use(limiter);
|
app.use(limiter);
|
||||||
|
|
||||||
|
//detect robots
|
||||||
|
app.use(botDetector.handle);
|
||||||
|
|
||||||
//log request at result end
|
//log request at result end
|
||||||
app.use((req, res, next) => {
|
app.use((req, res, next) => {
|
||||||
if (config['access_log']) {
|
if (config['access_log']) {
|
||||||
@@ -168,7 +188,7 @@ module.exports = (config) => {
|
|||||||
if (err) {
|
if (err) {
|
||||||
showError(req, res, 404);
|
showError(req, res, 404);
|
||||||
} else {
|
} else {
|
||||||
hc.count(req, '/', () => {
|
hc.count(req, '/', req.isRobot, () => {
|
||||||
render(req, res, homePath,
|
render(req, res, homePath,
|
||||||
{
|
{
|
||||||
articles: Object.values(articles)
|
articles: Object.values(articles)
|
||||||
@@ -181,12 +201,25 @@ module.exports = (config) => {
|
|||||||
});
|
});
|
||||||
app.get('/stats', (req, res) => {
|
app.get('/stats', (req, res) => {
|
||||||
if (config['modules']['hit_counter']) {
|
if (config['modules']['hit_counter']) {
|
||||||
hc.read('/', (data) => {
|
if (req.query['all']) {
|
||||||
res.json({
|
const keys = Object.keys(articles).filter(key => !articles[key].draft);
|
||||||
hits: data.hits,
|
keys.unshift('/');
|
||||||
visitors: data.visitors,
|
const read = (i, outputData) => {
|
||||||
|
if (i >= keys.length) {
|
||||||
|
res.json(outputData);
|
||||||
|
} else {
|
||||||
|
hc.read(keys[i], (data) => {
|
||||||
|
outputData.push(data);
|
||||||
|
read(i + 1, outputData);
|
||||||
|
});
|
||||||
|
}
|
||||||
|
};
|
||||||
|
read(0, []);
|
||||||
|
} else {
|
||||||
|
hc.read('/', (data) => {
|
||||||
|
res.json(data);
|
||||||
});
|
});
|
||||||
});
|
}
|
||||||
} else {
|
} else {
|
||||||
showError(req, res, 404);
|
showError(req, res, 404);
|
||||||
}
|
}
|
||||||
@@ -268,16 +301,13 @@ module.exports = (config) => {
|
|||||||
} else if (req.path.endsWith('stats')) {
|
} else if (req.path.endsWith('stats')) {
|
||||||
if (config['modules']['hit_counter']) {
|
if (config['modules']['hit_counter']) {
|
||||||
hc.read(articlePath, (data) => {
|
hc.read(articlePath, (data) => {
|
||||||
res.json({
|
res.json(data);
|
||||||
hits: data.hits,
|
|
||||||
visitors: data.visitors,
|
|
||||||
});
|
|
||||||
});
|
});
|
||||||
} else {
|
} else {
|
||||||
showError(req, res, 404);
|
showError(req, res, 404);
|
||||||
}
|
}
|
||||||
} else {
|
} else {
|
||||||
hc.count(req, articlePath, () => {
|
hc.count(req, articlePath, req.isRobot, () => {
|
||||||
renderer.render(article.realPath, (err, html) => {
|
renderer.render(article.realPath, (err, html) => {
|
||||||
if (err) {
|
if (err) {
|
||||||
console.log(cons.error, `failed to render article ${req.path} : ${err}`);
|
console.log(cons.error, `failed to render article ${req.path} : ${err}`);
|
||||||
|
|||||||
@@ -0,0 +1,66 @@
|
|||||||
|
const https = require('https');
|
||||||
|
const fs = require('fs');
|
||||||
|
|
||||||
|
module.exports = (config) => {
|
||||||
|
const _this = {
|
||||||
|
status: {
|
||||||
|
FETCH_OK: 1,
|
||||||
|
FETCH_ERROR: 2,
|
||||||
|
READ_OK: 3,
|
||||||
|
READ_ERROR: 4,
|
||||||
|
},
|
||||||
|
count: [],
|
||||||
|
regex: null,
|
||||||
|
};
|
||||||
|
|
||||||
|
const fetchList = (cb) => {
|
||||||
|
https.get(config['robots']['list_url'], (res) => {
|
||||||
|
if (res.statusCode !== 200) {
|
||||||
|
cb(res.statusCode);
|
||||||
|
} else {
|
||||||
|
const file = fs.createWriteStream(config['robots']['list_file']);
|
||||||
|
res.pipe(file);
|
||||||
|
file.on('finish', () => {
|
||||||
|
file.close(cb);
|
||||||
|
});
|
||||||
|
}
|
||||||
|
}).on('error', (err) => {
|
||||||
|
cb(err.message);
|
||||||
|
});
|
||||||
|
};
|
||||||
|
|
||||||
|
const readFile = (cb) => {
|
||||||
|
fs.readFile(config['robots']['list_file'], { encoding: 'utf-8' }, (err, data) => {
|
||||||
|
if (err) {
|
||||||
|
cb(err, undefined);
|
||||||
|
} else {
|
||||||
|
try {
|
||||||
|
cb(undefined, JSON.parse(data));
|
||||||
|
} catch (err) {
|
||||||
|
cb(err, undefined);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
});
|
||||||
|
};
|
||||||
|
|
||||||
|
_this.load = (cb) => {
|
||||||
|
fetchList((err) => {
|
||||||
|
cb(err ? _this.status.FETCH_ERROR : _this.status.FETCH_OK, err);
|
||||||
|
readFile((err, data) => {
|
||||||
|
if (!err) {
|
||||||
|
_this.count = data.length;
|
||||||
|
_this.regex = new RegExp('(' + data.filter(v => v['pattern']).map(v => v['pattern'])
|
||||||
|
.join('|') + ')');
|
||||||
|
}
|
||||||
|
cb(err ? _this.status.READ_ERROR : _this.status.READ_OK, err);
|
||||||
|
});
|
||||||
|
});
|
||||||
|
};
|
||||||
|
|
||||||
|
_this.handle = (req, res, next) => {
|
||||||
|
req.isRobot = !!((req.headers['user-agent'] || '').match(_this.regex));
|
||||||
|
next();
|
||||||
|
};
|
||||||
|
|
||||||
|
return _this;
|
||||||
|
};
|
||||||
@@ -63,6 +63,10 @@
|
|||||||
"hit_counter": {
|
"hit_counter": {
|
||||||
"unique_visitor_timeout": 7200000
|
"unique_visitor_timeout": 7200000
|
||||||
},
|
},
|
||||||
|
"robots": {
|
||||||
|
"list_url": "https://raw.githubusercontent.com/atmire/COUNTER-Robots/master/COUNTER_Robots_list.json",
|
||||||
|
"list_file": "robots_list.json"
|
||||||
|
},
|
||||||
"redis": {
|
"redis": {
|
||||||
"host": "localhost",
|
"host": "localhost",
|
||||||
"port": 6379
|
"port": 6379
|
||||||
|
|||||||
+26
-8
@@ -8,15 +8,15 @@ module.exports = (config, onConnect, onError) => {
|
|||||||
|
|
||||||
const visitors = {};
|
const visitors = {};
|
||||||
|
|
||||||
const count = (req, path, cb) => {
|
const count = (req, path, disable, cb) => {
|
||||||
if (!client.connected) {
|
if (!client.connected || disable) {
|
||||||
cb();
|
cb();
|
||||||
} else {
|
} else {
|
||||||
const ip = req.headers['x-forwarded-for'] || req.connection.remoteAddress;
|
const ip = req.headers['x-forwarded-for'] || req.connection.remoteAddress;
|
||||||
const key = path + ':' + ip;
|
visitors[path] = (visitors[path] || {});
|
||||||
const now = Date.now();
|
const now = Date.now();
|
||||||
const isNewVisitor = (now - (visitors[key] || 0)) > config['hit_counter']['unique_visitor_timeout'];
|
const isNewVisitor = (now - (visitors[path][ip] || 0)) > config['hit_counter']['unique_visitor_timeout'];
|
||||||
visitors[key] = now;
|
visitors[path][ip] = now;
|
||||||
client
|
client
|
||||||
.multi()
|
.multi()
|
||||||
.hincrby(path, 'h', 1)
|
.hincrby(path, 'h', 1)
|
||||||
@@ -25,17 +25,35 @@ module.exports = (config, onConnect, onError) => {
|
|||||||
}
|
}
|
||||||
};
|
};
|
||||||
|
|
||||||
|
const cleanVisitors = (path) => {
|
||||||
|
visitors[path] = (visitors[path] || {});
|
||||||
|
const now = Date.now();
|
||||||
|
let count = 0;
|
||||||
|
for (let ip in visitors[path]) {
|
||||||
|
if ((now - visitors[path][ip]) > config['hit_counter']['unique_visitor_timeout']) {
|
||||||
|
delete visitors[path][ip];
|
||||||
|
} else {
|
||||||
|
count++;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return count;
|
||||||
|
};
|
||||||
|
|
||||||
const read = (path, cb) => {
|
const read = (path, cb) => {
|
||||||
if (!client.connected) {
|
if (!client.connected) {
|
||||||
cb({
|
cb({
|
||||||
|
path: path,
|
||||||
hits: 0,
|
hits: 0,
|
||||||
visitors: 0,
|
total_visitors: 0,
|
||||||
|
current_visitors: cleanVisitors(path),
|
||||||
});
|
});
|
||||||
} else {
|
} else {
|
||||||
client.hgetall(path, (_, value) => {
|
client.hgetall(path, (_, value) => {
|
||||||
cb({
|
cb({
|
||||||
hits: value ? value.h || 0 : 0,
|
path: path,
|
||||||
visitors: value ? value.v || 0 : 0,
|
hits: value ? parseInt(value.h) || 0 : 0,
|
||||||
|
total_visitors: value ? parseInt(value.v) || 0 : 0,
|
||||||
|
current_visitors: cleanVisitors(path),
|
||||||
});
|
});
|
||||||
});
|
});
|
||||||
}
|
}
|
||||||
|
|||||||
+110
-49
@@ -197,22 +197,6 @@ describe('Test root path', () => {
|
|||||||
});
|
});
|
||||||
}, fail);
|
}, fail);
|
||||||
});
|
});
|
||||||
test('404 index no stats', (done) => {
|
|
||||||
request(app).get('/stats')
|
|
||||||
.then((response) => {
|
|
||||||
expect(response.statusCode).toBe(404);
|
|
||||||
done();
|
|
||||||
});
|
|
||||||
});
|
|
||||||
test('200 index stats', (done) => {
|
|
||||||
config['modules']['hit_counter'] = true;
|
|
||||||
request(app).get('/stats')
|
|
||||||
.then((response) => {
|
|
||||||
expect(response.statusCode).toBe(200);
|
|
||||||
expect(response.body).toEqual({ hits: 0, visitors: 0 });
|
|
||||||
done();
|
|
||||||
});
|
|
||||||
});
|
|
||||||
});
|
});
|
||||||
|
|
||||||
describe('Test RSS feed', () => {
|
describe('Test RSS feed', () => {
|
||||||
@@ -451,41 +435,8 @@ describe('Test articles rendering', () => {
|
|||||||
});
|
});
|
||||||
}, fail);
|
}, fail);
|
||||||
});
|
});
|
||||||
|
|
||||||
test('404 article no stats', (done) => {
|
|
||||||
utils.createEmptyDirs([ path.join(dataDir, '2019', '05', '05') ]);
|
|
||||||
utils.createEmptyFiles([
|
|
||||||
path.join(dataDir, '2019', '05', '05', 'index.md'),
|
|
||||||
path.join(dataDir, testTemplate),
|
|
||||||
]);
|
|
||||||
app.reload(() => {
|
|
||||||
request(app).get('/2019/05/05/hello/stats')
|
|
||||||
.then((response) => {
|
|
||||||
expect(response.statusCode).toBe(404);
|
|
||||||
done();
|
|
||||||
});
|
|
||||||
});
|
|
||||||
});
|
|
||||||
|
|
||||||
test('200 index stats', (done) => {
|
|
||||||
config['modules']['hit_counter'] = true;
|
|
||||||
utils.createEmptyDirs([ path.join(dataDir, '2019', '05', '05') ]);
|
|
||||||
utils.createEmptyFiles([
|
|
||||||
path.join(dataDir, '2019', '05', '05', 'index.md'),
|
|
||||||
path.join(dataDir, testTemplate),
|
|
||||||
]);
|
|
||||||
app.reload(() => {
|
|
||||||
request(app).get('/2019/05/05/anything/stats')
|
|
||||||
.then((response) => {
|
|
||||||
expect(response.statusCode).toBe(200);
|
|
||||||
expect(response.body).toEqual({ hits: 0, visitors: 0 });
|
|
||||||
done();
|
|
||||||
});
|
|
||||||
});
|
|
||||||
});
|
|
||||||
});
|
});
|
||||||
|
|
||||||
|
|
||||||
describe('Test static files', () => {
|
describe('Test static files', () => {
|
||||||
test('404 invalid file no error page', (done) => {
|
test('404 invalid file no error page', (done) => {
|
||||||
request(app).get('/somefile.txt')
|
request(app).get('/somefile.txt')
|
||||||
@@ -566,3 +517,113 @@ describe('Test other requests', () => {
|
|||||||
});
|
});
|
||||||
});
|
});
|
||||||
});
|
});
|
||||||
|
|
||||||
|
|
||||||
|
describe('Test stats', () => {
|
||||||
|
test('404 index no stats', (done) => {
|
||||||
|
request(app).get('/stats')
|
||||||
|
.then((response) => {
|
||||||
|
expect(response.statusCode).toBe(404);
|
||||||
|
done();
|
||||||
|
});
|
||||||
|
});
|
||||||
|
test('200 index stats', (done) => {
|
||||||
|
config['modules']['hit_counter'] = true;
|
||||||
|
request(app).get('/stats')
|
||||||
|
.then((response) => {
|
||||||
|
expect(response.statusCode).toBe(200);
|
||||||
|
expect(response.body).toEqual({
|
||||||
|
path: '/',
|
||||||
|
hits: 0,
|
||||||
|
total_visitors: 0,
|
||||||
|
current_visitors: 0,
|
||||||
|
});
|
||||||
|
done();
|
||||||
|
});
|
||||||
|
});
|
||||||
|
test('200 index stats all no article', (done) => {
|
||||||
|
config['modules']['hit_counter'] = true;
|
||||||
|
app.reload(() => {
|
||||||
|
request(app).get('/stats?all=true')
|
||||||
|
.then((response) => {
|
||||||
|
expect(response.statusCode).toBe(200);
|
||||||
|
expect(response.body).toEqual([
|
||||||
|
{
|
||||||
|
path: '/',
|
||||||
|
hits: 0,
|
||||||
|
total_visitors: 0,
|
||||||
|
current_visitors: 0,
|
||||||
|
},
|
||||||
|
]);
|
||||||
|
done();
|
||||||
|
});
|
||||||
|
});
|
||||||
|
});
|
||||||
|
test('200 index stats all 2 article 1 drafted', (done) => {
|
||||||
|
config['modules']['hit_counter'] = true;
|
||||||
|
utils.createEmptyDirs([
|
||||||
|
path.join(dataDir, '2019', '05', '05'),
|
||||||
|
path.join(dataDir, '2019', '04', '05'),
|
||||||
|
]);
|
||||||
|
utils.createEmptyFiles([
|
||||||
|
path.join(dataDir, '2019', '05', '05', 'index.md'),
|
||||||
|
path.join(dataDir, '2019', '04', '05', 'draft.md'),
|
||||||
|
]);
|
||||||
|
app.reload(() => {
|
||||||
|
request(app).get('/stats?all=true')
|
||||||
|
.then((response) => {
|
||||||
|
expect(response.statusCode).toBe(200);
|
||||||
|
expect(response.body).toEqual([
|
||||||
|
{
|
||||||
|
path: '/',
|
||||||
|
hits: 0,
|
||||||
|
total_visitors: 0,
|
||||||
|
current_visitors: 0,
|
||||||
|
},
|
||||||
|
{
|
||||||
|
path: '2019/05/05',
|
||||||
|
hits: 0,
|
||||||
|
total_visitors: 0,
|
||||||
|
current_visitors: 0,
|
||||||
|
},
|
||||||
|
]);
|
||||||
|
done();
|
||||||
|
});
|
||||||
|
});
|
||||||
|
});
|
||||||
|
test('404 article no stats', (done) => {
|
||||||
|
utils.createEmptyDirs([ path.join(dataDir, '2019', '05', '05') ]);
|
||||||
|
utils.createEmptyFiles([
|
||||||
|
path.join(dataDir, '2019', '05', '05', 'index.md'),
|
||||||
|
path.join(dataDir, testTemplate),
|
||||||
|
]);
|
||||||
|
app.reload(() => {
|
||||||
|
request(app).get('/2019/05/05/hello/stats')
|
||||||
|
.then((response) => {
|
||||||
|
expect(response.statusCode).toBe(404);
|
||||||
|
done();
|
||||||
|
});
|
||||||
|
});
|
||||||
|
});
|
||||||
|
test('200 article stats', (done) => {
|
||||||
|
config['modules']['hit_counter'] = true;
|
||||||
|
utils.createEmptyDirs([ path.join(dataDir, '2019', '05', '05') ]);
|
||||||
|
utils.createEmptyFiles([
|
||||||
|
path.join(dataDir, '2019', '05', '05', 'index.md'),
|
||||||
|
path.join(dataDir, testTemplate),
|
||||||
|
]);
|
||||||
|
app.reload(() => {
|
||||||
|
request(app).get('/2019/05/05/anything/stats')
|
||||||
|
.then((response) => {
|
||||||
|
expect(response.statusCode).toBe(200);
|
||||||
|
expect(response.body).toEqual({
|
||||||
|
path: '2019/05/05',
|
||||||
|
hits: 0,
|
||||||
|
total_visitors: 0,
|
||||||
|
current_visitors: 0,
|
||||||
|
});
|
||||||
|
done();
|
||||||
|
});
|
||||||
|
});
|
||||||
|
});
|
||||||
|
});
|
||||||
|
|||||||
@@ -0,0 +1,116 @@
|
|||||||
|
const fs = require('fs');
|
||||||
|
const utils = require('./test_utils');
|
||||||
|
|
||||||
|
const dataDir = 'test_data';
|
||||||
|
|
||||||
|
const config = {
|
||||||
|
robots: {
|
||||||
|
list_url: '',
|
||||||
|
list_file: `${dataDir}/robots_list.json`,
|
||||||
|
},
|
||||||
|
};
|
||||||
|
|
||||||
|
|
||||||
|
beforeAll(() => {
|
||||||
|
utils.deleteFolderSync(dataDir);
|
||||||
|
fs.mkdirSync(dataDir);
|
||||||
|
});
|
||||||
|
|
||||||
|
afterAll(() => {
|
||||||
|
if (fs.existsSync(dataDir)) {
|
||||||
|
utils.deleteFolderSync(dataDir);
|
||||||
|
}
|
||||||
|
});
|
||||||
|
|
||||||
|
const botDetector = require('../src/bot_detector')(config);
|
||||||
|
|
||||||
|
describe('load()', () => {
|
||||||
|
test('success', (done) => {
|
||||||
|
config.robots = {
|
||||||
|
list_url: 'https://raw.githubusercontent.com/atmire/COUNTER-Robots/master/COUNTER_Robots_list.json',
|
||||||
|
list_file: `${dataDir}/robots_list_success.json`,
|
||||||
|
};
|
||||||
|
let count = 0;
|
||||||
|
botDetector.load((status, err) => {
|
||||||
|
expect(err).not.toBeDefined();
|
||||||
|
expect(status).toBe(count === 0 ? botDetector.status.FETCH_OK : botDetector.status.READ_OK);
|
||||||
|
if (count > 0) {
|
||||||
|
done();
|
||||||
|
}
|
||||||
|
count++;
|
||||||
|
});
|
||||||
|
});
|
||||||
|
|
||||||
|
test('fetch and file failure', (done) => {
|
||||||
|
let count = 0;
|
||||||
|
config.robots = {
|
||||||
|
list_url: 'https://blog.klemek.fr/invalid.json',
|
||||||
|
list_file: `${dataDir}/robots_list_fail_1.json`,
|
||||||
|
};
|
||||||
|
botDetector.load((status) => {
|
||||||
|
expect(status).toBe(count === 0 ? botDetector.status.FETCH_ERROR : botDetector.status.READ_ERROR);
|
||||||
|
if (count > 0) {
|
||||||
|
done();
|
||||||
|
}
|
||||||
|
count++;
|
||||||
|
});
|
||||||
|
});
|
||||||
|
|
||||||
|
test('fetch failure and file ok', (done) => {
|
||||||
|
let count = 0;
|
||||||
|
config.robots = {
|
||||||
|
list_url: 'https://blog.klemek.fr/invalid.json',
|
||||||
|
list_file: `${dataDir}/robots_list_fail_2.json`,
|
||||||
|
};
|
||||||
|
fs.writeFile(config.robots.list_file, '[]\n', { encoding: 'utf-8' }, () => {
|
||||||
|
botDetector.load((status) => {
|
||||||
|
expect(status).toBe(count === 0 ? botDetector.status.FETCH_ERROR : botDetector.status.READ_OK);
|
||||||
|
if (count > 0) {
|
||||||
|
done();
|
||||||
|
}
|
||||||
|
count++;
|
||||||
|
});
|
||||||
|
});
|
||||||
|
});
|
||||||
|
});
|
||||||
|
|
||||||
|
|
||||||
|
describe('handle()', () => {
|
||||||
|
beforeAll((done) => {
|
||||||
|
config.robots = {
|
||||||
|
list_url: 'https://blog.klemek.fr/invalid.json',
|
||||||
|
list_file: `${dataDir}/robots_list_fake.json`,
|
||||||
|
};
|
||||||
|
fs.writeFile(config.robots.list_file, '[{"pattern":"bot"}]\n', { encoding: 'utf-8' }, () => {
|
||||||
|
botDetector.load((status) => {
|
||||||
|
if (status !== botDetector.status.FETCH_ERROR) {
|
||||||
|
done();
|
||||||
|
}
|
||||||
|
});
|
||||||
|
});
|
||||||
|
});
|
||||||
|
|
||||||
|
test('not bot', (done) => {
|
||||||
|
const req = {
|
||||||
|
headers: {
|
||||||
|
'user-agent': 'my user agent',
|
||||||
|
},
|
||||||
|
};
|
||||||
|
botDetector.handle(req, null, () => {
|
||||||
|
expect(req.isRobot).toBeFalsy();
|
||||||
|
done();
|
||||||
|
});
|
||||||
|
});
|
||||||
|
|
||||||
|
test('bot', (done) => {
|
||||||
|
const req = {
|
||||||
|
headers: {
|
||||||
|
'user-agent': 'bot',
|
||||||
|
},
|
||||||
|
};
|
||||||
|
botDetector.handle(req, null, () => {
|
||||||
|
expect(req.isRobot).toBeTruthy();
|
||||||
|
done();
|
||||||
|
});
|
||||||
|
});
|
||||||
|
});
|
||||||
+54
-26
@@ -37,14 +37,21 @@ test('options passed to redis', () => {
|
|||||||
expect(mockClient.options).toEqual(config['redis']);
|
expect(mockClient.options).toEqual(config['redis']);
|
||||||
});
|
});
|
||||||
|
|
||||||
describe('read()', () => {
|
|
||||||
beforeEach(() => {
|
|
||||||
mockClient.hgetall = (_, cb) => {
|
|
||||||
cb();
|
|
||||||
};
|
|
||||||
});
|
|
||||||
|
|
||||||
test('read path', (done) => {
|
beforeEach(() => {
|
||||||
|
mockClient.hgetall = (_, cb) => {
|
||||||
|
cb();
|
||||||
|
};
|
||||||
|
mockClient.multi = () => mockClient;
|
||||||
|
mockClient.hincrby = () => mockClient;
|
||||||
|
mockClient.exec = (cb) => {
|
||||||
|
cb();
|
||||||
|
};
|
||||||
|
config['hit_counter']['unique_visitor_timeout'] = -1;
|
||||||
|
});
|
||||||
|
|
||||||
|
describe('read()', () => {
|
||||||
|
test('normal', (done) => {
|
||||||
mockClient.hgetall = (path, cb) => {
|
mockClient.hgetall = (path, cb) => {
|
||||||
expect(path).toBe('/test/path/');
|
expect(path).toBe('/test/path/');
|
||||||
cb(undefined, { h: 12, v: 34 });
|
cb(undefined, { h: 12, v: 34 });
|
||||||
@@ -52,12 +59,13 @@ describe('read()', () => {
|
|||||||
hc.read('/test/path/', (data) => {
|
hc.read('/test/path/', (data) => {
|
||||||
expect(data).toBeDefined();
|
expect(data).toBeDefined();
|
||||||
expect(data.hits).toBe(12);
|
expect(data.hits).toBe(12);
|
||||||
expect(data.visitors).toBe(34);
|
expect(data.total_visitors).toBe(34);
|
||||||
|
expect(data.current_visitors).toBe(0);
|
||||||
done();
|
done();
|
||||||
});
|
});
|
||||||
});
|
});
|
||||||
|
|
||||||
test('read path with error', (done) => {
|
test('with error', (done) => {
|
||||||
mockClient.hgetall = (path, cb) => {
|
mockClient.hgetall = (path, cb) => {
|
||||||
expect(path).toBe('/test/path/');
|
expect(path).toBe('/test/path/');
|
||||||
cb('error', undefined);
|
cb('error', undefined);
|
||||||
@@ -65,12 +73,13 @@ describe('read()', () => {
|
|||||||
hc.read('/test/path/', (data) => {
|
hc.read('/test/path/', (data) => {
|
||||||
expect(data).toBeDefined();
|
expect(data).toBeDefined();
|
||||||
expect(data.hits).toBe(0);
|
expect(data.hits).toBe(0);
|
||||||
expect(data.visitors).toBe(0);
|
expect(data.total_visitors).toBe(0);
|
||||||
|
expect(data.current_visitors).toBe(0);
|
||||||
done();
|
done();
|
||||||
});
|
});
|
||||||
});
|
});
|
||||||
|
|
||||||
test('read path with error 2', (done) => {
|
test('with error 2', (done) => {
|
||||||
mockClient.hgetall = (path, cb) => {
|
mockClient.hgetall = (path, cb) => {
|
||||||
expect(path).toBe('/test/path/');
|
expect(path).toBe('/test/path/');
|
||||||
cb(undefined, {});
|
cb(undefined, {});
|
||||||
@@ -78,22 +87,41 @@ describe('read()', () => {
|
|||||||
hc.read('/test/path/', (data) => {
|
hc.read('/test/path/', (data) => {
|
||||||
expect(data).toBeDefined();
|
expect(data).toBeDefined();
|
||||||
expect(data.hits).toBe(0);
|
expect(data.hits).toBe(0);
|
||||||
expect(data.visitors).toBe(0);
|
expect(data.total_visitors).toBe(0);
|
||||||
|
expect(data.current_visitors).toBe(0);
|
||||||
done();
|
done();
|
||||||
});
|
});
|
||||||
});
|
});
|
||||||
|
|
||||||
|
test('1 visitor', (done) => {
|
||||||
|
config['hit_counter']['unique_visitor_timeout'] = 1000;
|
||||||
|
hc.count({
|
||||||
|
headers: {},
|
||||||
|
connection: { remoteAddress: 'test1' },
|
||||||
|
}, '/test/path/5', false, () => {
|
||||||
|
hc.read('/test/path/5', (data) => {
|
||||||
|
expect(data).toBeDefined();
|
||||||
|
expect(data.current_visitors).toBe(1);
|
||||||
|
done();
|
||||||
|
});
|
||||||
|
});
|
||||||
|
});
|
||||||
|
|
||||||
|
test('cleaned old visitor', (done) => {
|
||||||
|
hc.count({
|
||||||
|
headers: {},
|
||||||
|
connection: { remoteAddress: 'test1' },
|
||||||
|
}, '/test/path/5', false, () => {
|
||||||
|
hc.read('/test/path/5', (data) => {
|
||||||
|
expect(data).toBeDefined();
|
||||||
|
expect(data.current_visitors).toBe(0);
|
||||||
|
done();
|
||||||
|
});
|
||||||
|
});
|
||||||
|
});
|
||||||
});
|
});
|
||||||
|
|
||||||
describe('count()', () => {
|
describe('count()', () => {
|
||||||
beforeEach(() => {
|
|
||||||
mockClient.multi = () => mockClient;
|
|
||||||
mockClient.hincrby = () => mockClient;
|
|
||||||
mockClient.exec = (cb) => {
|
|
||||||
cb();
|
|
||||||
};
|
|
||||||
config['hit_counter']['unique_visitor_timeout'] = -1;
|
|
||||||
});
|
|
||||||
|
|
||||||
test('simple visit', (done) => {
|
test('simple visit', (done) => {
|
||||||
let multiCalled = false;
|
let multiCalled = false;
|
||||||
let execCalled = false;
|
let execCalled = false;
|
||||||
@@ -117,7 +145,7 @@ describe('count()', () => {
|
|||||||
hc.count({
|
hc.count({
|
||||||
headers: {},
|
headers: {},
|
||||||
connection: { remoteAddress: 'test1' },
|
connection: { remoteAddress: 'test1' },
|
||||||
}, '/test/path/1', () => {
|
}, '/test/path/1', false, () => {
|
||||||
expect(multiCalled).toBeTruthy();
|
expect(multiCalled).toBeTruthy();
|
||||||
expect(hincrbyCalls).toEqual([
|
expect(hincrbyCalls).toEqual([
|
||||||
[
|
[
|
||||||
@@ -149,11 +177,11 @@ describe('count()', () => {
|
|||||||
hc.count({
|
hc.count({
|
||||||
headers: {},
|
headers: {},
|
||||||
connection: { remoteAddress: 'test2' },
|
connection: { remoteAddress: 'test2' },
|
||||||
}, '/test/path/2', () => {
|
}, '/test/path/2', false, () => {
|
||||||
hc.count({
|
hc.count({
|
||||||
headers: {},
|
headers: {},
|
||||||
connection: { remoteAddress: 'test2' },
|
connection: { remoteAddress: 'test2' },
|
||||||
}, '/test/path/2', () => {
|
}, '/test/path/2', false, () => {
|
||||||
expect(hincrbyCalls).toEqual([
|
expect(hincrbyCalls).toEqual([
|
||||||
[
|
[
|
||||||
'/test/path/2',
|
'/test/path/2',
|
||||||
@@ -195,11 +223,11 @@ describe('count()', () => {
|
|||||||
hc.count({
|
hc.count({
|
||||||
headers: {},
|
headers: {},
|
||||||
connection: { remoteAddress: 'test3' },
|
connection: { remoteAddress: 'test3' },
|
||||||
}, '/test/path/3', () => {
|
}, '/test/path/3', false, () => {
|
||||||
hc.count({
|
hc.count({
|
||||||
headers: {},
|
headers: {},
|
||||||
connection: { remoteAddress: 'test3' },
|
connection: { remoteAddress: 'test3' },
|
||||||
}, '/test/path/3', () => {
|
}, '/test/path/3', false, () => {
|
||||||
expect(hincrbyCalls).toEqual([
|
expect(hincrbyCalls).toEqual([
|
||||||
[
|
[
|
||||||
'/test/path/3',
|
'/test/path/3',
|
||||||
|
|||||||
Reference in New Issue
Block a user