Merge branch 'ahmed-moreilp' into 'main'
Ahmed moreilp See merge request course-asl-fastcode26/team70!68
This commit is contained in:
Linus Baumberger
+724
@@ -0,0 +1,724 @@
|
||||
// # Changes: - used _mm512_mask3_fmadd_ps, to save one masking instruction
|
||||
// - avoid doing an expensive brodcast for index vectors update, update them through additions instead
|
||||
// - replace array allocation + load with a direct set for lane_off initialization
|
||||
// # Predecessor: variant_float_inlining_SoA_AVX512_polyexp_moreavx_ilp_2_rsqrt_morersqrt_expfix.cpp
|
||||
|
||||
#include "../headers/board_reduced_float.hpp"
|
||||
#include "../headers/constants_float.hpp"
|
||||
#include "../headers/pedestrian_reduced_float.hpp"
|
||||
|
||||
#include <immintrin.h>
|
||||
|
||||
#include <fstream>
|
||||
#include <random>
|
||||
#include <tuple>
|
||||
|
||||
#define SEED 42
|
||||
#define BOARD_WIDTH 10.0f
|
||||
#define BOARD_LENGTH 50.0f
|
||||
#define WALL_EPS 1e-3f
|
||||
#define BOARD_WIDTH_MINUS_WALL_EPS 9.999f
|
||||
|
||||
#ifndef RANDOM_SEED
|
||||
#define RANDOM_SEED 0
|
||||
#endif
|
||||
|
||||
#ifndef BENCHMARK
|
||||
#define BENCHMARK 0
|
||||
#endif
|
||||
|
||||
using namespace std;
|
||||
alignas(64) vector<float> pos_x, pos_y;
|
||||
alignas(64) vector<float> sb_sq;
|
||||
alignas(64) vector<float> sb_e_x, sb_e_y;
|
||||
alignas(64) vector<float> e_x, e_y;
|
||||
alignas(64) vector<float> curr_vel_x, curr_vel_y;
|
||||
alignas(64) vector<float> w_x, w_y;
|
||||
alignas(64) vector<float> desired_v0;
|
||||
alignas(64) vector<float> v_max;
|
||||
alignas(64) vector<float> destination_x, destination_y;
|
||||
alignas(64) vector<int> color;
|
||||
|
||||
Pedestrian *init_pedestrians(int n_p) {
|
||||
#if RANDOM_SEED
|
||||
random_device rd;
|
||||
mt19937 gen(rd());
|
||||
#else
|
||||
mt19937 gen(SEED);
|
||||
#endif
|
||||
|
||||
normal_distribution<float> velocity_gen(v0_mean, v0_std_dev);
|
||||
uniform_real_distribution<float> y_gen(0.3, BOARD_WIDTH - 0.3);
|
||||
uniform_real_distribution<float> x_gen_left(2.0, BOARD_LENGTH / 2.0);
|
||||
uniform_real_distribution<float> x_gen_right(BOARD_LENGTH / 2.0, BOARD_LENGTH - 2.0);
|
||||
|
||||
const int n_p_pad = (n_p + 31) & ~31;
|
||||
|
||||
pos_x.resize(n_p_pad);
|
||||
pos_y.resize(n_p_pad);
|
||||
sb_sq.resize(n_p_pad);
|
||||
sb_e_x.resize(n_p_pad);
|
||||
sb_e_y.resize(n_p_pad);
|
||||
e_x.resize(n_p_pad);
|
||||
e_y.resize(n_p_pad);
|
||||
curr_vel_x.resize(n_p_pad);
|
||||
curr_vel_y.resize(n_p_pad);
|
||||
w_x.resize(n_p_pad);
|
||||
w_y.resize(n_p_pad);
|
||||
desired_v0.resize(n_p_pad);
|
||||
v_max.resize(n_p_pad);
|
||||
destination_x.resize(n_p_pad);
|
||||
destination_y.resize(n_p_pad);
|
||||
color.resize(n_p_pad);
|
||||
|
||||
int n_p_half = n_p / 2;
|
||||
|
||||
for (int i = 0; i < n_p_half; i++) {
|
||||
float x = x_gen_left(gen);
|
||||
float y = y_gen(gen);
|
||||
|
||||
float dest_x = BOARD_LENGTH + 30.0f;
|
||||
float dest_y = y;
|
||||
|
||||
float init_e_x = dest_x - x;
|
||||
float init_e_y = dest_y - y;
|
||||
float init_e_norm = sqrt(init_e_x * init_e_x + init_e_y * init_e_y);
|
||||
float init_e_unit_x = init_e_x / init_e_norm;
|
||||
float init_e_unit_y = init_e_y / init_e_norm;
|
||||
|
||||
float d_v0;
|
||||
do {
|
||||
d_v0 = velocity_gen(gen);
|
||||
} while (d_v0 <= 0.1f);
|
||||
|
||||
float v_m = 1.3f * d_v0;
|
||||
|
||||
color[i] = 0;
|
||||
pos_x[i] = x;
|
||||
pos_y[i] = y;
|
||||
e_x[i] = init_e_unit_x;
|
||||
e_y[i] = init_e_unit_y;
|
||||
v_max[i] = v_m;
|
||||
desired_v0[i] = d_v0;
|
||||
destination_x[i] = dest_x;
|
||||
destination_y[i] = dest_y;
|
||||
|
||||
w_x[i] = 0.0f;
|
||||
w_y[i] = 0.0f;
|
||||
curr_vel_x[i] = 0.0f;
|
||||
curr_vel_y[i] = 0.0f;
|
||||
sb_sq[i] = 0.0f;
|
||||
sb_e_x[i] = 0.0f;
|
||||
sb_e_y[i] = 0.0f;
|
||||
}
|
||||
|
||||
for (int i = n_p_half; i < n_p; i++) {
|
||||
float x = x_gen_right(gen);
|
||||
float y = y_gen(gen);
|
||||
|
||||
float dest_x = -30.0f;
|
||||
float dest_y = y;
|
||||
|
||||
float init_e_x = dest_x - x;
|
||||
float init_e_y = dest_y - y;
|
||||
float init_e_norm = sqrt(init_e_x * init_e_x + init_e_y * init_e_y);
|
||||
float init_e_unit_x = init_e_x / init_e_norm;
|
||||
float init_e_unit_y = init_e_y / init_e_norm;
|
||||
|
||||
float d_v0;
|
||||
do {
|
||||
d_v0 = velocity_gen(gen);
|
||||
} while (d_v0 <= 0.1f);
|
||||
|
||||
float v_m = 1.3f * d_v0;
|
||||
|
||||
color[i] = 1;
|
||||
pos_x[i] = x;
|
||||
pos_y[i] = y;
|
||||
e_x[i] = init_e_unit_x;
|
||||
e_y[i] = init_e_unit_y;
|
||||
v_max[i] = v_m;
|
||||
desired_v0[i] = d_v0;
|
||||
destination_x[i] = dest_x;
|
||||
destination_y[i] = dest_y;
|
||||
|
||||
w_x[i] = 0.0f;
|
||||
w_y[i] = 0.0f;
|
||||
curr_vel_x[i] = 0.0f;
|
||||
curr_vel_y[i] = 0.0f;
|
||||
sb_sq[i] = 0.0f;
|
||||
sb_e_x[i] = 0.0f;
|
||||
sb_e_y[i] = 0.0f;
|
||||
}
|
||||
|
||||
for (int j = n_p; j < n_p_pad; j++) {
|
||||
pos_x[j] = 1e9f;
|
||||
pos_y[j] = 1e9f;
|
||||
sb_sq[j] = 0.0f;
|
||||
sb_e_x[j] = 0.0f;
|
||||
sb_e_y[j] = 0.0f;
|
||||
}
|
||||
return nullptr;
|
||||
}
|
||||
|
||||
Board init_board_without_obstacles() { return Board(BOARD_LENGTH, BOARD_WIDTH, 0, nullptr); }
|
||||
|
||||
// # 256 MULTs, 224 ADDs
|
||||
static inline __m512 _avx512_exp_ps(__m512 x) {
|
||||
|
||||
const __m512 log2e = _mm512_set1_ps(1.4426950408889634f);
|
||||
|
||||
// # 16 MULTs
|
||||
__m512 nf = _mm512_roundscale_ps(_mm512_mul_ps(x, log2e), _MM_FROUND_TO_NEAREST_INT | _MM_FROUND_NO_EXC);
|
||||
|
||||
const __m512 ln2 = _mm512_set1_ps(0.6931471805599453f);
|
||||
|
||||
// # 16 MULTs, 16 ADDs
|
||||
__m512 r = _mm512_fnmadd_ps(nf, ln2, x);
|
||||
|
||||
const __m512 c12 = _mm512_set1_ps(c12_scalar);
|
||||
const __m512 c11 = _mm512_set1_ps(c11_scalar);
|
||||
const __m512 c10 = _mm512_set1_ps(c10_scalar);
|
||||
const __m512 c9 = _mm512_set1_ps(c9_scalar);
|
||||
const __m512 c8 = _mm512_set1_ps(c8_scalar);
|
||||
const __m512 c7 = _mm512_set1_ps(c7_scalar);
|
||||
const __m512 c6 = _mm512_set1_ps(c6_scalar);
|
||||
const __m512 c5 = _mm512_set1_ps(c5_scalar);
|
||||
const __m512 c4 = _mm512_set1_ps(c4_scalar);
|
||||
const __m512 c3 = _mm512_set1_ps(c3_scalar);
|
||||
const __m512 c2 = _mm512_set1_ps(c2_scalar);
|
||||
const __m512 c1 = _mm512_set1_ps(c1_scalar);
|
||||
const __m512 c0 = _mm512_set1_ps(c0_scalar);
|
||||
|
||||
__m512 p = c12;
|
||||
|
||||
// # 13 * (16 MULTs, 16 ADDs)
|
||||
// # = 208 MULTs, 208 ADDs
|
||||
p = _mm512_fmadd_ps(p, r, c12);
|
||||
p = _mm512_fmadd_ps(p, r, c11);
|
||||
p = _mm512_fmadd_ps(p, r, c10);
|
||||
p = _mm512_fmadd_ps(p, r, c9);
|
||||
p = _mm512_fmadd_ps(p, r, c8);
|
||||
p = _mm512_fmadd_ps(p, r, c7);
|
||||
p = _mm512_fmadd_ps(p, r, c6);
|
||||
p = _mm512_fmadd_ps(p, r, c5);
|
||||
p = _mm512_fmadd_ps(p, r, c4);
|
||||
p = _mm512_fmadd_ps(p, r, c3);
|
||||
p = _mm512_fmadd_ps(p, r, c2);
|
||||
p = _mm512_fmadd_ps(p, r, c1);
|
||||
p = _mm512_fmadd_ps(p, r, c0);
|
||||
|
||||
__m512i ni = _mm512_cvtps_epi32(nf);
|
||||
__m512i biased = _mm512_add_epi32(ni, _mm512_set1_epi32(127));
|
||||
__m512i scaled = _mm512_slli_epi32(biased, 23);
|
||||
__m512 pow2n = _mm512_castsi512_ps(scaled);
|
||||
|
||||
// # 16 MULTs
|
||||
return _mm512_mul_ps(p, pow2n);
|
||||
}
|
||||
|
||||
int run_simulation(Pedestrian *pedestrians, Board &board, int n_p, int n_iter, const char *dump_path) {
|
||||
(void)pedestrians;
|
||||
#if BENCHMARK
|
||||
(void)dump_path;
|
||||
#endif
|
||||
|
||||
#if !BENCHMARK
|
||||
const int dump_interval = 1;
|
||||
vector<tuple<int, int, float, float, float, float, int>> samples;
|
||||
|
||||
if (dump_path) {
|
||||
samples.reserve(static_cast<size_t>(n_iter / dump_interval + 1) * n_p);
|
||||
for (int i = 0; i < n_p; i++) {
|
||||
samples.emplace_back(0, i, pos_x[i], pos_y[i], e_x[i], e_y[i], color[i]);
|
||||
}
|
||||
}
|
||||
#endif
|
||||
|
||||
const int n_p_pad = (n_p + 31) & ~31;
|
||||
|
||||
const __m512 lane_off = _mm512_set_ps(15.0f, 14.0f, 13.0f, 12.0f, 11.0f, 10.0f, 9.0f, 8.0f, 7.0f, 6.0f, 5.0f, 4.0f, 3.0f, 2.0f, 1.0f, 0.0f);
|
||||
const __m512 lane_off2 = _mm512_set_ps(31.0f, 30.0f, 29.0f, 28.0f, 27.0f, 26.0f, 25.0f, 24.0f, 23.0f, 22.0f, 21.0f, 20.0f, 19.0f, 18.0f, 17.0f, 16.0f);
|
||||
|
||||
const __m512 v_neg_v0_div_2s = _mm512_set1_ps(NEG_V0_AB_div_TWO_SIGMA);
|
||||
const __m512 v_neg_2s_inv = _mm512_set1_ps(NEG_TWO_SIGMA_INV);
|
||||
const __m512 v_cos_phi_sq = _mm512_set1_ps(cos_phi_sq);
|
||||
const __m512 v_dt_neg = _mm512_set1_ps(dt_neg);
|
||||
const __m512 v_c_neg_dt = _mm512_set1_ps(c_neg_times_dt);
|
||||
const __m512 v_zero = _mm512_setzero_ps();
|
||||
const __m512 v_one = _mm512_set1_ps(1.0f);
|
||||
const __m512 v_eps = _mm512_set1_ps(EPS);
|
||||
const __m512 v_eps_sq = _mm512_set1_ps(EPS_SQ);
|
||||
const __m512 v_np = _mm512_set1_ps((float)n_p);
|
||||
const __m512 v_exp_min = _mm512_set1_ps(-87.0f);
|
||||
const __m512 v_32 = _mm512_set1_ps(32.0f);
|
||||
|
||||
// # ADDs: n_iter * (
|
||||
// # n_p * 84 +
|
||||
// # n_p * n_p_pad * 29 +
|
||||
// # n_p * board.n_obstacles * 10 +
|
||||
// # n_p_pad * 7
|
||||
// # )
|
||||
|
||||
// # MULTs: n_iter * (
|
||||
// # n_p * 4 +
|
||||
// # n_p * n_p_pad * 42 +
|
||||
// # n_p * board.n_obstacles * 13 +
|
||||
// # n_p_pad * 16
|
||||
// # )
|
||||
|
||||
// # DIVs: n_iter * (
|
||||
// # n_p * n_p_pad * 3 +
|
||||
// # n_p * board.n_obstacles +
|
||||
// # n_p_pad * 2
|
||||
// # )
|
||||
|
||||
// # SQRTs: n_iter * (
|
||||
// # n_p * n_p_pad * 3 +
|
||||
// # n_p * board.n_obstacles +
|
||||
// # n_p_pad * 3
|
||||
// # )
|
||||
|
||||
// # EXPs: n_iter * n_p * board.n_obstacles
|
||||
|
||||
for (int t = 0; t < n_iter; t++) {
|
||||
// i index vector for mask generation
|
||||
__m512 v_i = _mm512_setzero_ps();
|
||||
|
||||
for (int i = 0; i < n_p; i++) {
|
||||
// set the vector for the current pedestrian
|
||||
|
||||
// # 2 MULTS
|
||||
// get desired velocity
|
||||
float desired_velocity_x = e_x[i] * desired_v0[i];
|
||||
float desired_velocity_y = e_y[i] * desired_v0[i];
|
||||
|
||||
// 2 ADDS, 2 MULTS
|
||||
// velocity change accumulator
|
||||
float f_alpha_dt_x = (desired_velocity_x - curr_vel_x[i]) * dt_times_tau_alpha_inv;
|
||||
float f_alpha_dt_y = (desired_velocity_y - curr_vel_y[i]) * dt_times_tau_alpha_inv;
|
||||
|
||||
// pos
|
||||
const __m512 pix = _mm512_set1_ps(pos_x[i]);
|
||||
const __m512 piy = _mm512_set1_ps(pos_y[i]);
|
||||
// desired direction
|
||||
const __m512 eix = _mm512_set1_ps(e_x[i]);
|
||||
const __m512 eiy = _mm512_set1_ps(e_y[i]);
|
||||
|
||||
// accumulators --> 16 pedestrians per accumulator
|
||||
__m512 acc_x_0 = _mm512_setzero_ps();
|
||||
__m512 acc_y_0 = _mm512_setzero_ps();
|
||||
__m512 acc_x_1 = _mm512_setzero_ps();
|
||||
__m512 acc_y_1 = _mm512_setzero_ps();
|
||||
|
||||
// j index vectors for mask generation
|
||||
__m512 j_idx_0 = lane_off;
|
||||
__m512 j_idx_1 = lane_off2;
|
||||
|
||||
// force between pedestrians
|
||||
// loop unroll factor 32 with 2 vectors
|
||||
// --> each vector has 16 lanes
|
||||
for (int j = 0; j < n_p_pad; j += 32) {
|
||||
|
||||
// lane is active if j != i
|
||||
// [1,1,1,0,1,1,1,...] 0 --> i == j, 1 --> i != j
|
||||
__mmask16 m_neq_i_0 = _mm512_cmp_ps_mask(j_idx_0, v_i, _CMP_NEQ_OQ);
|
||||
__mmask16 m_neq_i_1 = _mm512_cmp_ps_mask(j_idx_1, v_i, _CMP_NEQ_OQ);
|
||||
|
||||
// lane is active if j < n_p --> valid range
|
||||
// [1,1,1,0,1,1,1,...] 0 --> j >= n_p, 1 --> j < n_p
|
||||
__mmask16 m_in_range_0 = _mm512_cmp_ps_mask(j_idx_0, v_np, _CMP_LT_OQ);
|
||||
__mmask16 m_in_range_1 = _mm512_cmp_ps_mask(j_idx_1, v_np, _CMP_LT_OQ);
|
||||
|
||||
// bitwise comparison if not valid --> 0
|
||||
// finally check if lane is valid or not --> prevents i == j, and
|
||||
// j >= n_p because of loop unrolling --> we can therefore omit a remainings for loop
|
||||
__mmask16 active_0 = m_neq_i_0 & m_in_range_0;
|
||||
__mmask16 active_1 = m_neq_i_1 & m_in_range_1;
|
||||
|
||||
// ---
|
||||
|
||||
// load the positions of the other pedestrians x value
|
||||
// [pos[j], pos[j+1], ..., pos[j+15]] and [pos[16], pos[j+17], ..., pos[j+31]] for x and y
|
||||
__m512 pjx_0 = _mm512_loadu_ps(&pos_x[j]);
|
||||
__m512 pjx_1 = _mm512_loadu_ps(&pos_x[j + 16]);
|
||||
__m512 pjy_0 = _mm512_loadu_ps(&pos_y[j]);
|
||||
__m512 pjy_1 = _mm512_loadu_ps(&pos_y[j + 16]);
|
||||
|
||||
// ---
|
||||
|
||||
// step vector of j
|
||||
// [(v_j * delta_t * e_j).x, (v_j+1 * delta_t * e_j+1).x, ...]
|
||||
__m512 sbe_jx_0 = _mm512_loadu_ps(&sb_e_x[j]);
|
||||
__m512 sbe_jx_1 = _mm512_loadu_ps(&sb_e_x[j + 16]);
|
||||
__m512 sbe_jy_0 = _mm512_loadu_ps(&sb_e_y[j]);
|
||||
__m512 sbe_jy_1 = _mm512_loadu_ps(&sb_e_y[j + 16]);
|
||||
|
||||
// ---
|
||||
|
||||
// squared step length
|
||||
// [j, j+1, ...]
|
||||
__m512 sb_jsq_0 = _mm512_loadu_ps(&sb_sq[j]);
|
||||
__m512 sb_jsq_1 = _mm512_loadu_ps(&sb_sq[j + 16]);
|
||||
|
||||
// ---
|
||||
|
||||
// # 64 ADDS
|
||||
// distance vector
|
||||
// [j, j+1, ...]
|
||||
__m512 r_ab_x_0 = _mm512_sub_ps(pix, pjx_0);
|
||||
__m512 r_ab_x_1 = _mm512_sub_ps(pix, pjx_1);
|
||||
__m512 r_ab_y_0 = _mm512_sub_ps(piy, pjy_0);
|
||||
__m512 r_ab_y_1 = _mm512_sub_ps(piy, pjy_1);
|
||||
|
||||
// # 32 ADDS, 64 MULTS
|
||||
// |r_ab|^2 needed for rsqrt to prevent 0 values --> x^2 + y^2
|
||||
__m512 r_ab_n2_0 = _mm512_fmadd_ps(r_ab_x_0, r_ab_x_0, _mm512_mul_ps(r_ab_y_0, r_ab_y_0));
|
||||
__m512 r_ab_n2_1 = _mm512_fmadd_ps(r_ab_x_1, r_ab_x_1, _mm512_mul_ps(r_ab_y_1, r_ab_y_1));
|
||||
|
||||
// prevent cases where distance = 0 (=pedestrian on top of each other)
|
||||
// [dist_i_j, dist_i_j+1, ...]
|
||||
r_ab_n2_0 = _mm512_max_ps(r_ab_n2_0, v_eps_sq);
|
||||
r_ab_n2_1 = _mm512_max_ps(r_ab_n2_1, v_eps_sq);
|
||||
|
||||
// ---
|
||||
|
||||
// # 32 DIVS, 32 SQRTS
|
||||
// 1 / |r_ab| --> 14 bit rsqrt approx. rsqrt --> 1 / x^2 --> rsqrt(x^2) = 1/x
|
||||
// [1 / dist_i_j, 1 / dist_i_j+1, ...]
|
||||
__m512 inv_r_ab_n_0 = _mm512_rsqrt14_ps(r_ab_n2_0);
|
||||
__m512 inv_r_ab_n_1 = _mm512_rsqrt14_ps(r_ab_n2_1);
|
||||
|
||||
// # 32 MULTS
|
||||
// r_ab^2 * 1 / r_ab = |r_ab| --> normed
|
||||
// [r_i_j, r_i_j+1, ...]
|
||||
__m512 r_ab_n_0 = _mm512_mul_ps(r_ab_n2_0, inv_r_ab_n_0);
|
||||
__m512 r_ab_n_1 = _mm512_mul_ps(r_ab_n2_1, inv_r_ab_n_1);
|
||||
|
||||
// # 64 ADDS
|
||||
// r_ab - step[j]
|
||||
// j next pos
|
||||
__m512 r_ab2_x_0 = _mm512_sub_ps(r_ab_x_0, sbe_jx_0);
|
||||
__m512 r_ab2_x_1 = _mm512_sub_ps(r_ab_x_1, sbe_jx_1);
|
||||
__m512 r_ab2_y_0 = _mm512_sub_ps(r_ab_y_0, sbe_jy_0);
|
||||
__m512 r_ab2_y_1 = _mm512_sub_ps(r_ab_y_1, sbe_jy_1);
|
||||
|
||||
// # 32 ADDS, 64 MULTS
|
||||
// |r_ab_2| --> needed for rsqrt trick (r_ab - step)
|
||||
__m512 r_ab2_n2_0 = _mm512_fmadd_ps(r_ab2_x_0, r_ab2_x_0, _mm512_mul_ps(r_ab2_y_0, r_ab2_y_0));
|
||||
__m512 r_ab2_n2_1 = _mm512_fmadd_ps(r_ab2_x_1, r_ab2_x_1, _mm512_mul_ps(r_ab2_y_1, r_ab2_y_1));
|
||||
|
||||
// prevent 0 case --> infinity
|
||||
r_ab2_n2_0 = _mm512_max_ps(r_ab2_n2_0, v_eps_sq);
|
||||
r_ab2_n2_1 = _mm512_max_ps(r_ab2_n2_1, v_eps_sq);
|
||||
|
||||
// # 32 DIVS, 32 SQRTS
|
||||
// same as before use rsqrt with 14bit approx
|
||||
// [1 / |r_ab_2|, 1 / |r_ab_2|, ...]
|
||||
__m512 inv_r_ab2_n_0 = _mm512_rsqrt14_ps(r_ab2_n2_0);
|
||||
__m512 inv_r_ab2_n_1 = _mm512_rsqrt14_ps(r_ab2_n2_1);
|
||||
|
||||
// # 32 MULTS
|
||||
// |r_ab_2_second_distance_vector| * 1 / |r_ab_2_first_distance_vector|
|
||||
__m512 r_ab2_n_0 = _mm512_mul_ps(r_ab2_n2_0, inv_r_ab2_n_0);
|
||||
__m512 r_ab2_n_1 = _mm512_mul_ps(r_ab2_n2_1, inv_r_ab2_n_1);
|
||||
|
||||
// # 32 ADDS
|
||||
// r_sum = |r_ab| + |r_ab - step[j]| --> [w_0, w_1, w_2, ..., w_15] and [w_16, ..., w_31]
|
||||
__m512 r_sum_0 = _mm512_add_ps(r_ab_n_0, r_ab2_n_0);
|
||||
__m512 r_sum_1 = _mm512_add_ps(r_ab_n_1, r_ab2_n_1);
|
||||
|
||||
// # 32 ADDS, 32 MULTS
|
||||
// 2_b^2 = r_sum^2 - step[j]^2
|
||||
__m512 two_b_sq_0 = _mm512_fmsub_ps(r_sum_0, r_sum_0, sb_jsq_0);
|
||||
__m512 two_b_sq_1 = _mm512_fmsub_ps(r_sum_1, r_sum_1, sb_jsq_1);
|
||||
|
||||
// prevent 0 case
|
||||
two_b_sq_0 = _mm512_max_ps(two_b_sq_0, v_eps_sq);
|
||||
two_b_sq_1 = _mm512_max_ps(two_b_sq_1, v_eps_sq);
|
||||
|
||||
// # 32 DIVS, 32 SQRTS
|
||||
// 2_b
|
||||
// 1 / 2_b^(2*0.5) --> 1 / 2_b
|
||||
__m512 inv_two_b_0 = _mm512_rsqrt14_ps(two_b_sq_0);
|
||||
__m512 inv_two_b_1 = _mm512_rsqrt14_ps(two_b_sq_1);
|
||||
|
||||
// # 32 MULTS
|
||||
// 2_b = 2_b^2 * 1 / 2_b
|
||||
__m512 two_b_0 = _mm512_mul_ps(two_b_sq_0, inv_two_b_0);
|
||||
__m512 two_b_1 = _mm512_mul_ps(two_b_sq_1, inv_two_b_1);
|
||||
|
||||
// ---
|
||||
|
||||
// # 32 MULTS
|
||||
// two_b * -1 / (2*sigma) --> exp
|
||||
__m512 e_arg_0 = _mm512_mul_ps(two_b_0, v_neg_2s_inv);
|
||||
__m512 e_arg_1 = _mm512_mul_ps(two_b_1, v_neg_2s_inv);
|
||||
|
||||
// exp(x)
|
||||
// when x is small just assume constant value --> faster exp
|
||||
e_arg_0 = _mm512_max_ps(e_arg_0, v_exp_min);
|
||||
e_arg_1 = _mm512_max_ps(e_arg_1, v_exp_min);
|
||||
|
||||
// # 448 ADDS, 512 MULTS
|
||||
// custom fast exponent intrinsic using polynomial approximations and some precomputed constants
|
||||
__m512 e_val_0 = _avx512_exp_ps(e_arg_0);
|
||||
__m512 e_val_1 = _avx512_exp_ps(e_arg_1);
|
||||
|
||||
// # 96 MULTS
|
||||
// [−(V0/σ) * e^(−b/σ) * w/(4b), ...] --> scalar
|
||||
__m512 numer_inv_two_b_0 = _mm512_mul_ps(_mm512_mul_ps(r_sum_0, v_neg_v0_div_2s), _mm512_mul_ps(e_val_0, inv_two_b_0));
|
||||
__m512 numer_inv_two_b_1 = _mm512_mul_ps(_mm512_mul_ps(r_sum_1, v_neg_v0_div_2s), _mm512_mul_ps(e_val_1, inv_two_b_1));
|
||||
|
||||
// # 32 MULTS
|
||||
// scalar * 1 / |r_ab|
|
||||
__m512 sm_r_ab_0 = _mm512_mul_ps(numer_inv_two_b_0, inv_r_ab_n_0);
|
||||
__m512 sm_r_ab_1 = _mm512_mul_ps(numer_inv_two_b_1, inv_r_ab_n_1);
|
||||
|
||||
// # 32 MULTS
|
||||
// scalar * 1 / |r_ab_2|
|
||||
__m512 sm_r_ab2_0 = _mm512_mul_ps(numer_inv_two_b_0, inv_r_ab2_n_0);
|
||||
__m512 sm_r_ab2_1 = _mm512_mul_ps(numer_inv_two_b_1, inv_r_ab2_n_1);
|
||||
|
||||
// # 64 ADDS, 128 MULTS
|
||||
// summed force
|
||||
__m512 f_x_0 = _mm512_fmadd_ps(r_ab2_x_0, sm_r_ab2_0, _mm512_mul_ps(r_ab_x_0, sm_r_ab_0));
|
||||
__m512 f_x_1 = _mm512_fmadd_ps(r_ab2_x_1, sm_r_ab2_1, _mm512_mul_ps(r_ab_x_1, sm_r_ab_1));
|
||||
__m512 f_y_0 = _mm512_fmadd_ps(r_ab2_y_0, sm_r_ab2_0, _mm512_mul_ps(r_ab_y_0, sm_r_ab_0));
|
||||
__m512 f_y_1 = _mm512_fmadd_ps(r_ab2_y_1, sm_r_ab2_1, _mm512_mul_ps(r_ab_y_1, sm_r_ab_1));
|
||||
|
||||
// # 32 ADDS, 64 MULTS
|
||||
// using masking to perform --> field of view formula
|
||||
// if (e_dot_f >= 0.0 || e_dot_f_sq <= rhs)
|
||||
// return dt_neg;
|
||||
// else
|
||||
// return c_neg_times_dt;
|
||||
//
|
||||
__m512 f_norm_sq_0 = _mm512_fmadd_ps(f_x_0, f_x_0, _mm512_mul_ps(f_y_0, f_y_0));
|
||||
__m512 f_norm_sq_1 = _mm512_fmadd_ps(f_x_1, f_x_1, _mm512_mul_ps(f_y_1, f_y_1));
|
||||
|
||||
// # 32 MULTS
|
||||
__m512 rhs_0 = _mm512_mul_ps(f_norm_sq_0, v_cos_phi_sq);
|
||||
__m512 rhs_1 = _mm512_mul_ps(f_norm_sq_1, v_cos_phi_sq);
|
||||
|
||||
// # 32 ADDS, 64 MULTS
|
||||
__m512 e_dot_f_0 = _mm512_fmadd_ps(eix, f_x_0, _mm512_mul_ps(eiy, f_y_0));
|
||||
__m512 e_dot_f_1 = _mm512_fmadd_ps(eix, f_x_1, _mm512_mul_ps(eiy, f_y_1));
|
||||
|
||||
// # 32 MULTS
|
||||
__m512 e_dot_f_sq_0 = _mm512_mul_ps(e_dot_f_0, e_dot_f_0);
|
||||
__m512 e_dot_f_sq_1 = _mm512_mul_ps(e_dot_f_1, e_dot_f_1);
|
||||
|
||||
// e_i * f < 0 --> behind
|
||||
__mmask16 c1_0 = _mm512_cmp_ps_mask(e_dot_f_0, v_zero, _CMP_LT_OQ);
|
||||
__mmask16 c1_1 = _mm512_cmp_ps_mask(e_dot_f_1, v_zero, _CMP_LT_OQ);
|
||||
|
||||
// (e_i * f)^2 > cos(phi) --> out of view
|
||||
__mmask16 c2_0 = _mm512_cmp_ps_mask(e_dot_f_sq_0, rhs_0, _CMP_GT_OQ);
|
||||
__mmask16 c2_1 = _mm512_cmp_ps_mask(e_dot_f_sq_1, rhs_1, _CMP_GT_OQ);
|
||||
|
||||
// get the case (in field of view or not)
|
||||
// 1 = reduced weight, 0 = regular
|
||||
__mmask16 cond_0 = c1_0 & c2_0;
|
||||
__mmask16 cond_1 = c1_1 & c2_1;
|
||||
|
||||
// apply the correct weight
|
||||
__m512 w_val_0 = _mm512_mask_blend_ps(cond_0, v_dt_neg, v_c_neg_dt);
|
||||
__m512 w_val_1 = _mm512_mask_blend_ps(cond_1, v_dt_neg, v_c_neg_dt);
|
||||
|
||||
// # 64 ADDS, 64 MULTS
|
||||
// accumulate force with weight
|
||||
// force_P_total += weight * force_P_other
|
||||
// only active lanes are added to the accumulator because of masking --> prevents i == j and j >= n_p
|
||||
acc_x_0 = _mm512_mask3_fmadd_ps(f_x_0, w_val_0, acc_x_0, active_0);
|
||||
acc_x_1 = _mm512_mask3_fmadd_ps(f_x_1, w_val_1, acc_x_1, active_1);
|
||||
acc_y_0 = _mm512_mask3_fmadd_ps(f_y_0, w_val_0, acc_y_0, active_0);
|
||||
acc_y_1 = _mm512_mask3_fmadd_ps(f_y_1, w_val_1, acc_y_1, active_1);
|
||||
|
||||
// # 32 ADDS
|
||||
// increment j index vectors for next iteration
|
||||
j_idx_0 = _mm512_add_ps(j_idx_0, v_32);
|
||||
j_idx_1 = _mm512_add_ps(j_idx_1, v_32);
|
||||
}
|
||||
// # 16 ADDS
|
||||
// increment i vector for next iteration
|
||||
v_i = _mm512_add_ps(v_i, v_one);
|
||||
|
||||
// # 64 ADDs
|
||||
// scalar force accumulator
|
||||
f_alpha_dt_x += _mm512_reduce_add_ps(_mm512_add_ps(acc_x_0, acc_x_1));
|
||||
f_alpha_dt_y += _mm512_reduce_add_ps(_mm512_add_ps(acc_y_0, acc_y_1));
|
||||
|
||||
// force between pedestrian and obstacles
|
||||
// no optimizations, because force between pedestrian is the bottleneck of the computation
|
||||
for (int k = 0; k < board.n_obstacles; k++) {
|
||||
// # 2 ADDs
|
||||
float v1_x = pos_x[i] - board.obstacles[k].start_x;
|
||||
float v1_y = pos_y[i] - board.obstacles[k].start_y;
|
||||
|
||||
float v2_x = board.obstacles[k].obstacle_v_x;
|
||||
float v2_y = board.obstacles[k].obstacle_v_y;
|
||||
|
||||
// # 3 MULTs, 1 ADD
|
||||
float projection = (v1_x * v2_x + v1_y * v2_y) * board.obstacles[k].length_sq_inv;
|
||||
|
||||
if (projection < 0.0f)
|
||||
projection = 0.0f;
|
||||
else if (projection > 1.0f)
|
||||
projection = 1.0f;
|
||||
|
||||
// # 4 ADDs, 2 MULTs
|
||||
float r_aB_x = pos_x[i] - (board.obstacles[k].start_x + board.obstacles[k].obstacle_v_x * projection);
|
||||
float r_aB_y = pos_y[i] - (board.obstacles[k].start_y + board.obstacles[k].obstacle_v_y * projection);
|
||||
|
||||
// # 1 SQRT, 2 MULTs, 1 ADD
|
||||
float r_aB_norm = sqrt(r_aB_x * r_aB_x + r_aB_y * r_aB_y);
|
||||
r_aB_norm = r_aB_norm > EPS ? r_aB_norm : EPS;
|
||||
|
||||
// # 4 MULTs, 1 EXP, 1 DIV
|
||||
float scalar_mult = (NEG_U0_AB_div_R * exp(r_aB_norm * NEG_R_INV)) / r_aB_norm;
|
||||
float f_alpha_B_neg_x = r_aB_x * scalar_mult;
|
||||
float f_alpha_B_neg_y = r_aB_y * scalar_mult;
|
||||
|
||||
float w_val = dt_neg;
|
||||
float e_dot_f = (f_alpha_B_neg_y == 0) ? 0 : (f_alpha_B_neg_y < 0 ? -e_y[i] : e_y[i]);
|
||||
|
||||
if (e_dot_f < cos_phi)
|
||||
w_val = c_neg_times_dt;
|
||||
|
||||
// # 2 MULTS
|
||||
float f_alpha_B_dt_x = f_alpha_B_neg_x * w_val;
|
||||
float f_alpha_B_dt_y = f_alpha_B_neg_y * w_val;
|
||||
|
||||
// # 2 ADDs
|
||||
f_alpha_dt_x += f_alpha_B_dt_x;
|
||||
f_alpha_dt_y += f_alpha_B_dt_y;
|
||||
}
|
||||
|
||||
// # 2 ADDs
|
||||
w_x[i] += f_alpha_dt_x;
|
||||
w_y[i] += f_alpha_dt_y;
|
||||
}
|
||||
|
||||
// update each pedestrian state
|
||||
for (int i = 0; i < n_p_pad; i += 16) {
|
||||
// load 16 pedestrians per iteration with their data
|
||||
// SoA in vectors
|
||||
__m512 w_x_i_vec = _mm512_loadu_ps(&w_x[i]);
|
||||
__m512 w_y_i_vec = _mm512_loadu_ps(&w_y[i]);
|
||||
__m512 v_max_i_vec = _mm512_loadu_ps(&v_max[i]);
|
||||
__m512 pos_x_i_vec = _mm512_loadu_ps(&pos_x[i]);
|
||||
__m512 pos_y_i_vec = _mm512_loadu_ps(&pos_y[i]);
|
||||
__m512 destination_y_i_vec = _mm512_loadu_ps(&destination_y[i]);
|
||||
__m512 destination_x_i_vec = _mm512_loadu_ps(&destination_x[i]);
|
||||
__m512 desired_v0_i_vec = _mm512_loadu_ps(&desired_v0[i]);
|
||||
|
||||
__m512i color_i_vec = _mm512_loadu_si512((__m512i *)&color[i]);
|
||||
|
||||
// # 32 MULTs, 16 ADDs
|
||||
__m512 w_norm_sq = _mm512_fmadd_ps(w_x_i_vec, w_x_i_vec, _mm512_mul_ps(w_y_i_vec, w_y_i_vec));
|
||||
|
||||
// # 16 SQRTs, 16 DIVs
|
||||
__m512 w_norm_inv = _mm512_rsqrt14_ps(w_norm_sq);
|
||||
|
||||
// # 16 MULTs
|
||||
__m512 correction_factor = _mm512_min_ps(_mm512_set1_ps(1.0f), _mm512_mul_ps(v_max_i_vec, w_norm_inv));
|
||||
|
||||
// # 32 MULTs
|
||||
__m512 curr_vel_x_i_vec = _mm512_mul_ps(w_x_i_vec, correction_factor);
|
||||
__m512 curr_vel_y_i_vec = _mm512_mul_ps(w_y_i_vec, correction_factor);
|
||||
|
||||
__m512 dt_vec = _mm512_set1_ps(dt);
|
||||
|
||||
// # 32 MULTs, 32 ADDs
|
||||
pos_x_i_vec = _mm512_fmadd_ps(curr_vel_x_i_vec, dt_vec, pos_x_i_vec);
|
||||
pos_y_i_vec = _mm512_fmadd_ps(curr_vel_y_i_vec, dt_vec, pos_y_i_vec);
|
||||
|
||||
// differentiate whether pedestrian came from left or right using masking
|
||||
__mmask16 cond_1_left = _mm512_cmpeq_epi32_mask(color_i_vec, _mm512_setzero_si512());
|
||||
__mmask16 cond_1_right = _mm512_cmp_ps_mask(pos_x_i_vec, _mm512_set1_ps(BOARD_LENGTH - 1.5f), _CMP_GT_OQ);
|
||||
__mmask16 cond_1 = cond_1_left & cond_1_right;
|
||||
|
||||
pos_x_i_vec = _mm512_mask_blend_ps(cond_1, pos_x_i_vec, _mm512_set1_ps(1.0f));
|
||||
destination_y_i_vec = _mm512_mask_blend_ps(cond_1, destination_y_i_vec, pos_y_i_vec);
|
||||
w_x_i_vec = _mm512_mask_blend_ps(cond_1, w_x_i_vec, desired_v0_i_vec);
|
||||
w_y_i_vec = _mm512_mask_blend_ps(cond_1, w_y_i_vec, _mm512_setzero_ps());
|
||||
curr_vel_x_i_vec = _mm512_mask_blend_ps(cond_1, curr_vel_x_i_vec, w_x_i_vec);
|
||||
curr_vel_y_i_vec = _mm512_mask_blend_ps(cond_1, curr_vel_y_i_vec, w_y_i_vec);
|
||||
|
||||
__mmask16 cond_2_left = _mm512_cmpeq_epi32_mask(color_i_vec, _mm512_set1_epi32(1));
|
||||
__mmask16 cond_2_right = _mm512_cmp_ps_mask(pos_x_i_vec, _mm512_set1_ps(1.5f), _CMP_LT_OQ);
|
||||
__mmask16 cond_2 = cond_2_left & cond_2_right;
|
||||
|
||||
pos_x_i_vec = _mm512_mask_blend_ps(cond_2, pos_x_i_vec, _mm512_set1_ps(BOARD_LENGTH - 1.0f));
|
||||
destination_y_i_vec = _mm512_mask_blend_ps(cond_2, destination_y_i_vec, pos_y_i_vec);
|
||||
__m512 neg_desired_v0 = _mm512_xor_ps(desired_v0_i_vec, _mm512_set1_ps(-0.0f));
|
||||
w_x_i_vec = _mm512_mask_blend_ps(cond_2, w_x_i_vec, neg_desired_v0);
|
||||
w_y_i_vec = _mm512_mask_blend_ps(cond_2, w_y_i_vec, _mm512_setzero_ps());
|
||||
curr_vel_x_i_vec = _mm512_mask_blend_ps(cond_2, curr_vel_x_i_vec, w_x_i_vec);
|
||||
curr_vel_y_i_vec = _mm512_mask_blend_ps(cond_2, curr_vel_y_i_vec, w_y_i_vec);
|
||||
|
||||
pos_y_i_vec = _mm512_max_ps(pos_y_i_vec, _mm512_set1_ps(WALL_EPS));
|
||||
pos_y_i_vec = _mm512_min_ps(pos_y_i_vec, _mm512_set1_ps(BOARD_WIDTH_MINUS_WALL_EPS));
|
||||
|
||||
// # 32 ADDs
|
||||
__m512 ex_vec = _mm512_sub_ps(destination_x_i_vec, pos_x_i_vec);
|
||||
__m512 ey_vec = _mm512_sub_ps(destination_y_i_vec, pos_y_i_vec);
|
||||
|
||||
// # 32 MULTs, 16 ADDs
|
||||
__m512 e_norm_sq = _mm512_fmadd_ps(ex_vec, ex_vec, _mm512_mul_ps(ey_vec, ey_vec));
|
||||
|
||||
// # 16 SQRTs, 16 DIVs
|
||||
__m512 e_norm_inv = _mm512_rsqrt14_ps(e_norm_sq);
|
||||
|
||||
// # 32 MULTs
|
||||
__m512 e_x_i_vec = _mm512_mul_ps(ex_vec, e_norm_inv);
|
||||
__m512 e_y_i_vec = _mm512_mul_ps(ey_vec, e_norm_inv);
|
||||
|
||||
// # 32 MULTs, 16 ADDs
|
||||
__m512 vel_norm_sq = _mm512_fmadd_ps(curr_vel_x_i_vec, curr_vel_x_i_vec, _mm512_mul_ps(curr_vel_y_i_vec, curr_vel_y_i_vec));
|
||||
|
||||
// # 16 MULTs
|
||||
__m512 sb_sq_i_vec = _mm512_mul_ps(vel_norm_sq, _mm512_set1_ps(delta_t_sq));
|
||||
|
||||
// # 16 SQRTs
|
||||
__m512 vel_norm_dt = _mm512_sqrt_ps(sb_sq_i_vec);
|
||||
|
||||
// write the data
|
||||
_mm512_storeu_ps(&curr_vel_x[i], curr_vel_x_i_vec);
|
||||
_mm512_storeu_ps(&curr_vel_y[i], curr_vel_y_i_vec);
|
||||
_mm512_storeu_ps(&w_x[i], w_x_i_vec);
|
||||
_mm512_storeu_ps(&w_y[i], w_y_i_vec);
|
||||
_mm512_storeu_ps(&pos_x[i], pos_x_i_vec);
|
||||
_mm512_storeu_ps(&pos_y[i], pos_y_i_vec);
|
||||
_mm512_storeu_ps(&e_x[i], e_x_i_vec);
|
||||
_mm512_storeu_ps(&e_y[i], e_y_i_vec);
|
||||
_mm512_storeu_ps(&destination_y[i], destination_y_i_vec);
|
||||
_mm512_storeu_ps(&sb_sq[i], sb_sq_i_vec);
|
||||
|
||||
// # 32 MULTs
|
||||
_mm512_storeu_ps(&sb_e_x[i], _mm512_mul_ps(e_x_i_vec, vel_norm_dt));
|
||||
_mm512_storeu_ps(&sb_e_y[i], _mm512_mul_ps(e_y_i_vec, vel_norm_dt));
|
||||
}
|
||||
|
||||
#if !BENCHMARK
|
||||
for (int i = 0; i < n_p; i++) {
|
||||
if (dump_path && (t % dump_interval == 0)) {
|
||||
samples.emplace_back(t + 1, i, pos_x[i], pos_y[i], e_x[i], e_y[i], color[i]);
|
||||
}
|
||||
}
|
||||
#endif
|
||||
}
|
||||
|
||||
#if !BENCHMARK
|
||||
if (dump_path) {
|
||||
ofstream out(dump_path);
|
||||
out << "time,id,x,y,p.e.x,p.e.y,color\n";
|
||||
for (auto &[t, id, x, y, e_x, e_y, c] : samples) {
|
||||
out << t << ',' << id << ',' << x << ',' << y << ',' << e_x << ',' << e_y << ',' << c << '\n';
|
||||
}
|
||||
}
|
||||
#endif
|
||||
|
||||
return 0;
|
||||
}
|
||||
+765
@@ -0,0 +1,765 @@
|
||||
// # Changes: - vectorized full force computation for pedestrians
|
||||
// # Predecessor: variant_float_inlining_SoA_AVX512_polyexp_moreavx_ilp_2_rsqrt_moresqrt_expfix_improved.cpp
|
||||
|
||||
#include "../headers/board_reduced_float.hpp"
|
||||
#include "../headers/constants_float.hpp"
|
||||
#include "../headers/pedestrian_reduced_float.hpp"
|
||||
|
||||
#include <immintrin.h>
|
||||
|
||||
#include <fstream>
|
||||
#include <random>
|
||||
#include <tuple>
|
||||
|
||||
#define SEED 42
|
||||
#define BOARD_WIDTH 10.0f
|
||||
#define BOARD_LENGTH 50.0f
|
||||
#define WALL_EPS 1e-3f
|
||||
#define BOARD_WIDTH_MINUS_WALL_EPS 9.999f
|
||||
|
||||
#ifndef RANDOM_SEED
|
||||
#define RANDOM_SEED 0
|
||||
#endif
|
||||
|
||||
#ifndef BENCHMARK
|
||||
#define BENCHMARK 0
|
||||
#endif
|
||||
|
||||
using namespace std;
|
||||
alignas(64) vector<float> pos_x, pos_y;
|
||||
alignas(64) vector<float> sb_sq;
|
||||
alignas(64) vector<float> sb_e_x, sb_e_y;
|
||||
alignas(64) vector<float> e_x, e_y;
|
||||
alignas(64) vector<float> curr_vel_x, curr_vel_y;
|
||||
alignas(64) vector<float> w_x, w_y;
|
||||
alignas(64) vector<float> desired_v0;
|
||||
alignas(64) vector<float> v_max;
|
||||
alignas(64) vector<float> destination_x, destination_y;
|
||||
alignas(64) vector<int> color;
|
||||
|
||||
Pedestrian *init_pedestrians(int n_p) {
|
||||
#if RANDOM_SEED
|
||||
random_device rd;
|
||||
mt19937 gen(rd());
|
||||
#else
|
||||
mt19937 gen(SEED);
|
||||
#endif
|
||||
|
||||
normal_distribution<float> velocity_gen(v0_mean, v0_std_dev);
|
||||
uniform_real_distribution<float> y_gen(0.3, BOARD_WIDTH - 0.3);
|
||||
uniform_real_distribution<float> x_gen_left(2.0, BOARD_LENGTH / 2.0);
|
||||
uniform_real_distribution<float> x_gen_right(BOARD_LENGTH / 2.0, BOARD_LENGTH - 2.0);
|
||||
|
||||
const int n_p_pad = (n_p + 15) & ~15;
|
||||
|
||||
pos_x.resize(n_p_pad);
|
||||
pos_y.resize(n_p_pad);
|
||||
sb_sq.resize(n_p_pad);
|
||||
sb_e_x.resize(n_p_pad);
|
||||
sb_e_y.resize(n_p_pad);
|
||||
e_x.resize(n_p_pad);
|
||||
e_y.resize(n_p_pad);
|
||||
curr_vel_x.resize(n_p_pad);
|
||||
curr_vel_y.resize(n_p_pad);
|
||||
w_x.resize(n_p_pad);
|
||||
w_y.resize(n_p_pad);
|
||||
desired_v0.resize(n_p_pad);
|
||||
v_max.resize(n_p_pad);
|
||||
destination_x.resize(n_p_pad);
|
||||
destination_y.resize(n_p_pad);
|
||||
color.resize(n_p_pad);
|
||||
|
||||
int n_p_half = n_p / 2;
|
||||
|
||||
for (int i = 0; i < n_p_half; i++) {
|
||||
float x = x_gen_left(gen);
|
||||
float y = y_gen(gen);
|
||||
|
||||
float dest_x = BOARD_LENGTH + 30.0f;
|
||||
float dest_y = y;
|
||||
|
||||
float init_e_x = dest_x - x;
|
||||
float init_e_y = dest_y - y;
|
||||
float init_e_norm = sqrt(init_e_x * init_e_x + init_e_y * init_e_y);
|
||||
float init_e_unit_x = init_e_x / init_e_norm;
|
||||
float init_e_unit_y = init_e_y / init_e_norm;
|
||||
|
||||
float d_v0;
|
||||
do {
|
||||
d_v0 = velocity_gen(gen);
|
||||
} while (d_v0 <= 0.1f);
|
||||
|
||||
float v_m = 1.3f * d_v0;
|
||||
|
||||
color[i] = 0;
|
||||
pos_x[i] = x;
|
||||
pos_y[i] = y;
|
||||
e_x[i] = init_e_unit_x;
|
||||
e_y[i] = init_e_unit_y;
|
||||
v_max[i] = v_m;
|
||||
desired_v0[i] = d_v0;
|
||||
destination_x[i] = dest_x;
|
||||
destination_y[i] = dest_y;
|
||||
|
||||
w_x[i] = 0.0f;
|
||||
w_y[i] = 0.0f;
|
||||
curr_vel_x[i] = 0.0f;
|
||||
curr_vel_y[i] = 0.0f;
|
||||
sb_sq[i] = 0.0f;
|
||||
sb_e_x[i] = 0.0f;
|
||||
sb_e_y[i] = 0.0f;
|
||||
}
|
||||
|
||||
for (int i = n_p_half; i < n_p; i++) {
|
||||
float x = x_gen_right(gen);
|
||||
float y = y_gen(gen);
|
||||
|
||||
float dest_x = -30.0f;
|
||||
float dest_y = y;
|
||||
|
||||
float init_e_x = dest_x - x;
|
||||
float init_e_y = dest_y - y;
|
||||
float init_e_norm = sqrt(init_e_x * init_e_x + init_e_y * init_e_y);
|
||||
float init_e_unit_x = init_e_x / init_e_norm;
|
||||
float init_e_unit_y = init_e_y / init_e_norm;
|
||||
|
||||
float d_v0;
|
||||
do {
|
||||
d_v0 = velocity_gen(gen);
|
||||
} while (d_v0 <= 0.1f);
|
||||
|
||||
float v_m = 1.3f * d_v0;
|
||||
|
||||
color[i] = 1;
|
||||
pos_x[i] = x;
|
||||
pos_y[i] = y;
|
||||
e_x[i] = init_e_unit_x;
|
||||
e_y[i] = init_e_unit_y;
|
||||
v_max[i] = v_m;
|
||||
desired_v0[i] = d_v0;
|
||||
destination_x[i] = dest_x;
|
||||
destination_y[i] = dest_y;
|
||||
|
||||
w_x[i] = 0.0f;
|
||||
w_y[i] = 0.0f;
|
||||
curr_vel_x[i] = 0.0f;
|
||||
curr_vel_y[i] = 0.0f;
|
||||
sb_sq[i] = 0.0f;
|
||||
sb_e_x[i] = 0.0f;
|
||||
sb_e_y[i] = 0.0f;
|
||||
}
|
||||
|
||||
for (int j = n_p; j < n_p_pad; j++) {
|
||||
pos_x[j] = 1e9f;
|
||||
pos_y[j] = 1e9f;
|
||||
sb_sq[j] = 0.0f;
|
||||
sb_e_x[j] = 0.0f;
|
||||
sb_e_y[j] = 0.0f;
|
||||
}
|
||||
return nullptr;
|
||||
}
|
||||
|
||||
Board init_board_without_obstacles() { return Board(BOARD_LENGTH, BOARD_WIDTH, 0, nullptr); }
|
||||
|
||||
// # 256 MULTs, 224 ADDs
|
||||
static inline __m512 _avx512_exp_ps(__m512 x) {
|
||||
|
||||
const __m512 log2e = _mm512_set1_ps(1.4426950408889634f);
|
||||
|
||||
// # 16 MULTs
|
||||
__m512 nf = _mm512_roundscale_ps(_mm512_mul_ps(x, log2e), _MM_FROUND_TO_NEAREST_INT | _MM_FROUND_NO_EXC);
|
||||
|
||||
const __m512 ln2 = _mm512_set1_ps(0.6931471805599453f);
|
||||
|
||||
// # 16 MULTs, 16 ADDs
|
||||
__m512 r = _mm512_fnmadd_ps(nf, ln2, x);
|
||||
|
||||
const __m512 c12 = _mm512_set1_ps(c12_scalar);
|
||||
const __m512 c11 = _mm512_set1_ps(c11_scalar);
|
||||
const __m512 c10 = _mm512_set1_ps(c10_scalar);
|
||||
const __m512 c9 = _mm512_set1_ps(c9_scalar);
|
||||
const __m512 c8 = _mm512_set1_ps(c8_scalar);
|
||||
const __m512 c7 = _mm512_set1_ps(c7_scalar);
|
||||
const __m512 c6 = _mm512_set1_ps(c6_scalar);
|
||||
const __m512 c5 = _mm512_set1_ps(c5_scalar);
|
||||
const __m512 c4 = _mm512_set1_ps(c4_scalar);
|
||||
const __m512 c3 = _mm512_set1_ps(c3_scalar);
|
||||
const __m512 c2 = _mm512_set1_ps(c2_scalar);
|
||||
const __m512 c1 = _mm512_set1_ps(c1_scalar);
|
||||
const __m512 c0 = _mm512_set1_ps(c0_scalar);
|
||||
|
||||
__m512 p = c12;
|
||||
|
||||
// # 13 * (16 MULTs, 16 ADDs)
|
||||
// # = 208 MULTs, 208 ADDs
|
||||
p = _mm512_fmadd_ps(p, r, c12);
|
||||
p = _mm512_fmadd_ps(p, r, c11);
|
||||
p = _mm512_fmadd_ps(p, r, c10);
|
||||
p = _mm512_fmadd_ps(p, r, c9);
|
||||
p = _mm512_fmadd_ps(p, r, c8);
|
||||
p = _mm512_fmadd_ps(p, r, c7);
|
||||
p = _mm512_fmadd_ps(p, r, c6);
|
||||
p = _mm512_fmadd_ps(p, r, c5);
|
||||
p = _mm512_fmadd_ps(p, r, c4);
|
||||
p = _mm512_fmadd_ps(p, r, c3);
|
||||
p = _mm512_fmadd_ps(p, r, c2);
|
||||
p = _mm512_fmadd_ps(p, r, c1);
|
||||
p = _mm512_fmadd_ps(p, r, c0);
|
||||
|
||||
__m512i ni = _mm512_cvtps_epi32(nf);
|
||||
__m512i biased = _mm512_add_epi32(ni, _mm512_set1_epi32(127));
|
||||
__m512i scaled = _mm512_slli_epi32(biased, 23);
|
||||
__m512 pow2n = _mm512_castsi512_ps(scaled);
|
||||
|
||||
// # 16 MULTs
|
||||
return _mm512_mul_ps(p, pow2n);
|
||||
}
|
||||
|
||||
int run_simulation(Pedestrian *pedestrians, Board &board, int n_p, int n_iter, const char *dump_path) {
|
||||
(void)pedestrians;
|
||||
#if BENCHMARK
|
||||
(void)dump_path;
|
||||
#endif
|
||||
|
||||
#if !BENCHMARK
|
||||
const int dump_interval = 1;
|
||||
vector<tuple<int, int, float, float, float, float, int>> samples;
|
||||
|
||||
if (dump_path) {
|
||||
samples.reserve(static_cast<size_t>(n_iter / dump_interval + 1) * n_p);
|
||||
for (int i = 0; i < n_p; i++) {
|
||||
samples.emplace_back(0, i, pos_x[i], pos_y[i], e_x[i], e_y[i], color[i]);
|
||||
}
|
||||
}
|
||||
#endif
|
||||
|
||||
const int n_p_pad = (n_p + 15) & ~15;
|
||||
|
||||
const __m512 lane_off = _mm512_set_ps(15.0f, 14.0f, 13.0f, 12.0f, 11.0f, 10.0f, 9.0f, 8.0f, 7.0f, 6.0f, 5.0f, 4.0f, 3.0f, 2.0f, 1.0f, 0.0f);
|
||||
|
||||
const __m512 v_neg_v0_div_2s = _mm512_set1_ps(NEG_V0_AB_div_TWO_SIGMA);
|
||||
const __m512 v_neg_2s_inv = _mm512_set1_ps(NEG_TWO_SIGMA_INV);
|
||||
const __m512 v_cos_phi_sq = _mm512_set1_ps(cos_phi_sq);
|
||||
const __m512 v_cos_phi = _mm512_set1_ps(cos_phi);
|
||||
const __m512 v_dt_neg = _mm512_set1_ps(dt_neg);
|
||||
const __m512 v_c_neg_dt = _mm512_set1_ps(c_neg_times_dt);
|
||||
const __m512 v_zero = _mm512_setzero_ps();
|
||||
const __m512 v_eps_sq = _mm512_set1_ps(EPS_SQ);
|
||||
const __m512 v_exp_min = _mm512_set1_ps(-87.0f);
|
||||
const __m512 v_dt_tau = _mm512_set1_ps(dt_times_tau_alpha_inv);
|
||||
const __m512 v_neg_u0_div_r = _mm512_set1_ps(NEG_U0_AB_div_R);
|
||||
const __m512 v_neg_r_inv = _mm512_set1_ps(NEG_R_INV);
|
||||
const __m512 v_sign_mask = _mm512_set1_ps(-0.0f);
|
||||
const __m512 v_16 = _mm512_set1_ps(16.0f);
|
||||
const __m512 v_one = _mm512_set1_ps(1.0f);
|
||||
const __m512 v_two = _mm512_set1_ps(2.0f);
|
||||
const __m512 osx = _mm512_set1_ps(board.obstacles[0].start_x);
|
||||
const __m512 osy = _mm512_set1_ps(board.obstacles[0].start_y);
|
||||
const __m512 ovx = _mm512_set1_ps(board.obstacles[0].obstacle_v_x);
|
||||
const __m512 ovy = _mm512_set1_ps(board.obstacles[0].obstacle_v_y);
|
||||
const __m512 olen_inv = _mm512_set1_ps(board.obstacles[0].length_sq_inv);
|
||||
const __m512 osx1 = _mm512_set1_ps(board.obstacles[1].start_x);
|
||||
const __m512 osy1 = _mm512_set1_ps(board.obstacles[1].start_y);
|
||||
const __m512 ovx1 = _mm512_set1_ps(board.obstacles[1].obstacle_v_x);
|
||||
const __m512 ovy1 = _mm512_set1_ps(board.obstacles[1].obstacle_v_y);
|
||||
const __m512 olen_inv1 = _mm512_set1_ps(board.obstacles[1].length_sq_inv);
|
||||
|
||||
// # ADDs: n_iter * (
|
||||
// # n_p_pad * 7 +
|
||||
// # n_p_pad * n_p * 29 +
|
||||
// # n_p_pad * 2(=board.n_obstacles) * 24 +
|
||||
// # n_p_pad * 7
|
||||
// # )
|
||||
|
||||
// # MULTs: n_iter * (
|
||||
// # n_p_pad * 4 +
|
||||
// # n_p_pad * n_p * 42 +
|
||||
// # n_p_pad * 2(=board.n_obstacles) * 31 +
|
||||
// # n_p_pad * 16
|
||||
// # )
|
||||
|
||||
// # DIVs: n_iter * (
|
||||
// # n_p_pad * n_p * 3 +
|
||||
// # n_p_pad * 2(=board.n_obstacles) * 1 +
|
||||
// # n_p_pad * 2
|
||||
// # )
|
||||
|
||||
// # SQRTs: n_iter * (
|
||||
// # n_p_pad * n_p * 3 +
|
||||
// # n_p_pad * 2(=board.n_obstacles) * 1 +
|
||||
// # n_p_pad * 3
|
||||
// # )
|
||||
|
||||
for (int t = 0; t < n_iter; t++) {
|
||||
|
||||
// Pass 1 : compute force terms
|
||||
__m512 i_idx = lane_off;
|
||||
for (int i = 0; i < n_p_pad; i += 16) {
|
||||
|
||||
// i-side data (loaded once per block, reused for all j)
|
||||
const __m512 pix = _mm512_loadu_ps(&pos_x[i]);
|
||||
const __m512 piy = _mm512_loadu_ps(&pos_y[i]);
|
||||
const __m512 eix = _mm512_loadu_ps(&e_x[i]);
|
||||
const __m512 eiy = _mm512_loadu_ps(&e_y[i]);
|
||||
__m512 wix = _mm512_loadu_ps(&w_x[i]);
|
||||
__m512 wiy = _mm512_loadu_ps(&w_y[i]);
|
||||
|
||||
// acceleration term, vectorized over the 16 alphas:
|
||||
// acc = (e * v0 - v) * (dt / tau)
|
||||
const __m512 v0i = _mm512_loadu_ps(&desired_v0[i]);
|
||||
const __m512 vix = _mm512_loadu_ps(&curr_vel_x[i]);
|
||||
const __m512 viy = _mm512_loadu_ps(&curr_vel_y[i]);
|
||||
|
||||
// # 64 ADDS, 64 MULTS
|
||||
__m512 acc_x = _mm512_fmadd_ps(_mm512_fmsub_ps(eix, v0i, vix), v_dt_tau, wix);
|
||||
__m512 acc_y = _mm512_fmadd_ps(_mm512_fmsub_ps(eiy, v0i, viy), v_dt_tau, wiy);
|
||||
|
||||
// second accumulator pair for the second dependency chain
|
||||
__m512 acc_x2 = _mm512_setzero_ps();
|
||||
__m512 acc_y2 = _mm512_setzero_ps();
|
||||
|
||||
const int n_p_even = n_p & ~1;
|
||||
|
||||
// Initialize j index vectors
|
||||
__m512 j_idx_0 = v_zero;
|
||||
__m512 j_idx_1 = v_one;
|
||||
|
||||
// Pedestrians repulsion terms unrolled by 2 to have two independent accumulators and trigger more ilp
|
||||
for (int j = 0; j < n_p_even; j += 2) {
|
||||
|
||||
const __m512 pjx_0 = _mm512_set1_ps(pos_x[j]);
|
||||
const __m512 pjy_0 = _mm512_set1_ps(pos_y[j]);
|
||||
const __m512 sbe_jx_0 = _mm512_set1_ps(sb_e_x[j]);
|
||||
const __m512 sbe_jy_0 = _mm512_set1_ps(sb_e_y[j]);
|
||||
const __m512 sb_jsq_0 = _mm512_set1_ps(sb_sq[j]);
|
||||
const __mmask16 active_0 = _mm512_cmp_ps_mask(i_idx, j_idx_0, _CMP_NEQ_OQ);
|
||||
|
||||
const __m512 pjx_1 = _mm512_set1_ps(pos_x[j + 1]);
|
||||
const __m512 pjy_1 = _mm512_set1_ps(pos_y[j + 1]);
|
||||
const __m512 sbe_jx_1 = _mm512_set1_ps(sb_e_x[j + 1]);
|
||||
const __m512 sbe_jy_1 = _mm512_set1_ps(sb_e_y[j + 1]);
|
||||
const __m512 sb_jsq_1 = _mm512_set1_ps(sb_sq[j + 1]);
|
||||
const __mmask16 active_1 = _mm512_cmp_ps_mask(i_idx, j_idx_1, _CMP_NEQ_OQ);
|
||||
|
||||
// # 64 ADDS
|
||||
// r_ab = r_i - r_j
|
||||
__m512 r_ab_x_0 = _mm512_sub_ps(pix, pjx_0);
|
||||
__m512 r_ab_x_1 = _mm512_sub_ps(pix, pjx_1);
|
||||
__m512 r_ab_y_0 = _mm512_sub_ps(piy, pjy_0);
|
||||
__m512 r_ab_y_1 = _mm512_sub_ps(piy, pjy_1);
|
||||
|
||||
// # 32 ADDS, 64 MULTS
|
||||
// |r_ab|^2
|
||||
__m512 r_ab_n2_0 = _mm512_fmadd_ps(r_ab_x_0, r_ab_x_0, _mm512_mul_ps(r_ab_y_0, r_ab_y_0));
|
||||
__m512 r_ab_n2_1 = _mm512_fmadd_ps(r_ab_x_1, r_ab_x_1, _mm512_mul_ps(r_ab_y_1, r_ab_y_1));
|
||||
r_ab_n2_0 = _mm512_max_ps(r_ab_n2_0, v_eps_sq);
|
||||
r_ab_n2_1 = _mm512_max_ps(r_ab_n2_1, v_eps_sq);
|
||||
|
||||
// # 32 DIVS, 32 SQRTS
|
||||
// 1 / |r_ab| and |r_ab|
|
||||
__m512 inv_r_ab_n_0 = _mm512_rsqrt14_ps(r_ab_n2_0);
|
||||
__m512 inv_r_ab_n_1 = _mm512_rsqrt14_ps(r_ab_n2_1);
|
||||
|
||||
// # 32 MULTS
|
||||
__m512 r_ab_n_0 = _mm512_mul_ps(r_ab_n2_0, inv_r_ab_n_0);
|
||||
__m512 r_ab_n_1 = _mm512_mul_ps(r_ab_n2_1, inv_r_ab_n_1);
|
||||
|
||||
// # 64 ADDS
|
||||
// r_ab - sbe_j
|
||||
__m512 r_ab2_x_0 = _mm512_sub_ps(r_ab_x_0, sbe_jx_0);
|
||||
__m512 r_ab2_x_1 = _mm512_sub_ps(r_ab_x_1, sbe_jx_1);
|
||||
__m512 r_ab2_y_0 = _mm512_sub_ps(r_ab_y_0, sbe_jy_0);
|
||||
__m512 r_ab2_y_1 = _mm512_sub_ps(r_ab_y_1, sbe_jy_1);
|
||||
|
||||
// # 32 ADDS, 64 MULTS
|
||||
// |r_ab - sbe_j|^2
|
||||
__m512 r_ab2_n2_0 = _mm512_fmadd_ps(r_ab2_x_0, r_ab2_x_0, _mm512_mul_ps(r_ab2_y_0, r_ab2_y_0));
|
||||
__m512 r_ab2_n2_1 = _mm512_fmadd_ps(r_ab2_x_1, r_ab2_x_1, _mm512_mul_ps(r_ab2_y_1, r_ab2_y_1));
|
||||
r_ab2_n2_0 = _mm512_max_ps(r_ab2_n2_0, v_eps_sq);
|
||||
r_ab2_n2_1 = _mm512_max_ps(r_ab2_n2_1, v_eps_sq);
|
||||
|
||||
// # 32 DIVS, 32 SQRTS
|
||||
// 1 / |r_ab - sbe_j| and |r_ab - sbe_j|
|
||||
__m512 inv_r_ab2_n_0 = _mm512_rsqrt14_ps(r_ab2_n2_0);
|
||||
__m512 inv_r_ab2_n_1 = _mm512_rsqrt14_ps(r_ab2_n2_1);
|
||||
|
||||
// # 32 MULTS
|
||||
__m512 r_ab2_n_0 = _mm512_mul_ps(r_ab2_n2_0, inv_r_ab2_n_0);
|
||||
__m512 r_ab2_n_1 = _mm512_mul_ps(r_ab2_n2_1, inv_r_ab2_n_1);
|
||||
|
||||
// # 32 ADDS
|
||||
// w = |r_ab| + |r_ab - step_j|, (2b)^2 = w^2 - step^2
|
||||
__m512 r_sum_0 = _mm512_add_ps(r_ab_n_0, r_ab2_n_0);
|
||||
__m512 r_sum_1 = _mm512_add_ps(r_ab_n_1, r_ab2_n_1);
|
||||
|
||||
// # 32 ADDS, 32 MULTS
|
||||
// 2_b^2 = r_sum^2 - step[j]^2
|
||||
__m512 two_b_sq_0 = _mm512_fmsub_ps(r_sum_0, r_sum_0, sb_jsq_0);
|
||||
__m512 two_b_sq_1 = _mm512_fmsub_ps(r_sum_1, r_sum_1, sb_jsq_1);
|
||||
two_b_sq_0 = _mm512_max_ps(two_b_sq_0, v_eps_sq);
|
||||
two_b_sq_1 = _mm512_max_ps(two_b_sq_1, v_eps_sq);
|
||||
|
||||
// # 32 DIVS, 32 SQRTS
|
||||
// 1/2_b and 2_b
|
||||
__m512 inv_two_b_0 = _mm512_rsqrt14_ps(two_b_sq_0);
|
||||
__m512 inv_two_b_1 = _mm512_rsqrt14_ps(two_b_sq_1);
|
||||
|
||||
// # 32 MULTS
|
||||
__m512 two_b_0 = _mm512_mul_ps(two_b_sq_0, inv_two_b_0);
|
||||
__m512 two_b_1 = _mm512_mul_ps(two_b_sq_1, inv_two_b_1);
|
||||
|
||||
// # 32 MULTS
|
||||
// exp(-b / sigma)
|
||||
__m512 e_arg_0 = _mm512_max_ps(_mm512_mul_ps(two_b_0, v_neg_2s_inv), v_exp_min);
|
||||
__m512 e_arg_1 = _mm512_max_ps(_mm512_mul_ps(two_b_1, v_neg_2s_inv), v_exp_min);
|
||||
|
||||
// # 512 MULTs, 448 ADDs
|
||||
__m512 e_val_0 = _avx512_exp_ps(e_arg_0);
|
||||
__m512 e_val_1 = _avx512_exp_ps(e_arg_1);
|
||||
|
||||
// # 96 MULTS
|
||||
// -(V0/sigma) * e^(-b/sigma) * w / (4b)
|
||||
__m512 numer_inv_two_b_0 = _mm512_mul_ps(_mm512_mul_ps(r_sum_0, v_neg_v0_div_2s), _mm512_mul_ps(e_val_0, inv_two_b_0));
|
||||
__m512 numer_inv_two_b_1 = _mm512_mul_ps(_mm512_mul_ps(r_sum_1, v_neg_v0_div_2s), _mm512_mul_ps(e_val_1, inv_two_b_1));
|
||||
|
||||
// # 32 MULTS
|
||||
// -(V0/sigma) * e^(-b/sigma) * w / (4b) * (1/|r_ab|)
|
||||
__m512 sm_r_ab_0 = _mm512_mul_ps(numer_inv_two_b_0, inv_r_ab_n_0);
|
||||
__m512 sm_r_ab_1 = _mm512_mul_ps(numer_inv_two_b_1, inv_r_ab_n_1);
|
||||
|
||||
// # 32 MULTS
|
||||
// -(V0/sigma) * e^(-b/sigma) * w / (4b) * (1/|r_ab - sbe_j|)
|
||||
__m512 sm_r_ab2_0 = _mm512_mul_ps(numer_inv_two_b_0, inv_r_ab2_n_0);
|
||||
__m512 sm_r_ab2_1 = _mm512_mul_ps(numer_inv_two_b_1, inv_r_ab2_n_1);
|
||||
|
||||
// # 64 ADDS, 128 MULTS
|
||||
// -(V0/sigma) * e^(-b/sigma) * w / (4b) * (1/|r_ab|) * r_ab + -(V0/sigma) * e^(-b/sigma) * w / (4b) * (1/|r_ab - sbe_j|) * (r_ab - sbe_j)
|
||||
__m512 f_x_0 = _mm512_fmadd_ps(r_ab2_x_0, sm_r_ab2_0, _mm512_mul_ps(r_ab_x_0, sm_r_ab_0));
|
||||
__m512 f_x_1 = _mm512_fmadd_ps(r_ab2_x_1, sm_r_ab2_1, _mm512_mul_ps(r_ab_x_1, sm_r_ab_1));
|
||||
__m512 f_y_0 = _mm512_fmadd_ps(r_ab2_y_0, sm_r_ab2_0, _mm512_mul_ps(r_ab_y_0, sm_r_ab_0));
|
||||
__m512 f_y_1 = _mm512_fmadd_ps(r_ab2_y_1, sm_r_ab2_1, _mm512_mul_ps(r_ab_y_1, sm_r_ab_1));
|
||||
|
||||
// field-of-view weight
|
||||
// if (e_dot_f >= 0.0 || e_dot_f_sq <= rhs)
|
||||
// return dt_neg;
|
||||
// else
|
||||
// return c_neg_times_dt;
|
||||
//
|
||||
// # 32 ADDS, 64 MULTS
|
||||
__m512 f_norm_sq_0 = _mm512_fmadd_ps(f_x_0, f_x_0, _mm512_mul_ps(f_y_0, f_y_0));
|
||||
__m512 f_norm_sq_1 = _mm512_fmadd_ps(f_x_1, f_x_1, _mm512_mul_ps(f_y_1, f_y_1));
|
||||
|
||||
// # 32 MULTS
|
||||
__m512 rhs_0 = _mm512_mul_ps(f_norm_sq_0, v_cos_phi_sq);
|
||||
__m512 rhs_1 = _mm512_mul_ps(f_norm_sq_1, v_cos_phi_sq);
|
||||
|
||||
// # 32 ADDS, 64 MULTS
|
||||
__m512 e_dot_f_0 = _mm512_fmadd_ps(eix, f_x_0, _mm512_mul_ps(eiy, f_y_0));
|
||||
__m512 e_dot_f_1 = _mm512_fmadd_ps(eix, f_x_1, _mm512_mul_ps(eiy, f_y_1));
|
||||
|
||||
// # 32 MULTS
|
||||
__m512 e_dot_f_sq_0 = _mm512_mul_ps(e_dot_f_0, e_dot_f_0);
|
||||
__m512 e_dot_f_sq_1 = _mm512_mul_ps(e_dot_f_1, e_dot_f_1);
|
||||
|
||||
__mmask16 cond_0 = _mm512_cmp_ps_mask(e_dot_f_0, v_zero, _CMP_LT_OQ) & _mm512_cmp_ps_mask(e_dot_f_sq_0, rhs_0, _CMP_GT_OQ);
|
||||
__mmask16 cond_1 = _mm512_cmp_ps_mask(e_dot_f_1, v_zero, _CMP_LT_OQ) & _mm512_cmp_ps_mask(e_dot_f_sq_1, rhs_1, _CMP_GT_OQ);
|
||||
|
||||
__m512 w_val_0 = _mm512_mask_blend_ps(cond_0, v_dt_neg, v_c_neg_dt);
|
||||
__m512 w_val_1 = _mm512_mask_blend_ps(cond_1, v_dt_neg, v_c_neg_dt);
|
||||
|
||||
// # 64 ADDS, 64 MULTS
|
||||
// masked accumulate (lane i == j contributes nothing)
|
||||
acc_x = _mm512_mask3_fmadd_ps(f_x_0, w_val_0, acc_x, active_0);
|
||||
acc_y = _mm512_mask3_fmadd_ps(f_y_0, w_val_0, acc_y, active_0);
|
||||
acc_x2 = _mm512_mask3_fmadd_ps(f_x_1, w_val_1, acc_x2, active_1);
|
||||
acc_y2 = _mm512_mask3_fmadd_ps(f_y_1, w_val_1, acc_y2, active_1);
|
||||
|
||||
// 32 ADDS
|
||||
// Increment j index vectors
|
||||
j_idx_0 = _mm512_add_ps(j_idx_0, v_two);
|
||||
j_idx_1 = _mm512_add_ps(j_idx_1, v_two);
|
||||
}
|
||||
|
||||
// Same flop count as above
|
||||
// if n_p is odd one remaining iteration needs to be performed
|
||||
if (n_p & 1) {
|
||||
const int j = n_p - 1;
|
||||
const __m512 pjx = _mm512_set1_ps(pos_x[j]);
|
||||
const __m512 pjy = _mm512_set1_ps(pos_y[j]);
|
||||
const __m512 sbe_jx = _mm512_set1_ps(sb_e_x[j]);
|
||||
const __m512 sbe_jy = _mm512_set1_ps(sb_e_y[j]);
|
||||
const __m512 sb_jsq = _mm512_set1_ps(sb_sq[j]);
|
||||
const __mmask16 active = _mm512_cmp_ps_mask(i_idx, j_idx_0, _CMP_NEQ_OQ);
|
||||
|
||||
__m512 r_ab_x = _mm512_sub_ps(pix, pjx);
|
||||
__m512 r_ab_y = _mm512_sub_ps(piy, pjy);
|
||||
__m512 r_ab_n2 = _mm512_fmadd_ps(r_ab_x, r_ab_x, _mm512_mul_ps(r_ab_y, r_ab_y));
|
||||
r_ab_n2 = _mm512_max_ps(r_ab_n2, v_eps_sq);
|
||||
__m512 inv_r_ab_n = _mm512_rsqrt14_ps(r_ab_n2);
|
||||
__m512 r_ab_n = _mm512_mul_ps(r_ab_n2, inv_r_ab_n);
|
||||
|
||||
__m512 r_ab2_x = _mm512_sub_ps(r_ab_x, sbe_jx);
|
||||
__m512 r_ab2_y = _mm512_sub_ps(r_ab_y, sbe_jy);
|
||||
__m512 r_ab2_n2 = _mm512_fmadd_ps(r_ab2_x, r_ab2_x, _mm512_mul_ps(r_ab2_y, r_ab2_y));
|
||||
r_ab2_n2 = _mm512_max_ps(r_ab2_n2, v_eps_sq);
|
||||
__m512 inv_r_ab2_n = _mm512_rsqrt14_ps(r_ab2_n2);
|
||||
__m512 r_ab2_n = _mm512_mul_ps(r_ab2_n2, inv_r_ab2_n);
|
||||
|
||||
__m512 r_sum = _mm512_add_ps(r_ab_n, r_ab2_n);
|
||||
__m512 two_b_sq = _mm512_fmsub_ps(r_sum, r_sum, sb_jsq);
|
||||
two_b_sq = _mm512_max_ps(two_b_sq, v_eps_sq);
|
||||
__m512 inv_two_b = _mm512_rsqrt14_ps(two_b_sq);
|
||||
__m512 two_b = _mm512_mul_ps(two_b_sq, inv_two_b);
|
||||
|
||||
__m512 e_arg = _mm512_max_ps(_mm512_mul_ps(two_b, v_neg_2s_inv), v_exp_min);
|
||||
__m512 e_val = _avx512_exp_ps(e_arg);
|
||||
|
||||
__m512 numer_inv_two_b = _mm512_mul_ps(_mm512_mul_ps(r_sum, v_neg_v0_div_2s), _mm512_mul_ps(e_val, inv_two_b));
|
||||
__m512 sm_r_ab = _mm512_mul_ps(numer_inv_two_b, inv_r_ab_n);
|
||||
__m512 sm_r_ab2 = _mm512_mul_ps(numer_inv_two_b, inv_r_ab2_n);
|
||||
|
||||
__m512 f_x = _mm512_fmadd_ps(r_ab2_x, sm_r_ab2, _mm512_mul_ps(r_ab_x, sm_r_ab));
|
||||
__m512 f_y = _mm512_fmadd_ps(r_ab2_y, sm_r_ab2, _mm512_mul_ps(r_ab_y, sm_r_ab));
|
||||
|
||||
__m512 f_norm_sq = _mm512_fmadd_ps(f_x, f_x, _mm512_mul_ps(f_y, f_y));
|
||||
__m512 rhs = _mm512_mul_ps(f_norm_sq, v_cos_phi_sq);
|
||||
__m512 e_dot_f = _mm512_fmadd_ps(eix, f_x, _mm512_mul_ps(eiy, f_y));
|
||||
__m512 e_dot_f_sq = _mm512_mul_ps(e_dot_f, e_dot_f);
|
||||
__mmask16 cond = _mm512_cmp_ps_mask(e_dot_f, v_zero, _CMP_LT_OQ) & _mm512_cmp_ps_mask(e_dot_f_sq, rhs, _CMP_GT_OQ);
|
||||
__m512 w_val = _mm512_mask_blend_ps(cond, v_dt_neg, v_c_neg_dt);
|
||||
|
||||
acc_x = _mm512_mask3_fmadd_ps(f_x, w_val, acc_x, active);
|
||||
acc_y = _mm512_mask3_fmadd_ps(f_y, w_val, acc_y, active);
|
||||
}
|
||||
|
||||
// # 64 ADDS
|
||||
// Compute and add the obstacle repulsion for the two obstacles (unrolled)
|
||||
__m512 v1_x = _mm512_sub_ps(pix, osx);
|
||||
__m512 v1_y = _mm512_sub_ps(piy, osy);
|
||||
__m512 v1_x1 = _mm512_sub_ps(pix, osx1);
|
||||
__m512 v1_y1 = _mm512_sub_ps(piy, osy1);
|
||||
|
||||
// # 16 ADDS, 48 MULTS
|
||||
// projection of pedestrian onto the obstacle segment
|
||||
__m512 proj = _mm512_mul_ps(_mm512_fmadd_ps(v1_x, ovx, _mm512_mul_ps(v1_y, ovy)), olen_inv);
|
||||
proj = _mm512_max_ps(proj, v_zero);
|
||||
proj = _mm512_min_ps(proj, v_one);
|
||||
|
||||
// # 16 ADDS, 48 MULTS
|
||||
__m512 proj1 = _mm512_mul_ps(_mm512_fmadd_ps(v1_x1, ovx1, _mm512_mul_ps(v1_y1, ovy1)), olen_inv1);
|
||||
proj1 = _mm512_max_ps(proj1, v_zero);
|
||||
proj1 = _mm512_min_ps(proj1, v_one);
|
||||
|
||||
// # 128 ADDS, 64 MULTS
|
||||
// r_aB = r_i - closest point on segment
|
||||
__m512 r_aB_x = _mm512_sub_ps(pix, _mm512_fmadd_ps(ovx, proj, osx));
|
||||
__m512 r_aB_y = _mm512_sub_ps(piy, _mm512_fmadd_ps(ovy, proj, osy));
|
||||
__m512 r_aB_x1 = _mm512_sub_ps(pix, _mm512_fmadd_ps(ovx1, proj1, osx1));
|
||||
__m512 r_aB_y1 = _mm512_sub_ps(piy, _mm512_fmadd_ps(ovy1, proj1, osy1));
|
||||
|
||||
// # 16 ADDS, 32 MULTS
|
||||
__m512 r_aB_n2 = _mm512_fmadd_ps(r_aB_x, r_aB_x, _mm512_mul_ps(r_aB_y, r_aB_y));
|
||||
r_aB_n2 = _mm512_max_ps(r_aB_n2, v_eps_sq);
|
||||
|
||||
// # 16 SQRT, 16 DIVS
|
||||
__m512 inv_r_aB_n = _mm512_rsqrt14_ps(r_aB_n2);
|
||||
|
||||
// # 16 MULTS
|
||||
__m512 r_aB_n = _mm512_mul_ps(r_aB_n2, inv_r_aB_n);
|
||||
|
||||
// # 16 ADDS, 32 MULTS
|
||||
__m512 r_aB_n2_1 = _mm512_fmadd_ps(r_aB_x1, r_aB_x1, _mm512_mul_ps(r_aB_y1, r_aB_y1));
|
||||
r_aB_n2_1 = _mm512_max_ps(r_aB_n2_1, v_eps_sq);
|
||||
|
||||
// # 16 SQRT, 16 DIVS
|
||||
__m512 inv_r_aB_n_1 = _mm512_rsqrt14_ps(r_aB_n2_1);
|
||||
|
||||
// # 16 MULTS
|
||||
__m512 r_aB_n_1 = _mm512_mul_ps(r_aB_n2_1, inv_r_aB_n_1);
|
||||
|
||||
// # 16 MULTS
|
||||
__m512 e_arg = _mm512_max_ps(_mm512_mul_ps(r_aB_n, v_neg_r_inv), v_exp_min);
|
||||
|
||||
// # 256 MULTs, 224 ADDs
|
||||
__m512 e_val = _avx512_exp_ps(e_arg);
|
||||
|
||||
// # 32 MULTS
|
||||
// scalar_mult = NEG_U0_AB_div_R * exp(-|r_aB| / R) / |r_aB|
|
||||
__m512 scalar_mult = _mm512_mul_ps(_mm512_mul_ps(v_neg_u0_div_r, e_val), inv_r_aB_n);
|
||||
|
||||
// # 16 MULTS
|
||||
__m512 e_arg1 = _mm512_max_ps(_mm512_mul_ps(r_aB_n_1, v_neg_r_inv), v_exp_min);
|
||||
|
||||
// # 256 MULTs, 224 ADDs
|
||||
__m512 e_val1 = _avx512_exp_ps(e_arg1);
|
||||
|
||||
// # 32 MULTS
|
||||
__m512 scalar_mult1 = _mm512_mul_ps(_mm512_mul_ps(v_neg_u0_div_r, e_val1), inv_r_aB_n_1);
|
||||
|
||||
// # 64 MULTS
|
||||
// NEG_U0_AB_div_R * exp(-|r_aB| / R) / |r_aB| * r_aB
|
||||
__m512 f_B_x = _mm512_mul_ps(r_aB_x, scalar_mult);
|
||||
__m512 f_B_y = _mm512_mul_ps(r_aB_y, scalar_mult);
|
||||
__m512 f_B_x1 = _mm512_mul_ps(r_aB_x1, scalar_mult1);
|
||||
__m512 f_B_y1 = _mm512_mul_ps(r_aB_y1, scalar_mult1);
|
||||
|
||||
// field-of-view weight: (f_x is always 0.0 so we only consider f_y)
|
||||
// e_dot_f = (f_y == 0) ? 0 : (f_y < 0 ? -e_y : e_y)
|
||||
// w = (e_dot_f < cos_phi) ? c_neg_dt : dt_neg
|
||||
__mmask16 m_fy_neg = _mm512_cmp_ps_mask(f_B_y, v_zero, _CMP_LT_OQ);
|
||||
__mmask16 m_fy_zero = _mm512_cmp_ps_mask(f_B_y, v_zero, _CMP_EQ_OQ);
|
||||
__m512 neg_eiy = _mm512_xor_ps(eiy, v_sign_mask);
|
||||
__m512 e_dot_f = _mm512_mask_blend_ps(m_fy_neg, eiy, neg_eiy);
|
||||
e_dot_f = _mm512_mask_blend_ps(m_fy_zero, e_dot_f, v_zero);
|
||||
|
||||
__mmask16 m_fy_neg1 = _mm512_cmp_ps_mask(f_B_y1, v_zero, _CMP_LT_OQ);
|
||||
__mmask16 m_fy_zero1 = _mm512_cmp_ps_mask(f_B_y1, v_zero, _CMP_EQ_OQ);
|
||||
__m512 neg_eiy1 = _mm512_xor_ps(eiy, v_sign_mask);
|
||||
__m512 e_dot_f1 = _mm512_mask_blend_ps(m_fy_neg1, eiy, neg_eiy1);
|
||||
e_dot_f1 = _mm512_mask_blend_ps(m_fy_zero1, e_dot_f1, v_zero);
|
||||
|
||||
__mmask16 m_w = _mm512_cmp_ps_mask(e_dot_f, v_cos_phi, _CMP_LT_OQ);
|
||||
__m512 w_val = _mm512_mask_blend_ps(m_w, v_dt_neg, v_c_neg_dt);
|
||||
|
||||
__mmask16 m_w1 = _mm512_cmp_ps_mask(e_dot_f1, v_cos_phi, _CMP_LT_OQ);
|
||||
__m512 w_val1 = _mm512_mask_blend_ps(m_w1, v_dt_neg, v_c_neg_dt);
|
||||
|
||||
// # 64 MULTS, 64 ADDS
|
||||
// Add obstacle force terms to the accs
|
||||
acc_x = _mm512_fmadd_ps(f_B_x, w_val, acc_x);
|
||||
acc_y = _mm512_fmadd_ps(f_B_y, w_val, acc_y);
|
||||
acc_x2 = _mm512_fmadd_ps(f_B_x1, w_val1, acc_x2);
|
||||
acc_y2 = _mm512_fmadd_ps(f_B_y1, w_val1, acc_y2);
|
||||
|
||||
// # 32 ADDS
|
||||
// Update the w arrays
|
||||
_mm512_storeu_ps(&w_x[i], _mm512_add_ps(acc_x, acc_x2));
|
||||
_mm512_storeu_ps(&w_y[i], _mm512_add_ps(acc_y, acc_y2));
|
||||
|
||||
// # 16 ADDS
|
||||
// Increment the i index vector
|
||||
i_idx = _mm512_add_ps(i_idx, v_16);
|
||||
}
|
||||
|
||||
// Pass 2 : Update pedestrians state
|
||||
for (int i = 0; i < n_p_pad; i += 16) {
|
||||
// load 16 pedestrians per iteration with their data
|
||||
// SoA in vectors
|
||||
__m512 w_x_i_vec = _mm512_loadu_ps(&w_x[i]);
|
||||
__m512 w_y_i_vec = _mm512_loadu_ps(&w_y[i]);
|
||||
__m512 v_max_i_vec = _mm512_loadu_ps(&v_max[i]);
|
||||
__m512 pos_x_i_vec = _mm512_loadu_ps(&pos_x[i]);
|
||||
__m512 pos_y_i_vec = _mm512_loadu_ps(&pos_y[i]);
|
||||
__m512 destination_y_i_vec = _mm512_loadu_ps(&destination_y[i]);
|
||||
__m512 destination_x_i_vec = _mm512_loadu_ps(&destination_x[i]);
|
||||
__m512 desired_v0_i_vec = _mm512_loadu_ps(&desired_v0[i]);
|
||||
|
||||
__m512i color_i_vec = _mm512_loadu_si512((__m512i *)&color[i]);
|
||||
|
||||
// # 32 MULTs, 16 ADDs
|
||||
__m512 w_norm_sq = _mm512_fmadd_ps(w_x_i_vec, w_x_i_vec, _mm512_mul_ps(w_y_i_vec, w_y_i_vec));
|
||||
|
||||
// # 16 SQRTs, 16 DIVs
|
||||
__m512 w_norm_inv = _mm512_rsqrt14_ps(w_norm_sq);
|
||||
|
||||
// # 16 MULTs
|
||||
__m512 correction_factor = _mm512_min_ps(_mm512_set1_ps(1.0f), _mm512_mul_ps(v_max_i_vec, w_norm_inv));
|
||||
|
||||
// # 32 MULTs
|
||||
__m512 curr_vel_x_i_vec = _mm512_mul_ps(w_x_i_vec, correction_factor);
|
||||
__m512 curr_vel_y_i_vec = _mm512_mul_ps(w_y_i_vec, correction_factor);
|
||||
|
||||
__m512 dt_vec = _mm512_set1_ps(dt);
|
||||
|
||||
// # 32 MULTs, 32 ADDs
|
||||
pos_x_i_vec = _mm512_fmadd_ps(curr_vel_x_i_vec, dt_vec, pos_x_i_vec);
|
||||
pos_y_i_vec = _mm512_fmadd_ps(curr_vel_y_i_vec, dt_vec, pos_y_i_vec);
|
||||
|
||||
// differentiate whether pedestrian came from left or right using masking
|
||||
__mmask16 cond_1_left = _mm512_cmpeq_epi32_mask(color_i_vec, _mm512_setzero_si512());
|
||||
__mmask16 cond_1_right = _mm512_cmp_ps_mask(pos_x_i_vec, _mm512_set1_ps(BOARD_LENGTH - 1.5f), _CMP_GT_OQ);
|
||||
__mmask16 cond_1 = cond_1_left & cond_1_right;
|
||||
|
||||
pos_x_i_vec = _mm512_mask_blend_ps(cond_1, pos_x_i_vec, _mm512_set1_ps(1.0f));
|
||||
destination_y_i_vec = _mm512_mask_blend_ps(cond_1, destination_y_i_vec, pos_y_i_vec);
|
||||
w_x_i_vec = _mm512_mask_blend_ps(cond_1, w_x_i_vec, desired_v0_i_vec);
|
||||
w_y_i_vec = _mm512_mask_blend_ps(cond_1, w_y_i_vec, _mm512_setzero_ps());
|
||||
curr_vel_x_i_vec = _mm512_mask_blend_ps(cond_1, curr_vel_x_i_vec, w_x_i_vec);
|
||||
curr_vel_y_i_vec = _mm512_mask_blend_ps(cond_1, curr_vel_y_i_vec, w_y_i_vec);
|
||||
|
||||
__mmask16 cond_2_left = _mm512_cmpeq_epi32_mask(color_i_vec, _mm512_set1_epi32(1));
|
||||
__mmask16 cond_2_right = _mm512_cmp_ps_mask(pos_x_i_vec, _mm512_set1_ps(1.5f), _CMP_LT_OQ);
|
||||
__mmask16 cond_2 = cond_2_left & cond_2_right;
|
||||
|
||||
pos_x_i_vec = _mm512_mask_blend_ps(cond_2, pos_x_i_vec, _mm512_set1_ps(BOARD_LENGTH - 1.0f));
|
||||
destination_y_i_vec = _mm512_mask_blend_ps(cond_2, destination_y_i_vec, pos_y_i_vec);
|
||||
__m512 neg_desired_v0 = _mm512_xor_ps(desired_v0_i_vec, _mm512_set1_ps(-0.0f));
|
||||
w_x_i_vec = _mm512_mask_blend_ps(cond_2, w_x_i_vec, neg_desired_v0);
|
||||
w_y_i_vec = _mm512_mask_blend_ps(cond_2, w_y_i_vec, _mm512_setzero_ps());
|
||||
curr_vel_x_i_vec = _mm512_mask_blend_ps(cond_2, curr_vel_x_i_vec, w_x_i_vec);
|
||||
curr_vel_y_i_vec = _mm512_mask_blend_ps(cond_2, curr_vel_y_i_vec, w_y_i_vec);
|
||||
|
||||
pos_y_i_vec = _mm512_max_ps(pos_y_i_vec, _mm512_set1_ps(WALL_EPS));
|
||||
pos_y_i_vec = _mm512_min_ps(pos_y_i_vec, _mm512_set1_ps(BOARD_WIDTH_MINUS_WALL_EPS));
|
||||
|
||||
// # 32 ADDs
|
||||
__m512 ex_vec = _mm512_sub_ps(destination_x_i_vec, pos_x_i_vec);
|
||||
__m512 ey_vec = _mm512_sub_ps(destination_y_i_vec, pos_y_i_vec);
|
||||
|
||||
// # 32 MULTs, 16 ADDs
|
||||
__m512 e_norm_sq = _mm512_fmadd_ps(ex_vec, ex_vec, _mm512_mul_ps(ey_vec, ey_vec));
|
||||
|
||||
// # 16 SQRTs, 16 DIVs
|
||||
__m512 e_norm_inv = _mm512_rsqrt14_ps(e_norm_sq);
|
||||
|
||||
// # 32 MULTs
|
||||
__m512 e_x_i_vec = _mm512_mul_ps(ex_vec, e_norm_inv);
|
||||
__m512 e_y_i_vec = _mm512_mul_ps(ey_vec, e_norm_inv);
|
||||
|
||||
// # 32 MULTs, 16 ADDs
|
||||
__m512 vel_norm_sq = _mm512_fmadd_ps(curr_vel_x_i_vec, curr_vel_x_i_vec, _mm512_mul_ps(curr_vel_y_i_vec, curr_vel_y_i_vec));
|
||||
|
||||
// # 16 MULTs
|
||||
__m512 sb_sq_i_vec = _mm512_mul_ps(vel_norm_sq, _mm512_set1_ps(delta_t_sq));
|
||||
|
||||
// # 16 SQRTs
|
||||
__m512 vel_norm_dt = _mm512_sqrt_ps(sb_sq_i_vec);
|
||||
|
||||
// write the data
|
||||
_mm512_storeu_ps(&curr_vel_x[i], curr_vel_x_i_vec);
|
||||
_mm512_storeu_ps(&curr_vel_y[i], curr_vel_y_i_vec);
|
||||
_mm512_storeu_ps(&w_x[i], w_x_i_vec);
|
||||
_mm512_storeu_ps(&w_y[i], w_y_i_vec);
|
||||
_mm512_storeu_ps(&pos_x[i], pos_x_i_vec);
|
||||
_mm512_storeu_ps(&pos_y[i], pos_y_i_vec);
|
||||
_mm512_storeu_ps(&e_x[i], e_x_i_vec);
|
||||
_mm512_storeu_ps(&e_y[i], e_y_i_vec);
|
||||
_mm512_storeu_ps(&destination_y[i], destination_y_i_vec);
|
||||
_mm512_storeu_ps(&sb_sq[i], sb_sq_i_vec);
|
||||
|
||||
// # 32 MULTs
|
||||
_mm512_storeu_ps(&sb_e_x[i], _mm512_mul_ps(e_x_i_vec, vel_norm_dt));
|
||||
_mm512_storeu_ps(&sb_e_y[i], _mm512_mul_ps(e_y_i_vec, vel_norm_dt));
|
||||
}
|
||||
|
||||
#if !BENCHMARK
|
||||
for (int i = 0; i < n_p; i++) {
|
||||
if (dump_path && (t % dump_interval == 0)) {
|
||||
samples.emplace_back(t + 1, i, pos_x[i], pos_y[i], e_x[i], e_y[i], color[i]);
|
||||
}
|
||||
}
|
||||
#endif
|
||||
}
|
||||
|
||||
#if !BENCHMARK
|
||||
if (dump_path) {
|
||||
ofstream out(dump_path);
|
||||
out << "time,id,x,y,p.e.x,p.e.y,color\n";
|
||||
for (auto &[t, id, x, y, e_x, e_y, c] : samples) {
|
||||
out << t << ',' << id << ',' << x << ',' << y << ',' << e_x << ',' << e_y << ',' << c << '\n';
|
||||
}
|
||||
}
|
||||
#endif
|
||||
|
||||
return 0;
|
||||
}
|
||||
Reference in New Issue
Block a user